OpenAI toont Jalapeño-chip: sneller en zuiniger dan Nvidia's beste AI-chip

OpenAI bouwt aan zijn eigen computerchip voor het draaien van AI-modellen, met de interne naam Jalapeño. Tijdens de Hot Chips-conferentie liet het bedrijf dinsdag de eerste testresultaten zien. Op de InferenceX-benchmark van onderzoeksbureau SemiAnalysis scoorde de chip beter dan een vergelijkbaar systeem van marktleider Nvidia, zowel in snelheid als in energiezuinigheid.

Sneller antwoord, minder stroom

Jalapeño is speciaal ontworpen voor inferentie: de fase waarin een getraind AI-model daadwerkelijk antwoorden genereert, bijvoorbeeld als iemand een vraag stelt aan ChatGPT. Dat is een ander proces dan het trainen van een model, en vraagt om andere eigenschappen van een chip. Richard Ho, hoofd hardware bij OpenAI, zei tijdens een persgesprek dat de chip 'aanzienlijk' beter presteert dan de huidige stand van de techniek. Jalapeño kan volgens hem meer AI-werk verzetten per eenheid stroom, en geeft tegelijk sneller antwoord. Dat is belangrijk voor bedrijven die AI-diensten aan grote groepen gebruikers tegelijk aanbieden: hoe meer klanten een chip tegelijk kan bedienen zonder trager te worden, hoe voordeliger de dienst.

De vergelijking werd gemaakt met een Blackwell-systeem van Nvidia, de huidige topchip van die producent. OpenAI erkent zelf dat de concurrentie tegen de tijd dat Jalapeño op volle schaal draait, waarschijnlijk alweer een stap verder is. Ho verwacht dat de chip eind 2026 in kleine aantallen wordt ingezet, met een grotere uitrol in 2027.

Ontwikkeld met Broadcom

Jalapeño werd voor het eerst aangekondigd in oktober vorig jaar. OpenAI ontwikkelde de chip in nauwe samenwerking met chipbedrijf Broadcom, waarbij OpenAI's eigen AI-modellen meehielpen bij het ontwerpproces. Het bedrijf wil van Jalapeño geen eenmalig project maken, maar de basis voor een reeks chips die steeds worden doorontwikkeld samen met nieuwe AI-modellen, software en geheugentechniek.

Minder vertraging bij het verwerken

Doordat OpenAI de hele keten in eigen hand heeft, kon het bedrijf knelpunten aanpakken die vaak voor vertraging zorgen tijdens inferentie. Jalapeño is vooral ontworpen om oponthoud te beperken tijdens de zogeheten prefill-fase en tijdens de communicatie tussen verschillende onderdelen van het systeem. In die fasen wordt een binnenkomende vraag eerst verwerkt voordat het model daadwerkelijk begint met het genereren van een antwoord, en dat proces vormt vaak een bottleneck. Volgens OpenAI is de chip ontworpen om dataverplaatsing en communicatievertraging tot een minimum te beperken. Daardoor kan informatie die het model nodig heeft tijdens het genereren van een antwoord, de zogeheten KV-cache, dicht bij de rekeneenheid blijven staan in plaats van steeds heen en weer te reizen. Dat scheelt tijd en energie, en is precies waar een gespecialiseerde AI-versnellerchip zoals Jalapeño zijn voordeel haalt ten opzichte van meer algemene chips.