AI-gateway: de verkeersregelaar tussen software en AI-modellen
Stel je een groot bedrijf voor met honderden medewerkers die allemaal telefonisch contact moeten hebben met leveranciers. In plaats van dat iedereen zijn eigen telefoonnummer en contract bij een aparte telefoonmaatschappij heeft, loopt alles via één centrale telefooncentrale. Die centrale kiest de goedkoopste lijn, onthoudt veelgestelde vragen zodat ze niet steeds opnieuw gebeld hoeven worden, en schakelt automatisch over naar een andere lijn als er een storing is. Een AI-gateway doet precies dit, maar dan voor software die gebruikmaakt van kunstmatige intelligentie.
Wanneer een app, website of bedrijfssysteem tekst wil laten genereren, een vraag wil laten beantwoorden of een afbeelding wil laten analyseren, moet die meestal een verzoek sturen naar een AI-model van een aanbieder zoals OpenAI, Anthropic of Google. Een AI-gateway is de tussenlaag die dat verkeer regisseert: hij kiest welk model het verzoek krijgt, houdt de kosten en het gebruik bij, herhaalt een verzoek als het misgaat, en zorgt dat gevoelige gegevens niet zomaar naar buiten lekken. Voor gebruikers van een app verandert er niets zichtbaars, maar achter de schermen ontstaat meer grip, minder verspilling en meer betrouwbaarheid.
Wat is het precies?
Technisch gezien is een AI-gateway een vorm van een API-gateway: een stuk software dat tussen een applicatie en een of meerdere externe diensten in staat. API staat voor application programming interface, een vaste manier waarop programma's met elkaar kunnen praten. Normaal gesproken stuurt een app een verzoek rechtstreeks naar bijvoorbeeld de servers van OpenAI. Met een gateway ertussen stuurt de app het verzoek naar de gateway, en die stuurt het pas door naar het uiteindelijke AI-model.
Die tussenstap klinkt overbodig, maar levert een aantal dingen op. Ten eerste routering: de gateway kan op basis van regels beslissen welk model geschikt is voor een taak, bijvoorbeeld een goedkoop model voor eenvoudige vragen en een duurder, krachtiger model voor complexe vragen. Ten tweede failover: als de servers van de ene aanbieder overbelast of onbereikbaar zijn, stuurt de gateway het verzoek automatisch naar een andere aanbieder door, zonder dat de gebruiker daar iets van merkt.
Een derde functie is caching, het tijdelijk opslaan van eerdere antwoorden. Als twee gebruikers vlak na elkaar exact dezelfde vraag stellen, hoeft het AI-model niet twee keer te rekenen: de gateway geeft het opgeslagen antwoord terug. Sommige gateways doen zelfs aan semantische caching, waarbij ze niet alleen identieke vragen herkennen, maar ook vragen die inhoudelijk erg op elkaar lijken.
Daarnaast regelt een gateway meestal de toegangssleutels (API-keys), de geheime codes waarmee software zich bij een AI-aanbieder identificeert. In plaats van dat elke ontwikkelaar in een bedrijf zijn eigen sleutel beheert, met het risico dat die per ongeluk online belandt, staat er nog maar één centrale sleutelkluis. Tot slot houden veel gateways logboeken bij: wie stelde welke vraag, wat kostte dat, en voldeed het antwoord aan de regels van het bedrijf, bijvoorbeeld op het gebied van privacy of ongepaste inhoud.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is kostenbeheersing. AI-modellen rekenen per verwerkte hoeveelheid tekst, uitgedrukt in "tokens" (ruwweg stukjes van een woord). Zonder overzicht kunnen de rekeningen van een bedrijf snel oplopen, zeker als tientallen teams los van elkaar AI-functies bouwen. Een gateway geeft één centraal dashboard waarop te zien is wie hoeveel verbruikt, en maakt het mogelijk om budgetten of limieten in te stellen.
Een tweede doel is het voorkomen van vendor lock-in, de afhankelijkheid van één leverancier. Omdat AI-modellen elkaar in rap tempo voorbijstreven qua kwaliteit en prijs, willen bedrijven makkelijk kunnen wisselen zonder hun hele applicatie te herschrijven. Een gateway biedt vaak één uniforme interface die lijkt op de meestgebruikte standaard (die van OpenAI), ongeacht welk model er daadwerkelijk achter zit.
Betrouwbaarheid is een derde doel: AI-diensten hebben net als andere clouddiensten weleens storingen of trage momenten. Door verkeer automatisch te kunnen omleiden naar een alternatieve aanbieder, blijft een applicatie overeind, ook als de voorkeursleverancier hapert. Tot slot spelen governance (bestuurlijke controle) en compliance (voldoen aan wet- en regelgeving) een steeds grotere rol: bedrijven willen kunnen aantonen wat er met AI is gedaan, welke gegevens zijn verwerkt, en of gevoelige informatie zoals namen of BSN-nummers eruit is gefilterd voordat die naar een extern model gaat.
Voorbeelden uit de praktijk
Cloudflare AI Gateway, geïntroduceerd in september 2023 door het Amerikaanse internetinfrastructuurbedrijf Cloudflare, was een van de eerste grote, breed beschikbare gateways. Het product biedt caching, snelheidslimieten en gedetailleerde analyse van AI-verkeer, en is gebouwd bovenop het wereldwijde netwerk dat Cloudflare al gebruikt om websites te beschermen tegen aanvallen.
LiteLLM, een open source project van het bedrijf BerriAI, is sinds 2023 populair onder ontwikkelaars. Het biedt één uniforme, Python-vriendelijke interface voor meer dan honderd verschillende AI-modellen en wordt zowel als losse programmeerbibliotheek als als zelfstandige gatewayserver gebruikt.
Portkey, een startup die in 2023 uit de Amerikaanse Y Combinator-accelerator kwam, richt zich specifiek op bedrijven die AI-functies in productie willen nemen, met nadruk op observeerbaarheid (het kunnen volgen van elk verzoek) en op "guardrails", automatische controles die ongepaste of riskante antwoorden tegenhouden.
Kong AI Gateway, uitgebracht in 2024 door het al langer bestaande API-gatewaybedrijf Kong Inc., laat zien hoe de markt voor gewone API-gateways is opgeschoven richting AI: bestaande spelers in netwerkinfrastructuur voegen AI-specifieke routering en beveiliging toe aan producten die al jaren regulier API-verkeer beheren.
Ook de grote cloudaanbieders bewegen mee. Microsoft Azure API Management kreeg in 2024 speciale AI-gatewayfuncties, en Amazon breidde zijn Bedrock-platform uit met vergelijkbare routerings- en bewakingsmogelijkheden voor meerdere AI-modellen tegelijk.
Hoe ver is de techniek?
AI-gateways zijn een jong maar snelgroeiend vakgebied: de eerste noemenswaardige producten verschenen pas in de loop van 2023, kort nadat ChatGPT de vraag naar AI-integraties explosief deed toenemen. In een paar jaar tijd is het gebied gegroeid van simpele doorgeefluiken naar volwassen platforms met uitgebreide beveiliging, kostenbewaking en ondersteuning voor tientallen aanbieders tegelijk.
Een belangrijke recente ontwikkeling is de opkomst van het Model Context Protocol (MCP), een open standaard die Anthropic eind 2024 introduceerde. MCP maakt het makkelijker voor AI-modellen om op een gestandaardiseerde manier externe gereedschappen en gegevensbronnen aan te roepen. Gateways beginnen dit protocol te ondersteunen, wat betekent dat ze niet alleen tekstverzoeken doorsturen, maar ook steeds vaker complexere, meerstaps "agentische" taken bewaken, waarbij een AI-model zelfstandig meerdere acties na elkaar uitvoert.
Toch zijn er nog geen brede, formele industriestandaarden voor hoe een AI-gateway precies moet werken. In de praktijk is de API-vormgeving van OpenAI een soort ongeschreven standaard geworden waar veel andere aanbieders en gateways zich naar voegen, maar dit is marktconventie, geen officiële norm zoals bijvoorbeeld HTTP dat is voor het web.
Belangrijke obstakels zijn er ook. De tussenlaag voegt onvermijdelijk een kleine vertraging (latency) toe aan elk verzoek. AI-aanbieders veranderen hun API's en modellen bovendien voortdurend, waardoor gateways continu moeten worden bijgewerkt om compatibel te blijven. En omdat een gateway alle API-sleutels en veel gevoelig verkeer centraliseert, wordt hij ook een aantrekkelijk doelwit voor aanvallers: een lek in de gateway zelf kan in één klap toegang geven tot alle achterliggende AI-diensten. Beveiligingsonderzoekers wijzen erop dat deze centralisatie zorgvuldig beheerde toegangscontrole en monitoring vereist.
Wie werken eraan?
Naast de eerdergenoemde Cloudflare, Kong, Portkey en BerriAI (het bedrijf achter LiteLLM) investeren ook de grote clouddienstverleners fors in dit gebied: Microsoft met Azure API Management, Amazon met Bedrock, en Google met vergelijkbare routerings- en bewakingslagen binnen zijn Vertex AI-platform.
Daarnaast doen gespecialiseerde infrastructuurbedrijven mee, zoals Solo.io met zijn Gloo AI Gateway en het Franse/Amerikaanse Traefik Labs, dat een AI-gatewaymodule toevoegde aan zijn bestaande, veelgebruikte open source API-gateway Traefik. In China ontwikkelt Alibaba de open source gateway Higress, die eveneens AI-routeringsfuncties heeft gekregen.
Het gebied wordt sterk gedreven door de Verenigde Staten, waar zowel de grote clouds als het merendeel van de gespecialiseerde startups zijn gevestigd. Open source-gemeenschappen spelen een grote rol: veel gateways, waaronder LiteLLM en Higress, zijn vrij beschikbare code waar ontwikkelaars wereldwijd aan bijdragen, wat de ontwikkeling breder verspreidt dan bij puur gesloten commerciële producten.