AI & computing › Generatieve AI & synthetische media
Startup Respan bouwt open-source AI-gateway rond plug-ins in plaats van één groot pakket
Het Amerikaanse startup Respan brengt een open-source AI-gateway uit, geschreven in de programmeertaal Rust, waarin letterlijk alles een plug-in is: van AI-aanbieders als OpenAI en Anthropic tot functies voor beveiliging en uitwijkroutes. Het bedrijf, dat meedeed aan het bekende Y Combinator-programma, wil zo voorkomen dat bedrijven vastlopen in onoverzichtelijke software zodra ze meerdere AI-modellen tegelijk gebruiken.
Steeds meer bedrijven gebruiken niet één, maar meerdere AI-modellen tegelijk: ChatGPT van OpenAI voor de ene taak, Claude van Anthropic voor de andere, en Gemini van Google voor weer iets anders. Om dat soepel te laten verlopen, gebruiken ontwikkelaars een zogeheten AI-gateway: een soort verkeersregelaar die alle aanvragen naar het juiste AI-model stuurt. Respan, een jong Amerikaans techbedrijf, heeft zo'n gateway nu open source gemaakt onder de naam Respan Gateway.
Het bijzondere zit in de opbouw. Respan bouwde zijn systeem eerder op basis van het populaire gratis project LiteLLM, maar liep daarbij vast. Omdat elke klant andere eisen had, voor bijvoorbeeld API-sleutels, limieten en routes, groeide de eigen aanvullende code uit tot meer dan honderdduizend regels. Toen LiteLLM begin dit jaar een routine-update kreeg, ontstonden plotseling storingen in de verbindingen. Het bedrijf moest de update terugdraaien en weet tot op vandaag niet precies wat er misging. Die ervaring was voor Respan de aanleiding om de gateway volledig opnieuw te ontwerpen.
Een kleine kern, de rest is uitbreidbaar
Het nieuwe ontwerp is geïnspireerd op de webserver Nginx, die wereldwijd miljoenen websites draaiend houdt dankzij een minimale kern met daaromheen uitbreidingen. Respan past dat principe toe op AI-verkeer: de kern van de gateway doet vrijwel niets anders dan binnenkomende verzoeken doorsturen naar de juiste onderdelen. Alle overige functionaliteit, zoals de koppeling met een specifieke AI-aanbieder, ondersteuning voor spraak of beeld, en veiligheidsfuncties zoals het automatisch verwijderen van persoonsgegevens, draait via losse plug-ins.
Dat heeft praktisch voordeel. Een koppeling met een nieuwe AI-aanbieder, zoals het Franse Mistral, past in slechts 22 regels code. Eigenaardigheden van specifieke aanbieders, zoals het chipbedrijf Groq dat gebruiksgegevens op een andere plek in zijn antwoorden plaatst dan andere partijen, worden ondergebracht in aparte, geteste plug-ins in plaats van in de hoofdcode. Ontwikkelaars kunnen zo zelf nieuwe functies toevoegen zonder het risico te lopen dat ze de rest van het systeem stuk maken.
Rust in plaats van los ingeladen onderdelen
Respan koos ervoor om plug-ins niet dynamisch in te laden tijdens het draaien van het programma, zoals bij sommige concurrerende systemen gebeurt via de techniek WebAssembly. In plaats daarvan worden plug-ins als vaste onderdelen meegecompileerd in de programmeertaal Rust, die bekendstaat om snelheid en veiligheid tegen geheugenfouten. De reden: veel plug-ins hebben toegang nodig tot databases of andere gevoelige systemen, iets wat lastiger te regelen is binnen een afgeschermde WebAssembly-omgeving.
De broncode staat vrij beschikbaar op softwareplatform GitHub onder een open licentie, waardoor iedereen de gateway gratis op een eigen server kan draaien. Respan verdient geld met een betaalde, gehoste versie die extra inzicht in gebruik en kosten biedt. De gateway bevindt zich nog in een vroege testfase, en het bedrijf hoopt dat andere ontwikkelaars eigen plug-ins gaan bijdragen.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Nu bedrijven steeds vaker meerdere AI-modellen naast elkaar gebruiken, groeit de behoefte aan flexibele, onderhoudbare infrastructuur die niet instort zodra er een update of nieuwe aanbieder bijkomt. Een modulaire aanpak zoals die van Respan kan de drempel verlagen om veilig te experimenteren met nieuwe AI-modellen, wat de ontwikkeling van AI-toepassingen breed kan versnellen.
- AI-gateway
- Software die als tussenlaag fungeert tussen een applicatie en verschillende AI-modellen, en bepaalt welk model een aanvraag verwerkt.
- Plug-in
- Een los, uitwisselbaar onderdeel van een programma dat een specifieke functie toevoegt zonder de kern van de software aan te passen.
- Rust
- Een programmeertaal die bekendstaat om hoge snelheid en het voorkomen van geheugenfouten, veel gebruikt voor systeemsoftware.
- LiteLLM
- Een populair open-source project waarmee ontwikkelaars via één gestandaardiseerde interface verschillende AI-modellen kunnen aanspreken.
- WebAssembly (WASM)
- Een technologie waarmee code in een afgeschermde, veilige omgeving kan draaien, vaak gebruikt om onbetrouwbare plug-ins te isoleren.
- MCP (Model Context Protocol)
- Een standaard waarmee AI-modellen op een uniforme manier externe tools en gegevensbronnen kunnen aanspreken.
- Y Combinator (YC)
- Een bekende Amerikaanse startup-accelerator die jonge techbedrijven begeleidt en financiert, waaronder Respan.
- Open source
- Software waarvan de broncode vrij beschikbaar is, zodat iedereen deze kan inzien, gebruiken en aanpassen.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
