AI & computing › Generatieve AI & synthetische media
Nieuwe open-source chatbot laat bedrijven data zelf beheren
Een ontwikkelaar heeft Bolnee-Chat uitgebracht, een gratis en open-source chatbot die bedrijven volledig op hun eigen server kunnen draaien. De chatbot beantwoordt vragen van websitebezoekers op basis van de eigen bedrijfsdocumenten en website, zonder dat gesprekken of klantdata naar een externe cloudpartij gaan.
Wie een chatbot op de bedrijfswebsite wil zetten, kiest meestal voor een clouddienst die per bericht rekent en klantdata op externe servers opslaat. Bolnee-Chat doet het anders: de software draait volledig op de eigen server, is gratis te gebruiken en legt niets vast bij een derde partij.
Antwoorden gebaseerd op eigen bronnen
De chatbot werkt met retrieval-augmented generation, een techniek waarbij een taalmodel niet zomaar uit het geheugen antwoordt, maar eerst in eigen documenten zoekt naar relevante informatie. Bolnee-Chat crawlt de website van een bedrijf en accepteert daarnaast PDF-, Word-, tekst- en Markdown-bestanden als kennisbron. Alle tekst wordt opgeknipt in kleine stukken, chunks genoemd, en opgeslagen in een doorzoekbare database. Zoekt een bezoeker iets, dan haalt het systeem eerst de meest relevante chunks op en stuurt die als context mee naar het taalmodel. Het antwoord verwijst vervolgens naar de bron waar de informatie vandaan komt. Die aanpak vermindert het risico op AI-hallucinatie, het verschijnsel waarbij een chatbot overtuigend klinkende maar onjuiste informatie verzint, zoals te lezen valt over AI-hallucinatie. Is er geen passend antwoord in de bronnen te vinden, dan toont de bot een vooraf ingestelde reservetekst in plaats van te gokken.
Draaien op eigen infrastructuur
Bolnee-Chat gebruikt SQLite als database, een lichte, bestandsgebaseerde opslag die geen aparte databaseserver vereist. Daardoor is de installatie eenvoudig: de software draait op een eigen server, maar ook op gratis hostingplatforms als Vercel of Cloudflare Pages. Voor het taalmodel zelf is geen vaste leverancier nodig. De tool ondersteunt elke partij die een OpenAI-compatibele API aanbiedt, waaronder OpenRouter, Groq en het lokaal te draaien Ollama. Bedrijven kunnen dus kiezen voor een goedkope of zelfs gratis model-optie, of voor een model dat volledig op eigen hardware draait zodat er geen gespreksgegevens het pand verlaten. API-sleutels van gekozen providers worden versleuteld opgeslagen en verschijnen nooit in de programmeercode die op de website wordt geplaatst.
Van installatie tot dashboard
Een bedrijf hoeft maar twee regels code toe te voegen aan de eigen website om de chatinterface te activeren: een instellingenblok met bijvoorbeeld de naam, het logo en de kleur van de bot, en een script dat de widget laadt. Antwoorden verschijnen vervolgens woord voor woord in beeld, net als bij bekende chatbots, dankzij een techniek die de tekst in kleine pakketjes naar de browser stuurt. Achter de schermen biedt een dashboard overzicht van het aantal gesprekken en gebruikers, en kunnen beheerders gesprekken per bezoeker bekijken en exporteren. Omdat het hele systeem zelfhosting mogelijk maakt, blijft alle data, van klantvragen tot documenten, onder controle van het bedrijf zelf. Voor de installatie is Node.js nodig; wie ook de website-crawler wil gebruiken, heeft daarnaast Python nodig. De crawler respecteert robots.txt en doorzoekt alleen pagina's van de eigen website.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Projecten als Bolnee-Chat maken geavanceerde AI-toepassingen toegankelijk voor bedrijven die niet afhankelijk willen zijn van dure clouddiensten of hun klantdata willen delen met een externe partij. Naarmate open-source AI-gereedschap volwassener wordt, kunnen ook kleine bedrijven technologie gebruiken die eerder was voorbehouden aan grote techbedrijven met eigen ontwikkelteams.
- Retrieval-augmented generation (RAG)
- Een AI-techniek waarbij een taalmodel eerst relevante informatie uit eigen documenten opzoekt voordat het een antwoord formuleert, wat de kans op verzonnen antwoorden verkleint.
- Chunking
- Het opknippen van lange teksten in kleine, doorzoekbare stukken zodat een AI-systeem snel de meest relevante passage kan terugvinden.
- AI-hallucinatie
- Het verschijnsel waarbij een chatbot met overtuiging informatie presenteert die feitelijk onjuist of verzonnen is.
- Zelfhosting
- Software zelf draaien op eigen servers in plaats van gebruik te maken van een clouddienst van een externe leverancier.
- Server-Sent Events (SSE)
- Een webtechniek waarmee een server voortdurend kleine stukjes data naar de browser stuurt, waardoor een chatantwoord geleidelijk in beeld verschijnt in plaats van in één keer.
- AES-256-GCM-encryptie
- Een veelgebruikte versleutelingsmethode die gevoelige gegevens, zoals API-sleutels, onleesbaar maakt voor iedereen zonder de juiste sleutel.
- SQLite
- Een lichtgewicht database die als los bestand op een server staat, zonder dat daarvoor een apart databaseprogramma nodig is.
- Full-text search
- Een zoektechniek waarmee een database snel kan doorzoeken welke tekstfragmenten het beste bij een zoekopdracht passen.
- API
- Een gestandaardiseerde interface waarmee twee stukken software met elkaar kunnen communiceren, bijvoorbeeld een chatbot en een AI-taalmodel.
- Chatinterface
- Het onderdeel van een website of app waarmee een gebruiker in gewone taal met software kan communiceren.
- Crawler
- Een programma dat automatisch webpagina's bezoekt en de inhoud daarvan verzamelt, in dit geval om als kennisbron voor de chatbot te dienen.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
