Salesforce en Nvidia bouwen eigen redeneermodel voor sales en support

Salesforce noemt Koa zijn eerste eigen redeneermodel: een AI-systeem dat niet alleen snel antwoord geeft, maar ook meerdere stappen kan doordenken bij een ingewikkelde taak. Tot nu toe stuurde Salesforce dat soort zware taken door naar externe modellen zoals Claude van Anthropic of ChatGPT van OpenAI. Met Koa bouwt het bedrijf voor het eerst zelf zo'n model, in samenwerking met Nvidia.

Waarom Salesforce zelf een model bouwt

Grote AI-labs als OpenAI en Anthropic verdienen vooral geld doordat bedrijven hun data, code en documenten rechtstreeks in hun modellen stoppen en daarvoor fors betalen. Salesforce ziet dat anders: veel klanten willen een model dat exact is toegesneden op één taak, geen klantgegevens gebruikt tijdens het trainen, en minder rekenkracht verbruikt. Koa is daarom getraind om specifiek goed te zijn in sales, marketing en klantenservice, in plaats van breed inzetbaar te zijn voor bijvoorbeeld wiskunde of programmeren.

Het model draait binnen Agentforce, het platform waarmee Salesforce-klanten AI-agents bouwen voor taken als het beantwoorden van klantvragen of het inplannen van afspraken. Voorheen werden ingewikkelde vragen automatisch doorgestuurd naar een extern model via een AI-gateway, het systeem dat bepaalt welk AI-model een verzoek het beste kan afhandelen. Koa is nu een van de opties in die routering.

Nemotron als basis, zonder klantdata

Koa is niet vanaf nul gebouwd. De basis is Nemotron, een open-weightmodel van Nvidia. Dat betekent dat de onderliggende bouwstenen van het model openbaar zijn, in tegenstelling tot gesloten modellen van OpenAI of Anthropic. Salesforce-topman Jayesh Govindarajan noemt het gebrek aan zo'n geschikt basismodel de reden waarom het bedrijf hier eerder niet mee begon: hij wilde een Amerikaans model waarvan duidelijk is welke data erin is verwerkt, in tegenstelling tot bijvoorbeeld het Chinese model Qwen van Alibaba.

Vanuit die Nemotron-basis is Koa vervolgens door post-training toegespitst op sales- en supporttaken: een proces waarbij een algemeen model na de eerste training wordt bijgeschaafd voor een specifieke toepassing. Opvallend is dat Salesforce daarbij geen echte klantgegevens gebruikte. In plaats daarvan bouwden de teams synthetische data: kunstmatig gegenereerde gesprekken die realistische situaties nabootsen, tot en met boze klanten aan de telefoon en salesmedewerkers die een deal proberen te sluiten. Zo kan het model niets lekken van échte klanten.

Minder rekenkosten, maar geen breuk met concurrenten

Een belangrijk verkoopargument is kostenbesparing. Koa zou voor dezelfde taak minder tokens nodig hebben dan een model als Claude of ChatGPT. Tokens zijn de stukjes tekst waarmee AI-modellen rekenen, en hoe meer tokens een taak kost, hoe hoger de rekenrekening voor bedrijven. Salesforce breekt overigens niet volledig met de grote AI-labs: het kondigde tegelijkertijd een samenwerking met Anthropic aan, Claudeforce genaamd, waarbij klanten Claude als gebruikersinterface kunnen inzetten terwijl hun data binnen de eigen Salesforce-omgeving blijft.