De vergeten kennis van AI-codeerassistenten: elke sessie begint weer bij nul

Wie tegenwoordig met een AI-codeerassistent werkt, ziet een vertrouwd patroon. De AI-agent doorzoekt bestanden, leest documentatie en bouwt stap voor stap een gedetailleerd beeld op van hoe een stuk software in elkaar zit. Pas daarna produceert het model de paar regels code die daadwerkelijk worden toegevoegd. Al dat opgebouwde begrip - vergelijkbaar met het mentale model dat een programmeur in zijn hoofd opbouwt - verdwijnt zodra de sessie eindigt. Alleen een commit-bericht en wat codecommentaar blijven over.

Een dure vorm van geheugenverlies

Softwareontwikkelaar Jackson Gabbard legt in zijn blog uit dat dit meer is dan een ongemak. Elke keer dat een AI-model opnieuw aan een taak begint, moet het zijn contextvenster - het werkgeheugen waarin het model relevante informatie vasthoudt - weer vullen met dezelfde bestanden en documentatie. Dat kost tokens, de rekeneenheden waarmee taalmodellen tekst verwerken en die direct geld en tijd kosten. Gabbard schat dat teams hierdoor structureel miljoenen tokens verspillen aan het opnieuw opbouwen van kennis die al eens is verzameld.

Het probleem wordt groter zodra teams meerdere AI-systemen naast elkaar gebruiken. Als de ene collega met Claude werkt en de andere met OpenAI's Codex, begint elk model bij een nieuwe taak volledig from scratch, ook al heeft een ander model dezelfde code al grondig doorgrond. Gabbard noemt dit gebrek aan overdraagbaarheid tussen modellen een onderschat probleem, dat hij zelf pas serieus ging nemen na het lezen van het essay 'The Session You Cannot Take With You', dat op techforum Hacker News voor discussie zorgde.

Waarom dit ineens urgent wordt

Wat abstract klinkt, kreeg voor Gabbard een concrete lading toen hij sprak met een kennis in Dubai. Die vertelde over de verstoring bij een Amazon-datacenter in Bahrein, waarbij regionale spanningen ervoor zorgden dat bedrijven hun AI-diensten niet zomaar naar een ander land konden verplaatsen. Wanneer een hele regio's AI-infrastructuur uitvalt, wordt het opeens essentieel dat werk dat door één AI-systeem is opgebouwd, ook door een ander systeem kan worden overgenomen.

Dat raakt ook aan een ander probleem: code review, het proces waarbij collega's elkaars codewijzigingen controleren. Gabbard citeert oud-OpenAI-medewerker Philip Fung, die betoogt dat AI inmiddels code kan produceren die zo omvangrijk en genuanceerd is dat menselijke reviewers het nauwelijks kunnen bijbenen. Als een junior ontwikkelaar met AI-hulp in een middag een complex stuk logica bouwt en vervolgens naar huis gaat, moet een senior collega de volgende dag door die code heen ploegen zonder ooit toegang te hebben gehad tot de context waarmee die is gemaakt. Die collega kan dan niets anders doen dan het hele proces van kennisopbouw opnieuw laten uitvoeren, tegen extra kosten.

Nog geen oplossing

Gabbard biedt in zijn stuk geen kant-en-klare oplossing, maar signaleert een groeiend besef binnen de sector: de sessie-inhoud van een AI-agent is minstens zo waardevol als de uiteindelijke code. Zolang die kennis vastzit in één proprietary systeem, blijft elk nieuw begin een kostbare herhaling van zetten.