AI-tekstdetector: kan software herkennen wat een mens schreef?
Stel: een docent krijgt een opstel binnen dat net iets té gepolijst aanvoelt. Geen typfouten, een kraakheldere opbouw, zinnen die allemaal ongeveer even lang zijn. Is dit een goede leerling, of heeft ChatGPT het geschreven? Om die vraag te beantwoorden, grijpen steeds meer scholen, uitgevers en redacties naar een AI-tekstdetector: software die een tekst analyseert en een inschatting geeft van de kans dat die door een taalmodel is gegenereerd in plaats van door een mens.
Het idee klinkt eenvoudig, alsof je een tekst gewoon door een filter haalt en er een percentage uitrolt. In de praktijk is het veel wankeler. Deze detectoren gokken op basis van statistische patronen, en die gok is vaker fout dan gebruikers denken. Dit artikel legt uit hoe de techniek werkt, wat ermee wordt beoogd, welke tools er bestaan, en waarom zelfs de makers van deze tools zelf waarschuwen voor overmatig vertrouwen erin.
Wat is het precies?
Een AI-tekstdetector is geen tovermiddel dat een 'digitale handtekening' van ChatGPT herkent. In de meeste gevallen weet de software helemaal niet zeker welk model een tekst schreef; ze schat alleen hoe waarschijnlijk het is dat de tekst door een taalmodel is gegenereerd, ongeacht welk. Daarvoor bestaan grofweg twee families technieken.
De eerste familie kijkt naar statistische eigenschappen van de tekst zelf. Een belangrijk begrip daarbij is perplexity: een maat voor hoe voorspelbaar de woordkeuze in een tekst is voor een taalmodel. AI-modellen zoals ChatGPT genereren tekst door telkens het meest waarschijnlijke volgende woord te kiezen; hun output heeft daardoor vaak een lage perplexity, oftewel weinig verrassende woordkeuzes. Menselijke tekst bevat meer eigenaardigheden, afwijkingen en onverwachte formuleringen, en scoort dus vaak hoger. Een tweede, verwant begrip is burstiness: de mate waarin zinslengte en -complexiteit binnen een tekst variëren. Mensen schrijven met pieken en dalen; AI-tekst is vaak gelijkmatiger. Detectors zoals GPTZero combineren deze twee signalen tot een score.
De tweede familie gebruikt zelf weer een getraind taalmodel als 'rechter'. Zo'n classifier krijgt tijdens de training duizenden voorbeelden van menselijke en AI-tekst te zien en leert daaruit patronen herkennen die met het blote oog niet zichtbaar zijn. Een geavanceerdere variant hierop is DetectGPT, een methode die onderzoekers van Stanford in 2023 voorstelden. Die kijkt niet naar de tekst alleen, maar test wat er gebeurt als je kleine, willekeurige wijzigingen in de tekst aanbrengt: AI-gegenereerde tekst blijkt op een wiskundig herkenbare manier gevoeliger voor zulke verstoringen dan menselijke tekst.
Een heel andere, meer betrouwbare aanpak is watermerken: in plaats van achteraf te gokken, zorgt het AI-model zelf er tijdens het genereren voor dat de tekst een onzichtbaar statistisch patroon bevat. Simpel gezegd geeft het model bij elk woord een lichte, voor mensen onmerkbare voorkeur aan een bepaalde subset van mogelijke woorden. Een detector die het patroon kent, kan dat later terugvinden. Google DeepMind ontwikkelde hiervoor de techniek SynthID, aanvankelijk voor afbeeldingen en later ook voor tekst gegenereerd door de Gemini-modellen. Het grote voordeel: watermerken is in theorie veel betrouwbaarder dan gokken op stijl. Het nadeel: het werkt alleen als de tekst daadwerkelijk via een model met dat watermerk is gemaakt, en verdwijnt makkelijk als de tekst wordt herschreven, vertaald of bewerkt.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is onderwijs. Sinds ChatGPT eind 2022 breed beschikbaar kwam, vrezen docenten en universiteiten dat leerlingen en studenten opdrachten laten schrijven door AI in plaats van dat zelf te doen. Detectors moeten helpen om academische integriteit te bewaken, op een vergelijkbare manier als plagiaatsoftware dat al decennia doet voor overgeschreven tekst.
Een tweede motief is informatiebetrouwbaarheid. Redacties, factcheckers en platformen willen kunnen signaleren wanneer nieuwsartikelen, reviews of social media-posts massaal en geautomatiseerd gegenereerd zijn, bijvoorbeeld voor desinformatiecampagnes of nepwebsites die alleen bestaan om advertentie-inkomsten te genereren.
Een derde reden is regelgeving. De Europese AI-verordening (AI Act) verplicht aanbieders van AI-systemen die synthetische content genereren om die content op een machinaal detecteerbare manier te markeren, en verplicht gebruikers in bepaalde gevallen te melden dat content kunstmatig is gegenereerd of gemanipuleerd. Detectietechnologie, inclusief watermerken, is nodig om die transparantieverplichting praktisch uitvoerbaar te maken.
Onderliggend is er ook simpelweg de wens om grip te houden op een technologie die razendsnel de norm is geworden: als niemand meer met zekerheid kan zeggen wat door een mens en wat door een machine is geschreven, verliest het begrip 'authenticiteit' een deel van zijn betekenis.
Voorbeelden uit de praktijk
GPTZero was een van de eerste detectors die brede aandacht kreeg. De Princeton-student Edward Tian bouwde de tool begin januari 2023, kort na de lancering van ChatGPT, specifiek om docenten te helpen AI-geschreven opstellen te herkennen. Het werd binnen enkele dagen een viral fenomeen en groeide uit tot een commerciële dienst die inmiddels door veel scholen en universiteiten wordt gebruikt.
OpenAI's eigen classifier is misschien wel het meest veelzeggende voorbeeld. OpenAI, de maker van ChatGPT, lanceerde eind januari 2023 een eigen 'AI Text Classifier'. Nog geen half jaar later, in juli 2023, haalde het bedrijf de tool zelf offline, met als reden dat de nauwkeurigheid te laag was om bruikbaar te zijn. Dat een AI-bedrijf zijn eigen detector terugtrok, wordt in het veld vaak aangehaald als illustratie van hoe lastig betrouwbare detectie is.
Turnitin, het bedrijf achter de plagiaatsoftware die veel onderwijsinstellingen al gebruikten, voegde in april 2023 een AI-detectiefunctie toe aan zijn bestaande dienst. Miljoenen studentenwerkstukken werden er sindsdien doorheen gehaald. Tegelijk kwam er stevige kritiek: onderzoekers en docenten meldden foutieve markeringen bij door mensen geschreven teksten, met name bij formeel, gestructureerd schrijfwerk.
Google DeepMind's SynthID vertegenwoordigt de watermerkbenadering in de praktijk. Nadat de techniek eerst werd ingezet voor door AI gegenereerde afbeeldingen, breidde Google haar uit naar tekst gegenereerd door de Gemini-modellen, en maakte het onderliggende algoritme via open source beschikbaar zodat ook andere ontwikkelaars het kunnen toepassen.
Onderzoek van Stanford University (Liang, Zou e.a., 2023) verdient vermelding omdat het de beperkingen scherp blootlegde: de onderzoekers lieten meerdere populaire detectors los op opstellen van niet-moedertaalsprekers van het Engels (afkomstig uit TOEFL-examens) en vonden dat die opstellen structureel vaker ten onrechte als 'AI-geschreven' werden bestempeld dan opstellen van moedertaalsprekers, vermoedelijk omdat niet-moedertaalsprekers vaak eenvoudigere, voorspelbaardere zinsconstructies gebruiken.
Hoe ver is de techniek?
De ontwikkeling gaat hard, maar de betrouwbaarheid blijft het zwakke punt. Stijl- en classifier-gebaseerde detectors kampen met twee soorten fouten: valse positieven (menselijke tekst die ten onrechte als AI wordt bestempeld) en valse negatieven (AI-tekst die als menselijk doorglipt). Beide zijn schadelijk: een valse positief kan een student onterecht van fraude beschuldigen, een valse negatief geeft vals vertrouwen.
Een fundamenteel probleem is dat detectie en generatie een kat-en-muisspel zijn. Zodra een detector goed werkt op tekst van een bepaald model, kan die tekst vaak alsnog de mist in ontkomen door haar simpelweg te laten herschrijven door een ander AI-model, door een paar woorden handmatig aan te passen, of door een online 'humanizer'-tool te gebruiken die specifiek ontworpen is om detectors te misleiden. Studies laten herhaaldelijk zien dat lichte parafrasering de nauwkeurigheid van stijl-gebaseerde detectors flink kan laten kelderen.
Watermerken zoals SynthID is technisch veelbelovender, omdat het niet op giswerk achteraf berust. Maar het kent eigen grenzen: het werkt alleen als álle grote aanbieders het consequent toepassen en als de tekst niet te veel wordt bewerkt of vertaald na het genereren. Zolang er modellen zijn zonder watermerk, of opensource-modellen die lokaal draaien buiten het zicht van de aanbieder, blijft er een gat.
Toonaangevende onderwijsinstellingen en vakverenigingen adviseren inmiddels om detectiescores nooit als enig bewijs te gebruiken, maar hooguit als signaal voor nader, menselijk onderzoek. Turnitin zelf communiceert bijvoorbeeld expliciet dat gebruikers de uitkomst niet als definitief bewijs van fraude mogen behandelen.
Wie werken eraan?
Naast de gespecialiseerde startups GPTZero, Originality.ai en Copyleaks, die zich volledig toeleggen op detectie, is Turnitin de grootste speler binnen het onderwijssegment dankzij zijn bestaande, wereldwijde klantenbasis van scholen en universiteiten.
Aan de kant van de AI-makers zelf is vooral Google DeepMind actief met de ontwikkeling van watermerktechnologie (SynthID), die inmiddels ook is opgenomen in bredere initiatieven rond herkenbaarheid van synthetische media. OpenAI onderzoekt eveneens watermerktechnieken voor tekst, na het terugtrekken van zijn eerste, stijl-gebaseerde classifier, al is een publieke uitrol daarvan terughoudend verlopen vanwege zorgen dat watermerken relatief makkelijk te omzeilen blijft.
Op academisch vlak dragen onderzoeksgroepen aan onder meer Stanford University en Princeton University (waar GPTZero ontstond) bij aan zowel nieuwe detectiemethoden als aan kritisch onderzoek naar de beperkingen daarvan. Ook de bredere C2PA-coalitie (Coalition for Content Provenance and Authenticity), waarin bedrijven als Adobe, Microsoft en Google samenwerken, houdt zich bezig met herkenbaarheid van AI-content, al ligt de nadruk daar vooralsnog meer op beeld en video dan op tekst. Op regelgevend vlak zet de Europese Unie met de AI Act druk op de sector om transparantie en detecteerbaarheid structureel in te bouwen.