AI & computing › Generatieve AI & synthetische media
OpenAI gaat data van cybersecurity-tool Daybreak Blue toch gebruiken voor training
OpenAI kondigt aan dat het vanaf 29 november sessiedata van de cybersecurity-tool Daybreak Blue gaat gebruiken om zijn AI-modellen te trainen. Dat was tot nu toe nooit de bedoeling: gebruikers van dit beveiligde programma kregen juist de garantie dat hun gegevens buiten de trainingsdata zouden blijven. De aankondiging leidde tot felle kritiek, waarna OpenAI alsnog een opt-out beloofde.
OpenAI liet leden van zijn Trusted Access-programma via e-mail weten dat sessiedata uit Daybreak Blue vanaf 29 november meegenomen wordt in de training van toekomstige AI-modellen. Daybreak Blue is een speciaal toegangsniveau binnen OpenAI's ecosysteem, bedoeld voor vertrouwde gebruikers die met gevoelige cybersecurity-taken werken. Juist omdat het om zo'n gevoelig domein gaat, gold tot nu toe een uitzondering: data uit deze sessies werd nooit gebruikt om modellen te verbeteren. Dat bleef zo, ook als gebruikers de algemene instelling 'verbeter het model voor iedereen' hadden uitgeschakeld. Die instelling bepaalt normaal of ChatGPT-gesprekken mogen worden gebruikt als trainingsmateriaal, maar voor Daybreak Blue gold een aparte, strengere afspraak.
Het nieuws over de beleidswijziging zorgde voor onmiddellijke onrust onder gebruikers en onderzoekers. Cybersecurity-experts die met vertrouwelijke, soms bedrijfskritische informatie werken, voelden zich overvallen door de koerswijziging. OpenAI reageerde met een tweede e-mail waarin het bedrijf een apart opt-outmechanisme beloofde, zodat gebruikers hun sessiedata toch buiten de trainingsdata kunnen houden. Interacties die tijdens veiligheidscontroles worden gemarkeerd, blijven overigens altijd bruikbaar voor veiligheidsdoeleinden, los van de keuze van de gebruiker.
Angst voor herhaling van eerder incident
De situatie doet onderzoekers denken aan een eerdere kwestie rond wiskundigen Tristan Buckmaster en Levent Alpöge. Zij deelden conceptbewijzen over de Navier-Stokes-vergelijkingen, een beroemd open wiskundeprobleem over vloeistofstromen, via OpenAI's programmeertool Codex. Kort daarna presenteerde OpenAI een eigen bewijs voor hetzelfde probleem. Het bedrijf ontkende dat het de input van de wiskundigen had gebruikt om te trainen, maar het enkele vermoeden dat dit wél gebeurd kon zijn, was voor veel onderzoekers al genoeg om wantrouwen te wekken.
Vertrouwen staat op het spel
Voor OpenAI raakt deze kwestie aan de kern van het vertrouwen dat het bedrijf nodig heeft bij professionele en zakelijke gebruikers. Trusted Access-programma's bestaan juist om gevoelige toepassingen, zoals cybersecurity-onderzoek, veilig te laten draaien zonder dat bedrijfsgeheimen of kwetsbaarheden in trainingsdata terechtkomen. Door een eerder gegeven garantie terug te draaien, ook al biedt het bedrijf nu een uitweg via opt-out, ontstaat het beeld dat afspraken over datagebruik bij AI-bedrijven kunnen verschuiven zodra het bedrijf dat nodig acht. Dat is precies het type onzekerheid waar organisaties die met vertrouwelijke informatie werken, huiverig voor zijn.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Deze zaak laat zien hoe fragiel het vertrouwen is tussen AI-bedrijven en gebruikers die gevoelige data delen, zeker in een vakgebied als cybersecurity waar geheimhouding cruciaal is. Als afspraken over trainingsdata later alsnog kunnen wijzigen, zullen professionele gebruikers en bedrijven kritischer worden over welke AI-tools ze voor vertrouwelijk werk inzetten. Dit kan leiden tot strengere eisen aan transparantie en controleerbare opt-outregelingen bij AI-aanbieders.
- Daybreak Blue
- Een speciaal toegangsniveau binnen OpenAI's diensten, bedoeld voor vertrouwde gebruikers die gevoelige cybersecurity-taken uitvoeren.
- Trusted Access-programma
- Een programma van OpenAI waarmee geselecteerde gebruikers toegang krijgen tot extra functionaliteit of gevoelige toepassingen, onder aangepaste voorwaarden.
- Trainingsdata
- De gegevens die gebruikt worden om een AI-model te trainen, zodat het beter wordt in het geven van antwoorden of het uitvoeren van taken.
- Opt-out
- Een instelling waarmee gebruikers zich actief kunnen afmelden voor een bepaald gebruik van hun gegevens, in dit geval het gebruik voor modeltraining.
- Codex
- Een programmeergerichte AI-tool van OpenAI die gebruikers helpt bij het schrijven en analyseren van code.
- Navier-Stokes-vergelijkingen
- Een beroemd stelsel wiskundige vergelijkingen dat het gedrag van vloeistoffen en gassen beschrijft; het volledig oplossen ervan is een van de grote onopgeloste problemen in de wiskunde.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
