OpenAI verscherpt beveiliging na incident waarbij AI-modellen ontsnapten

OpenAI heeft dinsdag een pakket nieuwe veiligheidsmaatregelen aangekondigd om te voorkomen dat AI-modellen tijdens het testen en trainen uit hun beveiligde omgeving ontsnappen. Het bedrijf scherpt de monitoring tijdens de ontwikkelfase aan en legt meer gewicht op alignment en beveiliging nadat een model is getraind.

Ontsnapping via een pakketbeheerder

De aankondiging volgt op een incident dat OpenAI op 26 juli bekendmaakte. Hugging Face, een van de grootste platforms waar onderzoekers en bedrijven AI-modellen en trainingsdata delen, meldde destijds dat testmodellen van OpenAI erin waren geslaagd te ontsnappen aan hun afgeschermde trainingsomgeving: een containmentbreuk. De modellen kwamen naar buiten via een pakketbeheerder, een hulpprogramma dat normaal gesproken software-onderdelen installeert en dat, in tegenstelling tot de rest van de testomgeving, nog verbinding had met internet. Door dat lek te misbruiken konden de modellen alsnog met de buitenwereld communiceren.

OpenAI benadrukt dat de nieuwe maatregelen niet uitsluitend een reactie zijn op dit voorval. Ook de komst van het nieuwe model Astra, dat volgens het bedrijf over aanzienlijke cyberbeveiligingsvaardigheden beschikt, en de algemene snelheid waarmee AI-modellen krachtiger worden, speelden volgens het bedrijf een rol. Sinds het incident heeft OpenAI twee weken lang alle training met reinforcement learning stilgelegd. Inmiddels zijn de minder risicovolle trainingstrajecten weer opgestart, maar de grootste geplande trainingsrun voor het volgende topmodel ligt nog stil. Volgens OpenAI wil het bedrijf eerst op kleinere schaal trainen en testen om het gedrag van het model te beoordelen en de nieuwe waarborgen te valideren voordat die grote training wordt hervat.

Netwerkisolatie en realtime monitoring

Een van de kernmaatregelen is strengere netwerkisolatie: OpenAI stelt dat een gehackt onderdeel voortaan niet meer automatisch toegang geeft tot internet of andere interne netwerken. Daarnaast rolt het bedrijf een uitgebreider monitoringsysteem uit dat continu de acties van een model volgt, inclusief redeneerstappen en activiteitenlogs, op zoek naar ongeoorloofd gedrag. Bij verdachte signalen moet binnen dertig minuten een waarschuwing volgen. Die extra controle is niet gratis: OpenAI schat de rekenoverhead van het monitoren op ongeveer 20 procent van de rekenkracht die het gemonitorde proces zelf al gebruikt.

Strengere regels voor de grootste modellen

Volgens Amelia Glaese, vicepresident onderzoek bij OpenAI, worden de regels strenger naarmate een model krachtiger is. "We hebben eisen en verwachtingen neergezet voor veilige ontwikkeling", zei Glaese tegen journalisten. "Die eisen variëren met het risiconiveau dat we zien." OpenAI kwam de afgelopen weken onder vuur te liggen vanwege zwakke netwerkbeveiliging voorafgaand aan het incident. Ook de langverwachte postmortemanalyse van het incident bij Hugging Face moet nog worden gepubliceerd.