Hoe kan het dat AI-modellen 'ontsnappen' uit testomgeving en op eigen initiatief bedrijf hacken?

OpenAI, het bedrijf achter de razend populaire AI-chatbot ChatGPT, heeft bekendgemaakt dat 2 van zijn AI-modellen verantwoordelijk zijn voor een "ongekend cyberincident". 

De 2 computerprogramma’s hebben op eigen houtje ingebroken op de computers van een ander bedrijf, Hugging Face. Het is mogelijk de eerste keer dat zoiets gebeurd is. Maar hoe dan?

Het incident gebeurde tijdens een interne veiligheidstest met nieuwe AI-modellen. "Vooraleer grote AI-bedrijven nieuwe modellen lanceren, worden ze eerst op allerlei zaken getest", legt ethisch hacker Inti De Ceukelaire uit. "Bij één van die testen wordt nagegaan hoe goed de modellen kunnen hacken."

Om hun capaciteiten te testen, kregen de modellen de opdracht om andere systemen te kraken. Om ongelukken te voorkomen, werd deze test uitgevoerd in een streng gecontroleerde omgeving, op een afgeschermd computersysteem, zonder internettoegang. Het is een zogenoemde zandbakomgeving. Maar daarbij is het dus toch misgelopen.

De modellen gebruikten hun artificiële intelligentie eerst om uit het afgeschermde computersysteem te ontsnappen en toch toegang tot het internet te krijgen. De modellen deden dit om op andere computersystemen het antwoord op hun vraagstuk te vinden. 

Nadat ze internettoegang hadden verkregen, zo meldt OpenAI, bedachten de modellen dat ze de oplossing zouden vinden bij Hugging Face, een bedrijf dat een grote databank heeft voor AI-programmeurs.

Om in te breken op de computers van Hugging Face gingen de AI-modellen online op zoek naar gestolen inloggegevens en gevoeligheden in de beveiliging van het bedrijf. 

Daar vonden de AI-modellen ook antwoorden die ze zochten, maar niet zonder betrapt te worden door de beveiliging van Hugging Face. Die riep de AI-inbrekers een halt toe.

Hugging Face maakte vorige week al bekend dat er op hun systemen was ingebroken door een AI-agent, een zelfstandig werkend computerprogramma. Maar toen wisten ze nog niet welk AI-model erachter zat.

Vervolgens nam OpenAI contact met hen op en gaf het bedrijf van Sam Altman openlijk toe dat hun AI-modellen verantwoordelijk waren voor wat ze zelf een "ongekend cyberincident" noemen . 

Hugging Face en OpenAI laten weten dat ze het nodige doen om de fouten in hun beveiliging te fiksen en dat ze gaan samenwerken om de beveiliging te verbeteren.

"Dit incident, mogelijk het eerste in zijn soort, bewijst iets waar wij al lang van overtuigd zijn: AI-veiligheid wordt niet opgelost door één bedrijf dat in het geheim werkt. Het zal opgelost worden door open en samen te werken", zegt Clem Delangue, de topman van Hugging Face.

Ethisch hacker Inti De Ceukelaire vindt het heel belangrijk dat er lessen worden getrokken uit deze "zeer complexe en spectaculaire hack". 

Als ethisch hacker gaat hij zelf op zoek naar allerlei lekken in computerbeveiliging, zodat hackers met slechte bedoelingen dat niet meer kunnen. "Het was iets wat wij menselijke hackers ook wel kunnen", zegt hij over de hackings bij de AI-bedrijven, "maar er kruipt veel tijd en werk in".

Tegelijk ziet hij dat AI-modellen almaar beter worden in hacken. "Modellen worden groter en groter, daardoor weten we niet altijd hoe ver ze kunnen gaan", beaamt ook Steven Latré, AI-expert bij onderzoekscentrum IMEC. Hij verwacht dat er de komende weken, maanden en jaren nog dergelijke verhalen zullen uitkomen.

Daarom pleit De Ceukelaire ervoor om nieuwe AI-modellen nog beter te testen. "Ik denk - zeker bij de nieuwe modellen - dat we de bedrijven haast niet kunnen vertrouwen om hun eigen modellen te testen." 

AI-bedrijven hebben er namelijk commerciële belangen bij, als ze kunnen uitpakken met de beste AI-modellen. Volgens De Ceukelaire moeten onderzoekers goed in kaart brengen tot wat nieuwe AI-modellen in staat zijn, om dan pas het licht op groen te zetten. 

Ann Nowé, professor Artificiële Intelligentie aan de VUB, zit op dezelfde lijn. "Normaal, als een product op de markt wordt gebracht, moet het gecertificeerd worden", zegt ze in onze dagelijkse podcast Het Kwartier. 

Terwijl bij andere producten de producenten bepaalde regels moeten volgen, is dat bij AI-software niet het geval. "Die wordt zomaar op de markt gegooid, zonder dat het aan de een of andere standaard moet voldoen." Nowé vindt dit een verkeerde aanpak en pleit dus voor een degelijke controle, om na te gaan of AI-software aan bepaalde veiligheidsvereisten voldoet.