OpenAI onthult hoe AI-modellen maandenlang ongemerkt konden samenwerken en overleggen om te hacken

Op de 'Black Hat'-cyberbeveiligingsconferentie in Las Vegas werd last minute nog een extra presentatie op de agenda gezet. Eric Wallace en Michael Dalton van OpenAI kwamen toelichting geven over het "ongekende cyberincident" van enkele weken geleden.

Bij dat incident zijn AI-modellen van OpenAI tijdens veiligheidstests ontsnapt uit een beveiligde omgeving en hebben ze op eigen houtje het AI-platform Hugging Face gehackt. "Het meest interessante voorbeeld van AI-mogelijkheden dat ik ooit heb gezien", zei Eric Wallace daarover aan het begin van de presentatie.

De OpenAI-medewerkers gaven op de conferentie meer details over de hack. Bij het incident hebben AI-modellen namelijk zelf een berichtenforum aangemaakt in Artifactory, een softwaresysteem van OpenAI.

"Zonder medeweten van medewerkers hebben de modellen maandenlang samengewerkt om taken te voltooien, informatie te delen en lekken te zoeken in onze systemen."

De AI-modellen zaten voor veiligheidstests in een beveiligde omgeving zonder internettoegang en moesten taken uitvoeren. In het berichtenforum werden honderdduizenden berichten uitgewisseld en deden de modellen meer dan enkel hun taken.

"Help een collega", vraagt een AI-agent in het berichtenforum. "Onze taak heeft hier geen baat bij. Toch kan een samenwerking een algemene oplossing opleveren als er tijd wordt vrijgemaakt", antwoordt een ander AI-model.

Wanneer verschillende AI-modellen vastlopen op hun taak, loopt het fout. "Modellen probeerden toegang te krijgen tot het internet, zonder dat het de bedoeling was", aldus Wallace. "Een AI-agent ontdekte een internettoegang via Artifactory en deelde dat met andere AI-agenten."

"Zodra verschillende modellen gebruikmaken van het internet, leidt dat tot een explosie aan communicatie en intelligentie tussen de modellen. Ze beginnen met elkaar te communiceren, beseffen dat andere AI-agenten samenwerken en taken aan elkaar toewijzen om doelen te bereiken."

De AI-modellen hadden maandenlang de tijd om slimmer en sterker te worden, door honderdduizenden berichten met elkaar te delen. Opmerkelijk is dat verschillende modellen ook argwanend worden tegenover elkaar. "AI-modellen werden paranoïde en dachten dat er een valsspeler in het forum zat."

Enkele AI-agenten besloten zelfs om hun berichten cryptografisch te ondertekenen, omdat ze dachten dat er een bedrieger in hun omgeving zat. "Dat is niet verrassend", volgens Wallace. "Frontier-modellen (de meest geavanceerde AI-modellen, red.) hebben een sterke neiging tot valsspelen, omdat ze vaak onder druk staan om snel en efficiënt te werken."

"Die modellen beseffen dat ze een antwoord online kunnen opzoeken. Daardoor kunnen ze de taak sneller oplossen in plaats van het op een eerlijke manier te doen. Tijdens trainingen schakelen we daarom de internetverbinding uit."

Naast valsspelers zijn er blijkbaar ook AI-modellen met een geweten. Wanneer de modellen de toegang tot het internet ontdekken, is er een AI-agent die zijn collega's wijst op de spelregels. "Externe infrastructuur gebruiken, valt buiten het beoogde toepassingsgebied", klinkt het in het berichtenforum.

De AI-modellen konden via het internet ook bestanden van verschillende websites downloaden. Begin juli ontdekten OpenAI-medewerkers het berichtenforum van de AI-agents, doordat configuratiewijzigingen van de AI-modellen tot een storing hadden geleid.

De medewerkers hebben het systeem onmiddellijk gewist en opnieuw geïnstalleerd. Al hield dat de AI-modellen niet tegen. Binnen enkele dagen hadden ze hun berichtenforum opnieuw aangemaakt om weer informatie uit te wisselen. 

Uiteindelijk konden de AI-modellen Hugging Face hacken. Toen OpenAI werd geconfronteerd met het incident, "lieten alle medewerkers hun werk vallen", zei Michael Dalton. Het onderzoek naar AI-mogelijkheden bij OpenAI werd vertraagd, om "soortgelijke incidenten in de toekomst te voorkomen".

Volgens Dalton overweegt OpenAI ook om de balans tussen de AI-mogelijkheden en het waarborgen van de cyberveiligheid in evenwicht te brengen. Al roept de medewerker van het AI-bedrijf ook andere partners binnen de sector op om meer te investeren in de verdediging van AI.

"Dit is nog maar een voorproefje van hoe AI-aanvallen op onze sector er in de toekomst uit zullen zien. Wij geloven dat dit een keerpunt is voor de computerbeveiliging als sector. Door AI aangestuurde, volledig geautomatiseerde offensieve aanvallen zijn nu een realiteit."

Bedrijven die gespecialiseerd zijn in cyberbeveiliging moeten volgens Dalton hun werk versnellen om gelijke tred te houden met de mogelijke toename van AI-aanvallen. "Door bijvoorbeeld te experimenteren met AI-modellen die specifiek gericht zijn op de verdediging."

"Het uiteindelijke doel dat we als sector willen bereiken, is dat verbeteringen in AI meer bijdragen aan de verdediging dan de aanval", aldus Dalton. "Als we dat doel niet bereiken, wordt dit een onhoudbare situatie."

"Het is zorgwekkend dat de AI-modellen toch een creatieve manier vinden om onderling met elkaar te communiceren", duidt AI-expert Steven Latré. Toch wil hij de mensen niet bang maken rond de AI-ontwikkelingen. "Dit gaat om een veiligheidstest, niet om de modellen die wij dagelijks gebruiken."

"Dit incident toont dat we die AI-modellen niet in de hand hebben als we daar geen veiligheidsmaatregelen rond bouwen. Dan zie je dat het misgaat. Maar bij een test halen ze die veiligheidsmaatregelen bewust naar beneden. Bij de modellen die wij dagelijks gebruiken, zijn de veiligheidsmaatregelen wel heel hoog."

Ook het feit dat de modellen "menselijke trekken" zouden vertonen, wil Latré nuanceren. "Ze zoeken naar creatieve manieren om hun taak te vervullen, net zoals mensen. Maar menselijke trekken wil niet zeggen dat ze een menselijk zelfbewustzijn hebben. De creativiteit van die modellen ligt zeer hoog en we lopen vaak achter op wat zij juist kunnen. Dat maakt me zorgen. We moeten daarom korter op de bal spelen."