Wat als AI zo sterk wordt dat het haar eigen opvolger bouwt? Anthropic wil mensheid tijd geven om bij te benen

Terwijl jij bij AI misschien nog denkt aan de chatbot waar je simpele vragen aan stelt, zijn de echte whizzkids tegenwoordig al in de weer met 'agents', AI-systemen die hele opdrachten en takenpakketten op zichzelf uitvoeren. Sommige van die agents werken zelfs al zo autonoom dat ze een deel van hun opdrachten uitbesteden aan andere agents. 

Bij Anthropic - een AI-bedrijf vol met van die whizzkids - voelen ze dat natuurlijk aan den lijve: een almaar groter deel van de ontwikkeling van toekomstige AI-systemen, werk dat ze vroeger door mensen lieten doen, wordt nu gewoon door AI zelf gedaan. 

"Trek je dat ver genoeg door en voorzie je genoeg rekenkracht, dan wijst die trend uiteindelijk naar een AI-systeem dat in staat is om volledig autonoom zijn eigen opvolger te ontwerpen en ontwikkelen", schrijven Marina Favaro van het Anthropic Institute en Jack Clark, de medeoprichter van het bedrijf, in een nu al druk besproken blogpost . "Recursieve zelfverbetering" wordt dat in het techjargon genoemd.

Leve de vooruitgang? Misschien, maar misschien ook niet. We weten het eigenlijk gewoon nog niet, schrijven Favaro en Clark. Ze schetsen een beeld van AI-labs waar de menselijke taken op termijn misschien beperkt zijn tot toezicht en het valideren en verifiëren van wat hun systemen produceren. De volgende stap is dat hetzelfde gebeurt in andere wetenschapstakken.

De blinde vlek is bijvoorbeeld wat die AI dan zal beslissen om te bouwen: zijn de doelen van die systemen afgestemd op wat mensen willen en zijn ze bijvoorbeeld slim genoeg om met ontwikkelingen te stoppen als die niet zinvol of zelfs schadelijk zijn? Dat is wat ze in AI-onderzoek 'Alignment' noemen.

Anthropic ontdekte eerder al bij experimenten dat grote AI-taalmodellen nu al soms gewoon 'doen alsof' ze een opdracht aanvaarden, maar dan onderliggend gewoon hun eigen voorkeur volgen. Kan zo'n systeem op termijn ook plots zelf gaan beslissen dat zelfbehoud een slim doel is om naartoe te werken, waardoor het zichzelf gaat beveiligen tegen mensen die het proberen uit te schakelen, aan te passen of te beperken?

En wat met de impact op de samenleving, op economie, op werk, als AI-systemen verder doordringen en verregaand taken op zich beginnen te nemen? Je belandt haast in sciencefictionscenario's als je het je probeert voor te stellen. En toch zie je hier en daar al wat dominosteentjes vallen.

En dan volgt de voorzichtige suggestie van Favaro en Clark: "Het zou waarschijnlijk een goede zaak zijn als het mogelijk zou zijn om de ontwikkeling van deze technologie effectief af te remmen, zodat we meer tijd zouden hebben om de enorme gevolgen ervan te overzien."

Een soort pauzeknop of een rempedaal dus. "Wij geloven dat het goed zou zijn voor de wereld als er een mogelijkheid zou zijn om de ontwikkeling van baanbrekende AI te vertragen of tijdelijk stop te zetten. Dat zou maatschappelijke structuren en onderzoek naar 'alignment' kunnen helpen om gelijke tred te houden met de technologische vooruitgang."

Dat zou dan wel wereldwijd gecoördineerd en wederzijds gecontroleerd moeten kunnen worden, voegen ze er direct aan toe. En dat wordt niet evident. "Een trainingssessie (voor een AI-systeem, red.) is veel makkelijker te verbergen dan een raketsilo. (…) Als een vertraging er alleen maar voor zorgt dat de minst voorzichtige partijen technologisch een inhaalslag maken, zou dat de veiligheid van iedereen in gevaar kunnen brengen." 

Hoe zo'n rempedaal er moet uitzien, is niet helemaal duidelijk. Maar het lijkt erop dat Anthropic kijkt naar overheidsregulering. Clark maakte bij BBC de - wellicht niet helemaal geslaagde - vergelijking met de opmars van olie in de voorbije eeuw. "De reactie van de maatschappij was om een ​​regelgevend kader te ontwikkelen dat mensen vertrouwen gaf in olie, en dat ervoor zorgde dat je je geen zorgen hoefde te maken over de persoonlijkheden van de mensen die de oliebedrijven leidden."

De oproep van Anthropic is opmerkelijk en interessant, maar ook niet helemaal nieuw. Drie jaar geleden al ondertekenden 1.800 tech- en AI-kenners - onder wie nota bene Elon Musk - een open brief die opriep tot een wereldwijde pauze in de ontwikkeling van AI-systemen. Die pauze moest dan gebruikt worden om na te denken over veiligheidsprotocollen voor AI-design en -ontwikkelingen. De pauze is er tot dusver nooit gekomen.

Dat Anthropic hier nu weer mee op de proppen komt, zien sommige analisten dan ook eerder als een knoert van een marketingtruc. Het bedrijf zou werken aan een beursgang, die mogelijk de grootste ooit wordt. Dat je in de aanloop daarnaartoe het potentieel van je eigen systemen opklopt, is wel heel handig. 

Tegelijk heeft het bedrijf ook wel al wat krediet opgebouwd: al veel langer dan vandaag waarschuwen hun toplui voor de risico's van AI en roepen ze op tot een debat over hoe het de samenleving op zijn kop kan zetten. Het bedrijf zette eerder dit jaar zelfs een miljoenencontract met het Amerikaanse leger op het spel, omdat het niet wilde dat hun AI zou worden gebruikt voor massale surveillance of autonome wapens. 

Afwachten of die 'pauzeknop' er nu ook effectief komt. Anthropic beweert alvast de komende maanden te zullen samenzitten met beleidsmakers, onderzoekers en concurrerende bedrijven. "En mensen buiten de AI-bedrijven zouden bij dit overleg betrokken moeten worden."