AI-systemen kunnen onlinevragenlijsten invullen alsof ze echte mensen zijn en dat wordt steeds moeilijker te detecteren. Dat is slecht nieuws voor sociaalwetenschappelijk onderzoek en opiniepeilingen. "We moeten dit probleem fundamenteel anders aanpakken", zegt professor Data en AI Andres Algaba.
AI kan nu ook onlinevragenlijsten invullen als was het een echte mens (en dat is slecht nieuws voor onderzoek en opiniepeilingen)
Heleen Vander Beken
Gepubliceerd:
Samenvatting:
AI-systemen kunnen online vragenlijsten invullen als echte mensen en dat kan onderzoeksresultaten ernstig vertekenen, volgens onderzoekers in 'Nature'.
Traditionele methodes om die systemen te detecteren, volstaan niet meer.
Zo bedreigt AI de betrouwbaarheid van sociaalwetenschappelijk onderzoek en opiniepeilingen, al biedt het ook nieuwe mogelijkheden voor wetenschappers.
Om veel mensen op een betaalbare manier te kunnen bevragen, gebruiken onderzoekers soms online vragenlijsten op sites als Mechanical Turk of Survey Monkey.
30 tot 90 procent van de antwoorden zouden vervalst kunnen zijn, schrijven enkele onderzoekers in Nature . Er is een industrie ontstaan om vragenlijsten automatisch in te vullen. Hoe meer vragenlijsten je invult, hoe meer geld je kan verdienen op zulke websites.
De valkuilen van vragenlijsten
Zulke onlinevragenlijsten zijn ook zonder AI kwetsbaar als wetenschappelijke methode. Je bereikt enkel mensen die toegang hebben tot onlineplatformen – en dat is geen realistische doorsnede van onze maatschappij.
Mensen vullen de vragenlijsten misschien enkel in omdat ze een uitgesproken mening hebben over een thema of gaan er haastig door om zo snel mogelijk geld te verdienen.
De inbreuken zijn vaak niet nieuw, maar wel het feit dat er AI voor gebruikt wordt
Lore De Greve, UGent
Onderzoekers zijn gewend om die 'menselijke' vertekeningen enigszins weg te filteren: als iemand altijd het eerste antwoord aanklikt of verdacht snel antwoordt, weet je dat die de enquête niet serieus nam. Je kan antwoorden ook statistisch corrigeren.
Als AI dat doet, is de bedreiging van een heel andere orde, vinden de auteurs in Nature. “De inbreuken zijn vaak niet nieuw, maar het feit dat er AI voor gebruikt wordt, is wel nieuw", zegt Lore De Greve, beleidsmedewerker AI in onderzoekscontext bij UGent.
Dat is niet alleen een probleem voor wetenschappers. Stel je voor dat een groepering of politieke partij aan AI vraagt om een enquête in te vullen om een bepaalde mening door te drukken, dan kan die het maatschappelijk debat enorm beïnvloeden.
"Verifieer dat u een mens bent"
UIteraard worden 'bots' vaak tegengehouden. Je moest vast al ooit een 'CAPTCHA'-venster invullen, met vage foto’s of tekst die je moet herkennen, om een bepaald formulier te verzenden.
Ondertussen is AI die systemen te snel af. Het wordt een eindeloos kat-en-muis-spel. "We gaan het fundamenteel anders moeten oplossen", waarschuwt Algaba.
"Vroeger gingen we op zoek naar verdacht snelle antwoorden of gaven strikvragen weg dat het algoritme slechts willekeurig antwoorden aanvinkte", vertelt hij. "Nu moeten we op zoek naar andere patronen."
AI-assistenten zijn vandaag LLM's of 'large language models'. Ze worden getraind om tot een goed antwoord te komen door de meest nuttige zinnen te maken en de meest logische acties uit te voeren.
Dat maakt hen enigszins voorspelbaar. Mensen zullen politieke peilingen, waarin gevraagd wordt of ze akkoord gaan met bepaalde statements, iets 'extremer' invullen dan AI. “Je kan aan zo’n systeem ook net vragen om extreme posities in te nemen en zo de peiling sturen”, zegt Algaba.
“De normen en waarden verschillen ook tussen systemen, naargelang hoe ze “gevoed” zijn. Chinese of Amerikaanse systeem zullen onderling verschillen en ook de mensen die ze aansturen hebben veel impact.”
Ook open antwoorden, waarin je zelf een antwoord uitschrijft, en zelfs de manier waarop je typt of je muis beweegt, kunnen prijsgeven of je een robot of een mens bent. Al wordt AI zelfs in die dingen bijna onfeilbaar echt.
De telefoon als redmiddel?
Moeten we dan weer afstappen van onlinevragenlijsten? Overheden doen soms onderzoek door mensen doelgericht op te bellen en te bevragen, waardoor ze een realistische weergave krijgen van de maatschappij.
"Zelfs dat staat onder druk", vertelt Algaba. "Text-to-speech-modellen worden ook ontzettend goed." Denk maar aan hoe menselijk en realistisch deepfake stemmen al klinken.
“We moeten er dus op een andere manier voor zorgen dat je maar één keer je stem kan uitbrengen.” Deur-aan-deur-bevragingen dan maar? “Fysieke bevragingen zijn inderdaad een optie, maar ook systemen waarbij we via officiële verificatiesystemen kunnen controleren dat er één deelname per bestaande persoon is."
AI als onderzoekspartner
Naast risico’s biedt AI ook ongekende mogelijkheden aan onderzoekers. “Het versnelt wetenschappelijk werk. Google Deepmind communiceerde net nog over samenwerkingen tussen hun nieuwste AI-model en menselijke wiskundigen, economen en fysici. OpenAI zegt dat een model van hen een voorstel heeft gedaan in de theoretische fysica dat daarna geverifieerd is door mensen.”
Een heel nieuw veld. "We informeren onze onderzoekers over hoe ze de ethische risico's van AI kunnen inperken, en over de dunne lijn met fraude", zegt De Greve. “Het is voorlopig dus zowel een vloek als een zegen", vindt Algaba, "en het is aan wetenschappers om ervoor te zorgen dat het vertrouwen in de wetenschap kan blijven bestaan."
