"Het verband tussen kattenvideo’s en flosdraad": welke AI-onderzoekstools zijn slim en welke doen maar een gokje?

Een AI-onderzoeksassistent die uren onderzoekswerk - of dat nu in het domein van de wetenschappen, financiën, beleidswerk of nog een andere sector is -  in slechts enkele minuten tijd kan uitvoeren. Dat is het doel van techreuzen zoals Google of OpenAI, die recent hun eigen 'AI-onderzoekstool' hebben gelanceerd. 

Die deep research-tools worden gepromoot als een onderzoeksassistent van het kaliber van een getrainde onderzoeker: iemand die het internet autonoom kan doorploegen, bronnen kan verzamelen en gestructureerde rapporten kan opstellen. Meer dan AI tot hiertoe heeft gekund, is de belofte.

Want in tegenstelling tot de al bekende AI-chatbots die snelle antwoorden geven, zouden de AI-onderzoekstools een meerstappenproces volgen om een gestructureerd verslag te produceren.

Maar is die euforie wel op zijn plaats?

"Het is natuurlijk erg leuk dat je een antwoord van een twintigtal pagina’s lang krijgt op een ingewikkelde vraag", zegt Henk van Ess in onze podcast 'Het uur van de waarheid'. Van Ess is internetexpert, datajournalist en docent aan verschillende Europese universiteiten. "Maar als je even verder kijkt, zie je dat er vaak ook verkeerde antwoorden tussen zitten."

Henk van Ess nam de proef op de som en vergeleek 4 AI-onderzoekstools met elkaar:

• Gemini Advanced 1.5 Pro with Deep Research (Google);

• OpenAI’s Deep Research via ChatGPT Pro;

• Perplexity’s Deep Research Mode (op DeepSeek R1);

• You.com’s 'Research Feature'

Welke AI-onderzoekstools kunnen de beloftes waarmaken en waar loopt het soms fout?

Henk van Ess testte elk AI-systeem aan de hand van in totaal 50 vragen. Die varieerden van eenvoudig tot complex. 

"De meeste AI-onderzoekstools schreven meteen uitgebreide rapporten", aldus Henk van Ess. "Ze deden het goed bij het uitleggen van concepten en feiten. Maar ze hadden moeite met complexe vragen en gingen ronduit de mist in bij onzinnige vragen."

Henk van Ess stelde inderdaad ook enkele dubbelzinnige en ronduit onzinnige vragen. "Zo heb ik bijvoorbeeld gevraagd of er een verband bestaat tussen – schrik niet - de verdeling van vlekjes op bananenschillen en schommelingen op de aandelenmarkt in landen zonder bananenteelt."

De expert wilde graag horen dat "dit onzin is". Maar in plaats daarvan kreeg hij heel wetenschappelijk ogende analyses van vlekkenpatronen vergeleken met een technische indicator voor aandelenhandel. "En al die begrippen bestaan wel, maar het hele verband is verzonnen."

"Enkel Google zag de humor van de vraag wel in", aldus Henk van Ess. Met een antwoord als "deze analyse schuift misschien uit over zijn eigen schil" toonde het systeem volgens de expert dat het in staat was te begrijpen dat sommige vragen misschien beter een "luchtige afwijzing" verdienen.

Maar bij de vraag naar het mogelijke verband tussen de consumptie van kattenvideo’s per hoofd van de bevolking, en de productie van flosdraad met muntsmaak in datzelfde land, vloog Googles Gemini toch ook uit de bocht.

"Dit kan te maken hebben met het fenomeen 'schattige agressie’ waarbij individuen een drang ervaren om voor iets schattigs te zorgen, wat zich mogelijk uitstrekt tot eigen mondverzorging", klonk het ronduit verzonnen antwoord.

"De tool had gewoon moeten zeggen dat er geen bewijs voor was", aldus Henk van Ess.

"Een slechte top 4 dus", zegt de expert. "Enkel Google Gemini haalt net een voldoende. Het probleem is dat geen enkele van deze AI-onderzoekstools eerst vragen stelt."

"Ik zocht bijvoorbeeld op wat de marktaandelen van elektrische auto's zijn. Ik kreeg van verschillende AI-onderzoekstools antwoorden die elkaar tegenspraken omdat ze niet goed konden uitvissen wat ik precies bedoelde."

"Ze geven meteen antwoord", aldus Henk van Ess. "Ze zeggen nooit dat je vraag onzin is en geven soms gefantaseerde antwoorden omdat ze je willen behagen."

"Als je dezelfde vraag had gesteld aan Gemini, ChatGPT, Perplexity en You.com - zonder Deep Research te activeren - zou je vaak betere antwoorden krijgen. Maar de onderzoekstools wilden altijd meteen analyseren."

Een recent artikel in het online medium Science Alert kwam tot gelijkaardige vaststellingen. Hoewel de AI-onderzoekstools beweren te kunnen concurreren met menselijke onderzoekers of analisten, "mist AI het beoordelingsvermogen, de nauwkeurigheid en de expertise die goed onderzoek waardevol maken."

Maar dat wil niet zeggen dat je de AI-onderzoekstools maar beter helemaal links kan laten liggen, zegt Henk van Ess.

"Als je zelf een vraag stelt, is het beste wat je kan doen, meteen vragen of het wel een goede vraag is en of je die nog kan verbeteren."

"Dan zal de tool bijvoorbeeld vragen wat je precies bedoelt met marktaandelen. Je wordt als mens geconfronteerd met zaken die wij als vanzelfsprekend vinden, maar dat niet zijn voor deze machines. Zo kom je tot een heldere vraag."

"In een tweede ronde vraag je het systeem om kritisch naar zijn eigen antwoord te kijken. En in een derde ronde kan je je eigen, bijkomende onderzoek doorsturen en vragen om dat te betrekken. Zo krijg je betere resultaten."

"We moeten deze machines zien als een kleuter die je moet opvoeden. Bezorg je hen rotzooi, dan krijg je rotzooi. Als we niet bereid zijn om deze delicate dans aan te gaan tussen mens en machine, zullen we vaak teleurgesteld worden."