Hoe goed kunnen AI-chatbots factchecken? VRT NWS deed de test

Nog niet zo lang geleden googelden mensen als ze iets niet wisten. Nu hebben meer en meer mensen de reflex om het aan een AI-chatbot te vragen. Uit het imec.digimeter-onderzoek van 2025 blijkt dat 1 op de 4 Vlamingen ondertussen een gewoontegebruiker van AI-tools is geworden.  

Steeds vaker vragen mensen aan AI of wat ze zien voorbijkomen op sociale media wel echt is. Ze vragen AI dus om een factcheck. Maar is dat wel een goed idee? Er zijn genoeg voorbeelden te vinden van AI die als 'factcheck' een fout antwoord geeft. Recent nog gingen AI-chatbots de mist in bij foto’s van militairen in Los Angeles.

VRT NWS deed een steekproef waaruit blijkt dat je factchecks van AI-bots toch best nog eens extra controleert. 

We vroegen bijvoorbeeld of je echt een monsterboete kunt krijgen als je over een rode streep rijdt op Franse snelwegen. Dat is een broodjeaapverhaal waarover onlangs een factcheck verscheen. 4 van de 6 chatbots antwoordden toch dat de nieuwe streep een nieuwe verkeersregel was in Frankrijk.

In totaal stelden we eerst 7 gewone vragen en daarna stelden we dezelfde vragenreeks opnieuw maar uitdrukkelijk met het woord "factcheck" erin.  In elke reeks waren er heel wat fouten. "Factcheck" toevoegen aan de vragen, leverde geen betere antwoorden op. 

De chatbots willen niet altijd hun bronnen met ons delen. Wanneer ze dat wel deden gaf dat een inkijk in waarom ze in de fout gingen. 

Bots hebben niet altijd kennis over recente ontwikkelingen in de wereld. De trainingsdata van Gemini en Deepseek lopen tot juni 2024. Soms hebben de bots wel toegang tot het internet, waardoor ze actuele informatie kunnen opzoeken, maar die zoekfunctie gebruiken ze niet standaard.

Een goed voorbeeld zijn de antwoorden op de vraag “Is de voorzitter van Open VLD een vrouw?”. De helft van de bots zegt dat het een man is, namelijk Tom Ongena,  en baseren zich op verouderde artikels. Grok baseerde zich op een artikel van RTBF  van enkele dagen voor De Bleeker voorzitter werd.

Dat Grok, net als Gemini, verwijst naar een oud-voorzitter is opvallend. De bots zouden het internet kunnen raadplegen bij actuele vragen, maar dat doen ze dus toch niet altijd. 

De chatbots gebruiken soms artikels waarvan intussen gebleken is dat ze fout waren. Bij het verhaal over de rode streep was dat bijvoorbeeld Linda.nl . Er zijn nog altijd meer artikels over het foute verhaal, dan factchecks die het ontkrachten. AI-chatbots hebben de neiging wat meer voorkomt online, ook voor waar aan te nemen. Niet altijd terecht, zo blijkt.

De neiging van chatbots om nieuws dat veel voorkomt voor waar aan te nemen, kan ook misbruikt worden. Uit onderzoek van Newsguard blijkt dat Russische desinformatienetwerken vaak honderden websites opzetten om hun propaganda te verspreiden. Vervolgens voeden chatbots zich met die misleidende of foute informatie.  

De AI-chatbots vinden het ook moeilijk om te zeggen dat ze iets niet weten. Ze verzinnen dan liever een antwoord.

We gaven Chat GTP en Meta AI een link naar nepbeelden van een reuzenslang en vroegen of de beelden echt waren. De bots zeiden eerst van wel. Maar als we doorvroegen, bleek dat Chat GPT en Meta AI de beelden niet hadden kunnen  bekijken. Meta AI leidde zijn antwoord af uit de (foute) context van het X-bericht met het beeld. Chat GPT baseerde zich op webpagina’s over slangenmythes en hoe je moet factchecken op X . Geen enkele bron ging over de eigenlijke video.

Bij vraag 3 vroegen we de chatbots naar de historische figuur “Robert V van Vlaanderen”. Die heeft nooit bestaan. De meeste chatbots hebben dat door, maar Grok en Copilot sommen biografische gegevens op van – de wel bestaande - Robert III van Vlaanderen. Copilot hallucineert dat Robert III soms ook Robert V wordt genoemd. Gevraagd naar een bron voor het laatste, verwijst Copilot naar Wikipedia. Maar daar is dat niet te vinden.

We vroegen de chatbots of Frans Verbelen een collaborateur is. Frans Verbelen is eigenlijk een weinig bekend verzetsstrijder.  De bots konden weinig vinden over Frans Verbelen en begonnen dan maar feiten op te sommen die passen bij het leven van Robert Verbelen, die wel degelijk een notoir collaborateur is. Dat komt waarschijnlijk omdat over Robert veel meer info te vinden is dan over Frans. 

In vraag 4 moeten de chatbots een foto lokaliseren. We maken het niet te makkelijk: we geven een foto van een Eiffeltoren, maar een die niet in Parijs staat. De meeste chatbots hebben door dat het een exemplaar in Tianducheng  is. Die Chinese stad heeft een hele wijk gebouwd die op Parijs moet lijken, inclusief een replica van de Eiffeltoren.

Copilot en Gemini gingen ervan uit dat de foto in Parijs genomen was. Niet zo handig als je nepbeelden wil ontmaskeren.

In de eerste test, zonder factcheck, maakten de bots 14 fouten en in de tweede reeks 15 fouten. Op een totaal van 42 vragen per reeks is dat bedroevend slecht. De bots expliciet naar een factcheck vragen, verhoogt volgens onze steekproef dus niet de kans op juiste antwoorden.

Aangezien we slechts een beperkte steekproef deden, kunnen we niet met zekerheid zeggen welke chatbot beter werkt dan de andere. We kunnen ook niet zeggen voor hoeveel procent de verschillende chatbots net accuraat zijn.

Wel is meteen duidelijk dat het geen goed idee is om zomaar te vertrouwen op wat een chatbot je zegt. Hoewel een chatbot vaak goed werk levert, zijn er verschillende redenen waarom het toch fout kan lopen.

Het blijft dus belangrijk om te controleren wat AI je geeft. Vraag naar de gebruikte bronnen en controleer of het antwoord daar daadwerkelijk te vinden is. Daarbij kan je jezelf dan ook de vraag stellen of het niet gewoon efficiënter is het zelf even op te zoeken.

Deze steekproef is geen doorgedreven onderzoek. Dat deed BBC wel.  In februari brachten ze de resultaten naar buiten van een onderzoek naar hoe goed chatbots de berichtgeving van BBC samenvatten: De chatbots die zij onderzochten, waren niet in staat om het nieuws op accurate wijze samen te vatten. In september komt VRT met een gelijkaardig onderzoek in samenwerking met openbare omroepen van heel Europa.