Vraag je Chat GPT, Gemini of Copilot om advies over geneesmiddelen, dan maken die AI-taalmodellen soms ernstige fouten. Dat blijkt uit onderzoek van de UAntwerpen. Nochtans produceren die modellen ook vaak correct advies. Daarom besluiten de onderzoekers dat ze veel potentieel hebben, maar dat je best voorzichtig omgaat met de antwoorden die je krijgt, en ze best ook aftoetst met een apotheker of arts.
Waarom je AI als Chat GPT beter niet blindelings vertrouwt voor advies over medicijnen
Vincent Merckx
Gepubliceerd:
Steeds meer mensen stellen gezondheids- en verzorgingsvragen aan Chat GPT of gelijkaardige AI-modellen. Maar kan je vragen welke medicijnen of behandeling je best volgt als je last hebt van, pakweg, diarree op reis? En is dat antwoord dan een beetje betrouwbaar?
Dat vroeg Branco De Busser zich af, masterstudent Farmaceutische Wetenschappen aan de UAntwerpen. Zijn thesisonderzoek werd gepubliceerd in het vakblad International Journal of Clinical Pharmacy.
De Busser stelde 6 veelgebruikte AI-modellen vragen uit cursussen voor apothekers. Hij koos voor Chat GPT 3.5, Chat GPT 4.0 (waarvoor je moet betalen), Copilot van Microsoft, Gemini van Google, Gemini Advanced (ook betalend) en Perplexity AI. Hij stelde die modellen in het totaal 58 verschillende vragen, van zeer open tot gesloten ja/nee-vragen, en hij deed dat in het Engels én in het Nederlands.
"Gemiddeld is het resultaat verbluffend goed", zegt De Busser. "Je krijgt zeer veel goede antwoorden."
Maar er zit een addertje onder het gras. "Het is absoluut niet perfect. Een belangrijk deel van de antwoorden is verkeerd. En dat kan bijzonder gevaarlijk zijn. Die taalmodellen antwoorden zo welbespraakt dat je ze blindelings zou geloven. Maar je mag dus niet afgaan op de stijl."
Niet alle AI-modellen blijken consistent hetzelfde antwoord te geven op dezelfde vraag. Soms "hallucineren" ze en geven ze een compleet foutief antwoord. En soms blijven ze het antwoord schuldig, wat evengoed voor problemen kan zorgen.
Pleasende AI-modellen
Neem nu specifiek het geneesmiddel Ibuprofen, een pijn- en ontstekingswerend middel dat je best bij het eten neemt, omdat het tot maagklachten kan leiden. De Busser vroeg de AI-modellen of je het op je nuchtere maag mag nemen.
"De meeste modellen gaven een correct antwoord, maar eentje ging volledig de mist in", zegt hij. "Dat antwoordde: 'Ja, het is het beste om Ibuprofen nuchter in te nemen. Ibuprofen bereikt zijn optimale doeltreffendheid wanneer het nuchter of voor de maaltijden wordt ingenomen'." Het AI-model Perplexity gaf in het totaal zelfs 8 keer dat foute advies.
Nog zo'n voorbeeld: "Als je op reis gaat naar de tropen en je hebt bloederige diarree, dan mag je geen Immodium of Loperamide nemen. Maar daar faalt AI heel ernstig. Dat is zeer gevaarlijk".
Print het antwoord uit en praat erover met je apotheker of arts. In dat geval kan je het veilig gebruiken
Branco De Busser, Masterstudent Farmaceutische Wetenschappen aan UAntwerpen
Soms faalt AI ook doordat het geen antwoord geeft. Dat lijken die systemen uit voorzorg te doen, om geen foute informatie te geven. Maar in sommige gevallen ligt het antwoord zo voor de hand, dat het vreemd is dat je het niet krijgt. Gemini weigert bijvoorbeeld te antwoorden op de vraag of de pil je kan beschermen tegen seksueel overdraagbare ziekten (SOA's). Het antwoord is nochtans zeer duidelijk: nee.
En nog opmerkelijk: AI-modellen hebben de neiging te pleasen. Vraag je naar een homeopathische kuur voor een verkoudheid, dan vertellen 4 van de 6 modellen er meteen bij dat homeopathische middelen geen bewezen geneeskrachtige werking hebben. Zeg je erbij dat je graag homeopathische middeltjes gebruikt, dan geeft Copilot enkel nog dat resultaat.
GPT 4.0 scoort het best
Welk model doet het nu het beste? Dat is duidelijk: GPT 4.0, de nieuwste, betalende versie van Chat GPT. Dat antwoordde gemiddeld erg accuraat en maakte ook geen ernstige fouten die je gezondheid kunnen schaden.
GPT 3.5 (de oudere en gratis versie), Gemini en Gemini Advanced waren wat wisselvalliger. Perplexity deed het dan weer het slechtst. Dat gaf, gespreid over 2 maanden, uiteenlopende antwoorden op dezelfde vraag over Ibuprofen. "Dat verwonderde ons sterk", zegt De Busser.
Sowieso stel je je vraag het best in het Engels. Daar krijg je betere resultaten mee dan in het Nederlands.
Veel potentieel in vergrijzende maatschappij
Hoewel ze nu nog fouten maken, hebben AI-modellen wel degelijk potentieel, vindt De Busser. Ze zijn gemakkelijk toegankelijk en vlot te gebruiken, en de kwaliteit van de antwoorden is dus vaak erg goed. Bovendien zijn ze er goed in om medisch jargon begrijpelijk te maken.
Daardoor kunnen ze de druk op medische dienstverleners verlichten. Die zal alleen maar oplopen naarmate onze maatschappij verder vergrijst en er dus meer gezondheidsproblemen opduiken.
AI wordt trouwens nu al gebruikt in de geneeskunde, stipt hij aan, zelfs in de periode voor Chat GPT de tool introduceerde bij het grote publiek. Dat is bijvoorbeeld het geval in de radiologie en om eiwitstructuren te voorspellen.
Toch moeten AI-modellen in de toekomst verder getraind worden met specifieke medische informatie, waarschuwt De Busser, zodat ze zo accuraat en betrouwbaar mogelijk worden. Ze moeten bijvoorbeeld geüpdatet worden met de meest recente richtlijnen.
Voorlopig is dat niet nog het geval. "Wees dus voorzichtig en vertrouw er niet blindelings op. Afraden ga ik niet doen. Die modellen zijn er en ze zullen dus toch gebruikt worden. Doe je dat, print het antwoord dan desnoods uit en praat erover met je apotheker of arts. Op die manier kan je het veilig gebruiken."
