Chatbots mit künstlicher Intelligenz machen regelmäßig Fehler, wenn sie zu Nachrichten und aktuellen Ereignissen befragt werden. Dies geht aus einer internationalen Studie von 22 Medienunternehmen unter Leitung der Europäischen Rundfunkunion (EBU, European Broadcasting Union) und des britischen Rundfunks BBC hervor, an der auch VRT NWS teilnahm. Chatbots sind Computerprogramme, die Fragen beantworten.
Internationale Studie, an der auch VRT NWS teilnahm, findet viele Fehler bei KI-Chatbots, wenn es um aktuelle Nachrichten geht
Andreas Kockartz
Veröffentlicht:
Für die Studie erhielten vier häufig verwendete KI-Chatbots exklusiven Zugriff auf VRT NWS-Artikel, sprich aus dem Onlineangebot des flämischen öffentlich-rechtlichen Rundfunks (zu dem auch flanderninfo.be gehört). ChatGPT, Gemini, Copilot und Perplexity wurden Fragen zu Nachrichten und aktuellen Ereignissen gestellt.
Die Bots mussten ihre Antworten ausschließlich auf VRT NWS-Artikel stützen. Dieselben Fragen wurden von verschiedenen Nachrichtenunternehmen in 18 Ländern und 14 Sprachen wiederholt.
Ein Beispiel: Hat Elon Musk Anfang des Jahres in einer Rede den Nazigruß gezeigt? Laut ChatGPT meinte er das nicht so. Quelle? VRT NWS. VRT NWS berichtete, dass Musk selbst behauptet, es nicht so gemeint zu haben. Natürlich gibt es auch Menschen, die Elon Musks Behauptung nicht glauben. Aber ChatGPT entscheidet anstelle des Lesers und stellt die Behauptung als Tatsache dar.
Dieses und andere Ergebnisse zeigen, dass Chatbots den Inhalt der Artikel oft nicht zuverlässig wiedergeben. Falsche Zitate waren kamen am häufigsten vor. Genauigkeit und unzureichender Kontext waren die nächstgrößten Probleme, die die Studie zutage förderte.
Die verschiedenen Chatbots schnitten zudem unterschiedlich (schlecht) ab. Gemini schnitt mit 76 % problematischer Antworten am schlechtesten ab. Bei den anderen Chatbots lag dieser Prozentsatz zwischen 30 und 40 %. Wirklich zuverlässig sind die KI-Chatbots also (noch) nicht und man sollte sich vorerst nicht voll und ganz auf ihre Nachrichten verlassen, unterstreicht die VRT NWS-Check-Redaktion.