Künstliche Intelligenz in Notaufnahmen: AI-Modell erfindet Details über Patienten und Medikamente

In einer neuen Untersuchung der Associated Press haben Dutzende von Experten festgestellt, dass das AI-gesteuerte Transkriptionswerkzeug Whisper, das von OpenAI entwickelt wurde, häufig unter Halluzinationen und Ungenauigkeiten leidet. Das AI-Modell erfindet oft völlig zusammenhangslose Texte.

Besonders besorgniserregend ist jedoch, wer auf die Technologie angewiesen ist. Trotz der Warnung von OpenAI, dass sein Modell nicht in „hochriskanten Bereichen“ eingesetzt werden sollte, verwenden über 30.000 medizinische Fachkräfte und 40 Gesundheitssysteme Nabla, ein auf Whisper basierendes Tool, um Patienteninteraktionen zu transkribieren und zusammenzufassen – mit höchstwahrscheinlich ungenauen Ergebnissen.

In einer medizinischen Umgebung könnte dies „wirklich gravierende Folgen“ haben, sagte Alondra Nelson, Professorin am Institute for Advanced Study gegenüber der AP.

Whisper schnitt selbst bei gut aufgezeichneten kurzen Audioaufnahmen schlecht ab, so eine kürzlich zitierte Studie der AP. Über Millionen von Aufnahmen hinweg könnten Zehntausende von Halluzinationen auftreten, warnten Forscher.

Weitere Forscher enthüllten, wie gravierend diese Fehler sein können. Whisper fügte unerklärlicherweise rassistische Kommentare hinzu und erfand nicht existierende Medikamente. In anderen Fällen beschrieb die KI gewalttätige und sexuelle Handlungen ohne Grundlage im Originalgespräch.

Die Reichweite des Schadens könnte immens sein. Laut Nabla wurde das Tool geschätzt für sieben Millionen Arztbesuche verwendet, bei denen nun möglicherweise gefährliche Ungenauigkeiten auftreten könnten.

Es gibt keine Möglichkeit zu überprüfen, ob die KI-Transkriptionen korrekt sind, da das Tool aus „Datensicherheitsgründen“ die Original-Audiodateien löscht. Es sei denn, die medizinischen Fachkräfte selbst behalten eine Kopie der Aufnahme bei.