Selbst das neueste KI-Modell von OpenAI ist noch immer in der Lage, idiotische Fehler zu machen: Nach Milliarden von Dollar Investitionen kann das Modell immer noch nicht zuverlässig sagen, wie oft der Buchstabe ‚r‘ im Wort ‚Erdbeere‘ vorkommt.
Ein Kommunikationsplattform namens MyChart sieht täglich Hunderttausende von Nachrichten zwischen Ärzten und Patienten ausgetauscht werden. Das Unternehmen hat kürzlich eine neue KI-gestützte Funktion hinzugefügt, die automatisch Antworten auf Fragen von Patienten im Namen von Ärzten und Assistenten entwirft.
Laut New York Times nutzen bereits rund 15.000 Ärzte die Funktion, obwohl die Möglichkeit besteht, dass die KI potenziell gefährliche Fehler einführt.
Ein Beispiel: Der Hausarzt Vinay Reddy von UNC Health berichtete der NYT, dass eine von der KI erstellte Entwurfsnachricht einer seiner Patientinnen versicherte, dass sie einen Hepatitis-B-Impfstoff erhalten habe – obwohl sie nie Zugang zu ihren Impfaufzeichnungen hatte.
Das neue MyChart-Tool ist nicht verpflichtet offenzulegen, dass eine bestimmte Antwort von einer KI geschrieben wurde. Das könnte es für Patienten nahezu unmöglich machen zu erkennen, dass ihnen medizinischer Rat von einem Algorithmus gegeben wurde.
Kritiker befürchten, dass selbst wenn medizinische Fachkräfte diese Entwürfe überprüfen sollen, die KI Fehler einführen könnte, die übersehen werden könnten.
Es gibt bereits Hinweise darauf, dass dies geschehen könnte. In einer Studie im Juli fanden Forscher ‚Halluzinationen‘ in sieben von 116 AI-generierten Entwurfsnachrichten des MyChart-Tools.
Sogar ein einziger Fehler könnte katastrophale Folgen haben. Eine separate Studie ergab, dass GPT-4 wiederholt Fehler machte, als es damit beauftragt wurde, auf Nachrichten von Patienten zu antworten.
Einige Patienten werden möglicherweise nie erfahren, dass sie Ratschläge von einer KI erhalten. Es gibt keine Bundesvorschriften darüber, dass Nachrichten als KI-generiert gekennzeichnet sein müssen.