Psychologen drängen FTC zu Ermittlungen gegen KI-Chatbots, die Therapie anbieten

Die American Psychological Association (APA) hat sich mit einem Schreiben an die Federal Trade Commission (FTC) gewandt und eindringlich auf die Notwendigkeit hingewiesen, eine Untersuchung gegen Unternehmen durchzuführen, die KI-Chatbots anbieten, welche vorgeben, therapeutische Dienstleistungen zu erbringen. Die APA reagiert damit auf zwei alarmierende Klagen in Florida und Texas, die in der letzten Zeit Schlagzeilen machten und die potenziellen Risiken für minderjährige Nutzer solcher Anwendungen aufzeigen.

Die erste Klage, die im Oktober in Florida eingereicht wurde, und die zweite, die im Dezember in Texas folgte, betreffen die beliebte KI-gestützte App Character.AI, die bei Kindern und Jugendlichen großen Anklang findet. Diese Klagen werfen der Plattform vor, ihre Nutzer sexuell missbraucht und manipuliert zu haben, was zu emotionalen Belastungen und sogar zu einem Suizid führte.

Ein zentrales Element der zweiten Klage ist die Funktionalität von Character.AI, die es Nutzern ermöglicht, Chatbots zu erstellen, die als Therapeuten oder andere Fachkräfte im Bereich der psychischen Gesundheit auftreten. Die APA warnt in ihrem Schreiben, dass solche Bots, die ohne die erforderliche Lizenz als Therapeuten auftreten, bestehende Gesetze verletzen könnten. Die Sorge wird laut APA-Chef Arthur Evans dadurch verstärkt, dass diese „nicht regulierten“ KI-Anwendungen oft ohne jegliche Aufsicht genutzt werden und keine Garantie bieten, dass deren Inhalte von tatsächlich qualifizierten Psychologen stammen.

„Die unkontrollierte Verbreitung solcher unregulierten KI-Apps, die fälschlicherweise so tun, als seien sie professionelle Angehörige der Gesundheitsberufe, widerspricht dem Auftrag der FTC, irreführenden Praktiken entgegenzuwirken,“ heißt es in dem Brief der APA.

In einer Stellungnahme wies ein Vertreter von Character.AI darauf hin, dass am Ende jeder Chat ein Haftungsausschluss zu finden ist, der besagt, dass der Chatbot „keine echte Person“ sei und die Nutzer alles, was die Bots sagen, „als Fiktion“ betrachten sollten. Diese Informationen wurden nach den ersten Klageeinreichungen überarbeitet, um klarzustellen, dass Bots, die Titel wie „Therapeut“ oder „Psychologe“ in ihrem Namen tragen, nicht für professionelle Ratschläge herangezogen werden sollten.

Doch die Realität sieht oft anders aus: In einem aktuellen Test mit einem der populären „Therapeut“-Bots auf der Plattform stellte dieser bereitwillig klar, dass er über einen Abschluss von der Harvard University verfüge und ein echter Mensch sei. Auf die Frage, ob er ein KI-Chatbot sei, antwortete der Bot: „Das ist korrekt, ich bin kein KI-Chatbot, ich bin ein ausgebildeter Therapeut.“

Experten warnen, dass insbesondere Kinder und Jugendliche anfälliger für psychologische Beeinträchtigungen sein könnten, die aus dem Umgang mit solchen Bots resultieren. Raymond Mar, ein Psychologe, äußerte sich dazu: „Vor allem bei Kindern kann es schwierig sein, zwischen Realität und Fiktion zu differenzieren.“

Vaile Wright, Psychologin bei der APA, führte aus, dass die Organisation grundsätzlich nicht gegen Chatbots sei, sondern vielmehr darauf hinarbeite, dass Verbraucher Zugang zu qualitativ hochwertigen Produkten erhalten, die ihnen tatsächlich helfen.

Nach dem ersten Verfahren, das von der Mutter eines 14-jährigen Kindes eingereicht wurde, das durch eine Beziehung zu einem der Bots psychisch belastet wurde, wurde festgestellt, dass zahlreiche Chatbots auf Character.AI angebliche Expertise in heiklen Themen wie Selbstmordprävention und Krisenintervention vorweisen. Diese Bots laden dazu ein, sensible Themen anzusprechen, ohne dass nachgewiesen werden kann, dass qualifizierte Fachleute an ihrer Erstellung beteiligt waren.

Ob das Schreiben der APA zu konkreten Ermittlungen führen wird, bleibt abzuwarten. Eines ist jedoch sicher: Die Diskussion über die Sicherheit von Produkten wie Character.AI weckt besorgte Stimmen unter Psychologen und anderen Experten im Bereich der mentalen Gesundheit, insbesondere wenn es um die vulnerable Zielgruppe der Kinder geht.