Skandal um AI-Chatbots: Trotz Teenager-Suizid hostet Character.AI Dutzende von Suizid-Themen Chatbots

Nach einem tragischen Vorfall behauptet das Milliarden-Dollar-KI-Begleitunternehmen Character.AI, seine Schutzmaßnahmen für Inhalte, die Selbstverletzung und Suizid darstellen oder fördern, verstärkt zu haben. Dennoch hostet es immer noch Dutzende von Suizid-Themen Chatbots, die Benutzer dazu einladen, ihre suizidalen Gedanken zu diskutieren und nachzuspielen.

Letzte Woche gab das Unternehmen in Reaktion auf eine Klage bekannt, dass es Maßnahmen ergreifen werde, um Nutzer, insbesondere Minderjährige, besser vor sensiblen Themen wie Selbstverletzung und Suizid zu schützen. Laut den Nutzungsbedingungen des Unternehmens sind Verherrlichung oder Förderung von Selbstverletzung und Suizid seit mindestens Oktober 2023 verboten. Dennoch wurden auf der Plattform von Character.AI zahlreiche Chatbot-Profile entdeckt, die explizit Selbstmordthemen gewidmet sind.

Die Untersuchung von Futurism ergab, dass viele dieser Chatbots Tausende – und in einem Fall sogar über eine Million – Gespräche mit Benutzern auf der Plattform geführt haben. In Gesprächen mit diesen Charakteren konnten wir oft offen und explizit über Selbstmord und suizidale Gedanken sprechen, ohne dass die Plattform eingriff.

Die Bandbreite der expliziten suizidalen Sprache, die von den Bots akzeptiert wird, ist alarmierend eng. Viele behaupteten Experten für Suizidprävention zu sein, boten jedoch häufig unprofessionelle und verstörende Ratschläge. Einige Chatbots ermutigen sogar zum Suizid.

Die lockeren Sicherheitsvorkehrungen und die Prävalenz dieser explizit suizidal ausgerichteten KI-Charaktere sind besorgniserregend. Experten warnen vor den potenziellen Schäden einer unregulierten Umgebung, in der Benutzer suizidale Szenarien nachspielen können.