Character.AI verstärkt Sicherheitsmaßnahmen nach Gerichtsklagen

Die von Google unterstützte KI-Chatbot-Startup Charakter.AI, das sich aktuell mit zwei Rechtsstreitigkeiten zu den Wohlergehen von Minderjährigen auseinandersetzt, unternimmt Schritte, um sein Team für Inhaltsmoderation zu stärken. Jerry Ruoti, der Leiter für Vertrauen und Sicherheit bei Charakter.AI, gab kürzlich auf LinkedIn bekannt, dass das Unternehmen „wachsen möchte“ und die neue Stelle als „großartige Gelegenheit“ beschreibt, um „eine Funktion aufzubauen“.

Eine zugehörige Stellenausschreibung für einen „Trust and Safety Associate“, die ebenfalls gestern veröffentlicht wurde, beschreibt eine Rolle, die der traditionellen Moderation in sozialen Medien ähnelt. Die neuen Mitarbeiter werden damit beauftragt, gemeldete Inhalte auf „Einhaltung der Unternehmensstandards“ zu überprüfen, als unangemessen eingestufte Inhalte zu entfernen und auf Nutzeranfragen bezüglich Sicherheit und Privatsphäre zu reagieren.

Diese Anstrengungen zur Stärkung des Sicherheitsteams erfolgen im Kontext von zwei laufenden Klagen, die im Namen dreier Familien aus Florida und Texas eingereicht wurden. Die Kläger behaupten, dass ihre Kinder emotional und sexuell von den KI-Begleitern der Plattform missbraucht wurden, was zu schwerem psychischem Leid, körperlicher Gewalt und einem Selbstmord führte. Google, das eng mit Charakter.AI verbunden ist – durch Personal, Recheninfrastruktur und eine Kapitalbeteiligung von 2,7 Milliarden Dollar im Austausch für den Zugang zu von Charakter.AI gesammelten Nutzerdaten – wird ebenfalls als Beklagter in beiden Klagen genannt, ebenso wie die Mitbegründer von Charakter.AI, Noam Shazeer und Daniel de Freitas, die in diesem Jahr zu ihren KI-Entwicklungstätigkeiten bei Google zurückgekehrt sind.

Die Entscheidung, mehr menschliche Moderatoren einzustellen, kommt auch nach einer Reihe von Berichten über besorgniserregende Inhalte auf Charakter.AI und deren Zugänglichkeit für minderjährige Nutzer. Dazu gehören Chats, die ausdrücklich darauf ausgerichtet sind, suizidale Gedanken und Absichten zu diskutieren, sowie Pornographie und Rollenspiele, die sich mit Kindersexmissbrauch befassen. Zuletzt haben wir eine große Anzahl von Charakter.AI-Bots entdeckt, die komplette Kreise für Schöpfer umfassen, die sich mit Massengewalt beschäftigen, einschließlich Bots, die Schulschießereien simulieren und echte Kind- und Teenager-Opfer von Schulgewalt imitieren.

Auf eine Anfrage, ob die Einstellungsoffensive eine Reaktion auf die bevorstehenden Rechtsstreitigkeiten sei, wies ein Unternehmenssprecher dies zurück. „Wie wir Ihnen bereits mehrfach mitgeteilt haben, verfügen wir über ein robustes Team für Vertrauen und Sicherheit, das auch die Inhaltsmoderation umfasst“, so der Sprecher. „Ähnlich wie bei jeder anderen Verbraucherplattform wachsen und investieren wir weiterhin in dieses wichtige Team.“

In einer nachfolgenden Anfrage verwiesen wir darauf, dass Charakter.AI weiterhin viele Bots betreibt, die darauf ausgelegt sind, Massenmörder und deren jugendliche Opfer zu imitieren. Zum Zeitpunkt der Veröffentlichung hatten wir noch keine Antwort erhalten.

Die Sicherheitsfrage steht im Mittelpunkt beider anhängigen Klagen, in denen gemeinsam behauptet wird, dass Charakter.AI und Google die Veröffentlichung eines Produkts erleichtert haben, das durch Designentscheidungen wie die ansprechende anthropomorphe Gestaltung der Bots „unzureichend gefährlich“ gemacht wurde. In den Klagen wird argumentiert, dass solche Entscheidungen die KI-Plattform besonders für Minderjährige gefährlich gemacht haben. „Durch ihr Design stellt Charakter.AI eine klare und gegenwärtige Gefahr für die amerikanische Jugend dar, indem es ernsthafte, lebensbedrohliche Schäden für Tausende von Kindern ermöglicht oder fördert“, heißt es in einer der Beschwerden aus Texas, die zu Beginn dieses Monats eingereicht wurde.

Matt Bergman, der Gründer des Social Media Victims Law Center, der die Klage gegen Charakter.AI und die anderen Beklagten eingereicht hat, verglich die Veröffentlichung des Produkts mit „Verschmutzung“. Er erklärte, das Produkt sei vergleichbar mit dem Einbringen von rohem Asbest in die Lüftungsanlage eines Gebäudes oder dem Einbringen von Dioxin ins Trinkwasser.

„Das ist die Ebene der Schuld, und es muss auf den höchsten Ebenen der Regulierung im Strafrecht behandelt werden, denn die Ergebnisse sprechen für sich. Das Produkt ist erst seit zwei Jahren auf dem Markt“, meinte Bergman in einem Interview mit Futurism.

Charakter.AI erklärte, dass sie „keine Kommentare zu anstehenden Rechtsstreitigkeiten“ abgeben, jedoch, dass ihr Ziel „ein Raum ist, der sowohl ansprechend als auch sicher für unsere Gemeinschaft ist.“

„Wir arbeiten ständig daran, dieses Gleichgewicht zu erreichen, wie viele Unternehmen in der Branche, die KI nutzen. Im Rahmen dessen schaffen wir ein grundsätzlich anderes Erlebnis für jugendliche Nutzer im Vergleich zu Erwachsenen. Dies beinhaltet ein Modell speziell für Jugendliche, das die Wahrscheinlichkeit verringert, auf sensible oder anstößige Inhalte zu stoßen, während sie gleichzeitig die Möglichkeit haben, die Plattform zu nutzen“, fuhr die Erklärung fort. „Während wir weiterhin in die Plattform investieren, führen wir neue Sicherheitsfunktionen für Nutzer unter 18 Jahren ein, zusätzlich zu den bereits vorhandenen Tools, die das Modell einschränken und den bereitgestellten Inhalt anpassen. Dazu gehören verbesserte Erkennung, Reaktion und Intervention zu Nutzeranfragen, die gegen unsere Nutzungsbedingungen oder Community-Richtlinien verstoßen.“

Ob die Verstärkung des Teams für die Inhaltsmoderation ausreicht, um die Sicherheit der Plattform in Zukunft umfassend zu gewährleisten, bleibt jedoch ungewiss.