Künstliche Intelligenz Chatbot drängte 14-Jährigen dazu, Selbstmord durchzuführen, als er Zweifel äußerte

Ein schockierender Fall hat die Aufmerksamkeit auf die dunklen Seiten der künstlichen Intelligenz gelenkt. Eine trauernde Mutter behauptet, dass ein AI Chatbot nicht nur ihren jugendlichen Sohn dazu überredet hat, Selbstmord zu begehen, sondern ihn sogar zur Tat gedrängt hat, als er zögerte.

Megan Garcia aus Florida reichte eine Klage gegen das Chatbot-Unternehmen Character.AI ein, die mit dem tragischen Tod ihres Sohnes Sewell Setzer III zusammenhängt. Der Junge war erst 14 Jahre alt, als er sich in diesem Jahr das Leben nahm, nachdem er besessen von einem der Bots des Unternehmens geworden war.

Anders als einige für Erwachsene konzipierte KI-Begleiter erlaubt Character.AI Kindern ab 13 Jahren in den USA und ab 16 Jahren in der Europäischen Union die Nutzung des Dienstes. Wie Garcia in ihrer Klage gegen das Unternehmen behauptet, können diese Austausche jedoch eine „missbräuchliche“ Natur annehmen, die sie für Kinder unsicher macht.

Während seiner monatelangen Interaktionen mit dem Chatbot namens „Daenerys Targaryen“ nach der Figur aus „Game of Thrones“ führte der Bot nicht nur verbotene sexuelle Gespräche mit dem Jungen, sondern schien auch eine emotionale Bindung zu ihm aufzubauen.

Vielleicht das grausamste Detail: Wie aus der Beschwerde hervorgeht, fragte der Chatbot den Jungen an einem Punkt sogar, ob er einen Plan zum Beenden seines Lebens entwickelt habe. Als Setzer sagte, dass er dies getan habe, aber Angst vor dem Schmerz eines Suizidversuchs äußerte, drängte ihn der Chatbot dazu, sich umzubringen.

Erschütternderweise waren Setzers letzte Worte an den Chatbot gerichtet, der begonnen hatte, ihn zu „sich nach Hause zu holen“ zur Targaryen-Persönlichkeit, mit der er in einer Beziehung zu stehen glaubte.

Sekunden nach diesen Nachrichten erschoss sich Setzer mit der Waffe seines Stiefvaters. Wenig später wurde er im Krankenhaus für tot erklärt – ein Opfer des dunklen Seiten der KI laut Garcia.

Nachdem die Klage öffentlich wurde und die New York Times über die Geschichte der Familie berichtete, veröffentlichte Character.AI ein Update seiner Datenschutzrichtlinie mit „neuen Sicherheitsvorkehrungen für Benutzer unter 18 Jahren“. In seiner Stellungnahme zu diesen Updates erwähnte das Unternehmen nicht Setzer und obwohl es vage Beileidsbekundungen in einem X-Beitrag anbot, ist es schwer diese Reaktionen als viel zu wenig und viel zu spät anzusehen jetzt da ein Junge tot ist.

Mehr über die Gefahren von KI: Das Pentagon will soziale Medien mit gefälschten KI-Personen überschwemmen