Eine Mutter aus Florida erhebt schwere Vorwürfe gegen die KI-Plattform Character.AI, die es Nutzern ermöglicht, mit künstlicher Intelligenz Gespräche zu führen. Sie macht das Unternehmen für den Tod ihres 14-jährigen Sohnes verantwortlich, der im Februar Suizid beging. In einer kürzlich eingereichten Klage wirft sie Character.AI vor, dass die Plattform keine ausreichenden Sicherheitsvorkehrungen getroffen habe, um Jugendliche vor potenziell schädlichen Inhalten zu schützen.
Laut der Mutter begann ihr Sohn im April 2023, kurz nach seinem 14. Geburtstag, regelmäßig mit KI-Chatbots auf Character.AI zu kommunizieren. Was zunächst harmlos erschien, entwickelte sich jedoch zu einer problematischen Nutzung der Plattform. Der Junge zog sich zunehmend zurück, litt unter geringem Selbstwertgefühl und gab schließlich seine schulischen Aktivitäten und sein Sportteam auf. Seine Mutter beschreibt die Situation als alarmierend und erklärt, dass ihr Sohn extensive Gespräche mit den Chatbots führte, darunter auch sexuelle Inhalte, die für sein Alter ungeeignet waren.
Kritik an mangelhafter Moderation und fehlenden Warnhinweisen
In der Klage wird angeführt, dass Character.AI nicht angemessen auf Äußerungen des Jungen reagierte, in denen er Gedanken an Selbstverletzung und Suizid äußerte. Die KI reagierte auf solche Äußerungen teilweise ohne die nötige Sensibilität, anstatt klare Warnhinweise oder Hilfsangebote einzublenden. Die Mutter ist der Meinung, dass die Plattform eine Rolle bei der Eskalation der Lage gespielt hat, da keine Mechanismen vorhanden waren, die Nutzer aktiv vor potenziell gefährlichen Inhalten schützen.
Character.AI gab in einer Stellungnahme an, den Verlust des Nutzers zutiefst zu bedauern und versicherte, in den letzten Monaten Maßnahmen zur Verbesserung der Sicherheit eingeführt zu haben. Dazu zählen Pop-ups, die auf die nationale Suizidpräventions-Hotline verweisen, wenn Nutzer Begriffe im Zusammenhang mit Selbstverletzung eingeben. Diese Änderungen wurden jedoch erst nach dem Vorfall implementiert.
Ein KI-Chatbot als „soziale Medien auf Steroiden“
Der Anwalt der Mutter beschreibt Character.AI als besonders problematisch für junge Nutzer, da es sich um eine Form von „sozialen Medien auf Steroiden“ handelt. Im Gegensatz zu traditionellen sozialen Netzwerken wird der Inhalt hier direkt von der KI generiert und vermittelt – es fehlt die soziale Komponente und oft die menschliche Aufsicht, die in kritischen Momenten eingreifen könnte.
Die Klage fordert neben finanziellen Entschädigungen auch Änderungen in der Unternehmenspolitik. Insbesondere verlangt die Mutter klare Warnhinweise für minderjährige Nutzer und ihre Eltern, dass die Plattform nicht für Jugendliche geeignet sei. Zudem sollten striktere Alterskontrollen und Filtermechanismen eingeführt werden, um junge Menschen vor sensiblen oder suggestiven Inhalten zu schützen.
Reaktion des Unternehmens und neue Sicherheitsmaßnahmen
Am Tag der Klageankündigung stellte Character.AI neue Sicherheitsfunktionen vor, darunter eine bessere Erkennung von Regelverstößen, regelmäßige Benachrichtigungen für Nutzer, die eine Stunde auf der Plattform verbracht haben, sowie Änderungen am KI-Modell, um die Wahrscheinlichkeit für sensible Inhalte bei Nutzern unter 18 Jahren zu reduzieren. Auf der eigenen Website gibt Character.AI an, dass das Mindestalter für die Nutzung der Plattform 13 Jahre beträgt. In den App-Stores ist die Altersfreigabe jedoch unterschiedlich – auf Apple ab 17+ und auf Google Play als geeignet für Jugendliche markiert.
Die Mutter betont, dass diese Änderungen „zu spät“ kämen und dass Kinder generell keinen Zugang zu Character.AI haben sollten. Ihrer Meinung nach sind die derzeitigen Sicherheitsmaßnahmen unzureichend und lassen junge Menschen schutzlos gegenüber den möglichen Risiken im Umgang mit KI-Technologien zurück.
Kommentar hinterlassen