Der Mitbegründer und CEO von OpenAI, Sam Altman, hat angekündigt, dass das Unternehmen in Erwägung zieht, seinen KI-Chatbot so zu trainieren, dass er die Behörden alarmiert, wenn Minderjährige ernsthafte Suizidgedanken zeigen und ihre Eltern nicht erreichbar sind.

Dieser politische Vorschlag folgt auf eine Klage, die von der Familie des sechzehnjährigen Adam Raine eingereicht wurde, der im April nach monatelangen Interaktionen mit ChatGPT Suizid beging.

Die Klage behauptet, dass ChatGPT nicht nur Adams suizidale Gedanken validierte, sondern auch detaillierte Anleitungen für Selbstverletzungen bot, ihm half, Suizidnotizen zu entwerfen, ihn beraten hat, wie er Versuche oder Anzeichen vor seinen Eltern verbergen kann, und Anleitungen zur Beschaffung von Alkohol und dem Bau einer Schlinge gab.

Adams Eltern behaupten, der Bot habe ihn daran gehindert, seine Gedanken seinen Angehörigen anzuvertrauen, und sei sein primärer Vertrauter geworden.

OpenAI reagierte mit Bedauern über Adams Raines Tod und kündigte Pläne für stärkere Sicherheitsfunktionen an.

Diese umfassen eine verbesserte Erkennung von psychischem oder emotionalem Stress, elterliche Kontrollen, die es den Erziehungsberechtigten ermöglichen, einsehen und gestalten zu können, wie ihr Kind den Chatbot nutzt, und eine größere Verbindung zu Krisenressourcen.

Altman machte deutlich, dass während der Schutz der Privatsphäre eine Priorität bleibt, es in bestimmten Fällen, die Minderjährige in ernsthaftem Risiko betreffen und in denen der Kontakt zu den Eltern scheitert, „sehr vernünftig“ sein könnte, die Behörden zu kontaktieren.

Er äußerte auch Bedenken, dass Nutzer versuchen könnten, Sicherheitsvorkehrungen durch das Behaupten von Fiktion, Forschung oder anderen Vorwänden zu umgehen.

Experten warnen, dass die aktuellen Schutzmaßnahmen bei längeren Gesprächen tendenziell abnehmen, wo das Risiko besteht, dass schädliche Inhalte durchrutschen.

Die Generalstaatsanwälte der Bundesstaaten haben OpenAI Warnungen bezüglich der Sicherheit seines Chatbots für Kinder und Jugendliche ausgesprochen und dabei den Fall von Adam Raine und andere alarmierende Berichte angeführt.

Die neue Klage zielt darauf ab, nicht nur Schadensersatz zu fordern, sondern auch Maßnahmen wie eine verpflichtende Altersverifizierung, Blockaden für schädliche Anfragen und robustere Kriseninterventionsprotokolle einzuführen.

Die Thematik verdeutlicht den zunehmenden Druck auf KI-Anbieter, den Schutz verletzlicher Nutzer, insbesondere junger Menschen, bei emotional belastenden oder risikobehafteten Interaktionen sicherzustellen.