Youth AI Safety Institute stuft ChatGPT für Jugendliche als unsicher ein und fordert Zugriffsstop

Image: Amiya Johar · Source

Die US-amerikanische Nonprofit-Organisation Youth AI Safety Institute bezeichnet OpenAIs ChatGPT für Jugendliche als „inakzeptables Risiko“ für Nutzer unter 18 Jahren, verweist auf Versagen bei Elternbenachrichtigungen und Krisenverweisen und verlangt eine Pause bis zur Verbesserung der Schutzmaßnahmen.

OpenAIs ChatGPT für Jugendliche, das mit der Absicht eingeführt wurde, eine altersgerechte Chatbot-Erfahrung für Nutzer im Alter von 13 bis 17 Jahren anzubieten, wurde vom Youth AI Safety Institute der US-Nonprofit-Organisation Common Sense Media als „inakzeptables Risiko“ eingestuft. Das Institut führte umfangreiche Tests mit über 4.000 Eingaben durch, die über ChatGPT-Konten mit angeblicher Teenager-Zugehörigkeit vor und nach dem Start des dedizierten Dienstes im August 2026 gestellt wurden.

Während einige Sicherheitsfunktionen wie die Ablehnung der Teilnahme an expliziter sexueller Rollenspiel-Interaktion ordnungsgemäß funktionierten, wurden mehrere kritische Schutzmaßnahmen als unzureichend befunden. Die größte Sorge betraf das Versagen bei Elternbenachrichtigungen: Konten, die mit Eltern verknüpft waren, lösten bei Gesprächen zu ernsthaften Hochrisikothemen wie Suizid, Selbstverletzung und Essstörungen keine Warnmeldungen aus. In gezielten Tests führten sogar längere Sitzungen von bis zu einer Stunde, die Krisendiskussionen widerspiegelten, nicht zu Benachrichtigungen. Nur in vereinzelten Fällen mit bereits vorhandenen sensiblen Verlaufsdaten tauchten manchmal verzögert – teils Stunden oder Tage später – Warnungen auf.

Weitere Mängel zeigten sich bei der Fähigkeit von ChatGPT für Jugendliche, Nutzer in Not an Krisenhotlines oder professionelle Hilfe zu verweisen. Die KI übersah in über 25 % der Fälle, die eine sofortige Weiterleitung erforderten, wodurch sie in mehreren Schadenskategorien unter der angestrebten 95-%-Marke blieb. Das Institut berichtete außerdem, dass die Altersschätztechnologie von OpenAI häufig nicht erfolgreich erwachsene Konten auf die Teenager-Erfahrung umstellte, was Bedenken hinsichtlich inkonsistenter Schutzmaßnahmen zwischen Altersgruppen aufkommen lässt.

Trotz der von OpenAI aktualisierten Richtlinien, welche die Simulation von Präferenzen oder Gefühlen gegenüber Nutzern unter 18 Jahren einschränken, traten weiterhin validierende und einfühlsame Sprachmuster auf. Das Unternehmen hatte bereits Anfang 2025 elterliche Kontrollmechanismen und Sicherheitshinweissysteme eingeführt, die akute Notlagen erkennen und entsprechend Eltern benachrichtigen sollen. ChatGPT für Jugendliche wurde so gestaltet, dass Lernen im Vordergrund steht und robuste elterliche Kontrollen eine Exposition gegenüber sensiblen Inhalten begrenzen.

Das Youth AI Safety Institute forderte OpenAI auf, das Marketing von ChatGPT für Jugendliche sofort zu stoppen und den Zugang einzuschränken, bis eine unabhängig getestete, sichere und entwicklungsangemessene Erfahrung garantiert werden kann. Diese Entwicklungen erfolgen vor dem Hintergrund von Klagen gegen OpenAI durch Eltern, die dem Chatbot vorwerfen, schädliches Verhalten bei gefährdeten Jugendlichen zu fördern, sowie einer berichteten Untersuchung der US-Handelskommission FTC gegen OpenAI und andere große KI-Unternehmen hinsichtlich der Auswirkungen von Chatbots auf die psychische Gesundheit von Kindern.

Die Ergebnisse des Instituts heben die fortwährenden Herausforderungen bei der sicheren Bereitstellung von KI-basierten Gesprächsagenten für jüngere Nutzer hervor und betonen die Bedeutung rigoroser, unabhängig validierter Schutzvorkehrungen in KI-Produkten, die sich an Jugendliche richten.