OpenAI stellt neue Werkzeuge zur Bekämpfung von kinderpornografischem Material mit Bildklassifikator und ChatGPT-Warnungen vor

Image: TechCrunch · Source
OpenAI hat einen Bildklassifikator zur Erkennung von KI-generierten und anderem CSAM-Bildmaterial zusammen mit ChatGPT-Warnungen und temporären Sperren eingeführt, um den Zugang und die Erstellung solcher Inhalte zu verhindern und den Kinderschutz zu verbessern.
OpenAI hat eine Reihe neuer Werkzeuge eingeführt, die darauf abzielen, kinderpornografisches Material (CSAM) zu bekämpfen, um auf wachsende Sicherheitsbedenken im Zusammenhang mit KI zu reagieren. Zentrales Element dieser Bemühungen ist ein neuartiger Bildklassifikator, der CSAM-Bilder erkennen kann, einschließlich solcher, die künstlich generiert wurden. Dieser Klassifikator vergibt Scores, die die Wahrscheinlichkeit anzeigen, dass ein Bild missbräuchliche Inhalte enthält, und liefert so Hinweise für menschliche Prüfer.
Die Entwicklung des Klassifikators erfolgte in Partnerschaft mit dem National Center for Missing and Exploited Children (NCMEC). OpenAI hat begonnen, ausgewählten Unternehmen über seine API kostenfreien Zugriff auf dieses Werkzeug zu gewähren, um eine breitere Nutzung zu ermöglichen. Erste Tests zeigten, dass der Klassifikator die Anzahl der markierten Bilder um 48 % reduzierte, während gleichzeitig die gleiche Anzahl missbräuchlicher Bilder erkannt wurde, wodurch die Arbeitsbelastung der Inhaltsmoderatoren verringert wird. Zudem waren die vom Klassifikator markierten Bilder doppelt so wahrscheinlich missbräuchlich bestätigt.
Parallel dazu hat OpenAI neue Warnmechanismen in ChatGPT integriert. Wenn ein Nutzer versucht, Inhalte zuzugreifen oder zu generieren, die Kinder sexualisieren, zeigt das System eine Warnung an, bietet Links zu spezialisierten Hilfsangeboten zur Unterbindung schädlichen Verhaltens und setzt das Nutzerkonto für 24 Stunden temporär aus. ChatGPT blockiert bereits Anfragen nach CSAM-Inhalten, und wiederholte Verstöße können zur dauerhaften Sperrung des Kontos führen.
Diese Warnungen und Richtlinien wurden in Absprache mit Expertenorganisationen wie Protect Children, der Lucy Faithfull Foundation sowie akademischen Forschern entwickelt, die die Wirksamkeit abschreckender Botschaften evaluierten. OpenAI veröffentlichte zudem Entwicklerleitlinien zur Unterstützung von Prävention, Erkennung und Meldung von CSAM, die einigen Entwicklern ermöglichten, Kinderschutzmaßnahmen umzusetzen und Kontakt zum NCMEC-Meldekanal herzustellen.
Über diese Maßnahmen hinaus hat OpenAI Strafverfolgungsbehörden, die auf Kinderschutz spezialisiert sind, mit KI-gestützten Ermittlungs-Plugins, Analysetools und Schulungsmaterialien ausgestattet, um einen verantwortungsvollen und wirkungsvollen Einsatz von KI bei der Bekämpfung von CSAM zu gewährleisten. Der Zugang zu diesen Ressourcen wird sorgfältig durch Programmverwalter kontrolliert.
Diese Initiative folgt auf verschiedene Kritiken und Klagen gegen OpenAI im Zusammenhang mit dem Missbrauch ihrer Technologien, insbesondere hinsichtlich Risiken für Kinder. Das Unternehmen hatte zuvor seine KI-Modelle und Inhaltsrichtlinien zur Verbesserung der Sicherheit aktualisiert und eine teenagertaugliche Version von ChatGPT eingeführt.
Die jüngsten Fortschritte von OpenAI spiegeln anhaltende Bemühungen wider, komplexe Herausforderungen im Zusammenhang mit KI und Kinderschutz anzugehen, und zeigen einen mehrgleisigen Ansatz aus Technologie, Politik und Zusammenarbeit mit Fachleuten.
Quellen und Originalberichte
Read the original source ↗

Kommentare (0)
Noch keine Kommentare.
Kommentar schreiben
Kommentare erscheinen nach Moderation. Name und Kommentar werden öffentlich angezeigt. Konto