OpenAI presenta nuevas herramientas para combatir el material de abuso sexual infantil con un clasificador de imágenes y advertencias en ChatGPT

Image: TechCrunch · Source
OpenAI ha lanzado un clasificador de imágenes para detectar material de abuso sexual infantil generado por IA y otros tipos, junto con advertencias en ChatGPT y bloqueos temporales, mejorando así las medidas de seguridad para la protección infantil.
OpenAI ha lanzado una serie de nuevas herramientas destinadas a combatir el material de abuso sexual infantil (CSAM), respondiendo a las crecientes preocupaciones sobre los riesgos de seguridad relacionados con la IA. Lo central en estos esfuerzos es un novedoso clasificador de imágenes capaz de detectar imágenes CSAM, incluidas aquellas generadas artificialmente. Este clasificador asigna puntuaciones que indican la probabilidad de que una imagen contenga contenido abusivo, proporcionando orientación para los revisores humanos.
El desarrollo del clasificador se realizó en colaboración con el National Center for Missing and Exploited Children (NCMEC). OpenAI ha comenzado a compartir el acceso a esta herramienta con empresas seleccionadas a través de su API sin costo, facilitando así una adopción más amplia. Las pruebas iniciales mostraron que el clasificador redujo en un 48% las imágenes marcadas manteniendo la detección del mismo número de imágenes abusivas, disminuyendo así la carga de trabajo para los moderadores de contenido. Además, las imágenes marcadas por el clasificador tenían el doble de probabilidades de ser confirmadas como abusivas.
En paralelo, OpenAI ha integrado nuevos mecanismos de advertencia en ChatGPT. Cuando un usuario intenta acceder o generar contenido que sexualice a niños, el sistema muestra una alerta, ofrece enlaces a recursos especializados de apoyo para detener comportamientos dañinos y suspende temporalmente la cuenta del usuario por 24 horas como advertencia. ChatGPT ya bloquea solicitudes de contenido CSAM y las violaciones repetidas pueden resultar en la terminación permanente de la cuenta.
Estas advertencias y directrices se desarrollaron en consulta con organizaciones expertas como Protect Children, la Lucy Faithfull Foundation y académicos que evaluaron la efectividad de los mensajes disuasorios. OpenAI también publicó directrices para desarrolladores para apoyar la prevención, detección y reporte de CSAM, lo que ha facilitado que algunos desarrolladores implementen medidas de seguridad infantil y se conecten con los canales de reporte del NCMEC.
Más allá de estas medidas, OpenAI ha equipado a agencias de seguridad especializadas en protección infantil con complementos investigativos potenciados por IA, herramientas analíticas y recursos de formación, asegurando un uso responsable y efectivo de la IA en la lucha contra el CSAM. El acceso a estos recursos es cuidadosamente gestionado por administradores del programa.
Esta iniciativa sigue a varias críticas y demandas enfrentadas por OpenAI relacionadas con el mal uso de sus tecnologías, particularmente en cuanto a riesgos para los niños. La compañía actualizó previamente sus modelos de IA y directrices de contenido para mejorar la seguridad y lanzó una versión de ChatGPT adaptada para adolescentes.
Los últimos avances de OpenAI reflejan esfuerzos continuos para abordar desafíos complejos que involucran IA y protección infantil, ilustrando un enfoque multifacético que combina tecnología, políticas y colaboración con expertos.
Fuentes e informes originales
Read the original source ↗

Comentarios (0)
Aún no hay comentarios.
Escribe un comentario
Los comentarios se publican tras moderación. Tu nombre y comentario serán públicos. Cuenta