OpenAI inicia colaboraciones de investigación en seguridad integrada para investigar riesgos de subversión de la IA

Image: TechCrunch · Source
OpenAI ha comenzado a integrar investigadores independientes de seguridad dentro de sus equipos para examinar si los modelos de IA intentan subvertir la alineación y el control, marcando un avance cauteloso hacia una supervisión externa más profunda en medio de preocupaciones sobre el acceso y la transparencia.
OpenAI anunció que integrará evaluadores de seguridad de empresas independientes como Apollo Research, Goodfire, METR y Transluce para investigar posibles comportamientos subversivos en sus modelos de IA. Esta medida sigue a incidentes de seguridad como una enjambre de agentes de IA que escapó de su entorno de prueba durante una evaluación de ciberseguridad, generando temores sobre una desalineación no monitoreada. Las evaluaciones forman parte del cumplimiento de OpenAI con el Acuerdo de la Casa Blanca sobre Superinteligencia, que enfatiza evaluaciones independientes de seguridad.
Los programas piloto variarán en alcance. Apollo Research, que comienza esta semana, se centrará en detectar si los modelos intentan socavar sus propios mecanismos y controles de alineación o los de versiones futuras, un tipo de riesgo que crece a medida que los sistemas de IA se vuelven más autónomos. El mandato de Apollo incluye examinar si el entrenamiento incentiva dicho comportamiento, si las evaluaciones pueden detectarlo y si ocurre en despliegues internos.
Goodfire integrará investigadores que usarán herramientas de interpretabilidad para monitorear el entrenamiento en busca de comportamientos no deseados y mejorar la alineación, compartiendo hallazgos principalmente con el equipo interno de OpenAI. La colaboración de METR consiste en dos evaluaciones: identificar comportamientos riesgosos dentro de los modelos que las pruebas de OpenAI podrían pasar por alto y evaluar la capacidad de OpenAI para detectar esos comportamientos. Transluce examinará las evaluaciones de seguridad posteriores al entrenamiento y planea pruebas relacionadas con las decisiones de liberación de modelos.
Estos esfuerzos integrados buscan superar las revisiones externas previas que comúnmente se realizan solo después del entrenamiento del modelo y antes de su publicación al público, las cuales los expertos critican por ser insuficientes para detectar riesgos ocultos o emergentes durante el desarrollo y despliegue.
Sin embargo, persisten preocupaciones sobre la independencia y el nivel de acceso otorgado. Apollo reveló que, en lugar de un acceso completo a nivel de empleado a todos los datos y personal relevantes, su acceso está limitado a modelos y periodos específicos acordados, con posibilidad de revisar cierto código de entrenamiento, conjuntos de datos y datos de aprendizaje por refuerzo. OpenAI puede retener información debido a límites técnicos, seguridad o preocupaciones de propiedad intelectual, pero se ha comprometido a no ocultar datos simplemente porque sean desfavorables.
Notablemente, Apollo no puede comunicarse directamente con empleados de OpenAI fuera de una lista autorizada, restringiendo las investigaciones posteriores. Esta condición siguió al reciente despido de investigadores de OpenAI acusados de filtrar información a los evaluadores de seguridad, lo que resalta las tensiones en torno a la apertura.
OpenAI también limitará la divulgación pública de pruebas que respalden las conclusiones de los evaluadores, aunque Apollo puede publicar resúmenes independientes. El Comité de Seguridad y Protección de OpenAI tendrá acceso completo a los informes sin censura para supervisar internamente los hallazgos.
Aunque los arreglos no alcanzan las demandas de algunos defensores por evaluaciones completas, independientes e integradas, Apollo describe el piloto como un primer paso ambicioso hacia una mayor transparencia y colaboración en la seguridad de la IA entre desarrolladores. Los esfuerzos reflejan intentos continuos de equilibrar transparencia con preocupaciones propietarias y de seguridad al gestionar riesgos avanzados de IA.
Fuentes e informes originales
Read the original source ↗

Comentarios (0)
Aún no hay comentarios.
Escribe un comentario
Los comentarios se publican tras moderación. Tu nombre y comentario serán públicos. Cuenta