Anthropic otorga acceso a nivel de empleado a un organismo externo de vigilancia de IA para mejorar la supervisión de seguridad

Image: Ars Technica · Source

Anthropic ha integrado un equipo externo de vigilancia dentro de sus oficinas, proporcionando un acceso amplio para evaluar de forma independiente los riesgos de sus modelos de IA, marcando un avance importante en la transparencia y responsabilidad en seguridad de IA.

Anthropic, un destacado desarrollador de inteligencia artificial, ha dado un paso significativo para fortalecer la supervisión de seguridad al otorgar a una organización externa de vigilancia lo que denomina "acceso similar al de un empleado" a sus sistemas y hardware internos. Esta iniciativa busca evaluar transparentemente los riesgos asociados con sus modelos de IA, incluyendo Claude, integrando directamente al equipo de vigilancia dentro de las oficinas de Anthropic. Los evaluadores externos pertenecen a METR, una organización sin fines de lucro con experiencia previa trabajando junto a importantes laboratorios de IA como OpenAI, Google y Meta. Al contar con un acceso completo comparable al de los propios equipos de evaluación de riesgos de Anthropic, el personal de METR puede auditar, revisar y analizar asuntos de seguridad de manera independiente.

Este movimiento responde a la amplia preocupación de la industria y el público sobre los crecientes peligros potenciales que plantean los sistemas de IA cada vez más potentes, que abarcan desde la disrupción económica y las amenazas cibernéticas hasta riesgos existenciales. El impulso del CEO de Anthropic, Dario Amodei, por evaluaciones de terceros había recibido anteriormente el apoyo de figuras influyentes de la IA, incluyendo a Sam Altman de OpenAI y Elon Musk de SpaceX, destacando un consenso poco común sobre la importancia de una supervisión externa robusta.

Anthropic ha enfatizado que, si bien busca responsabilidad pública en su trabajo de seguridad, la divulgación directa al público de toda información sensible podría exponer vulnerabilidades a actores malintencionados o competidores. En su lugar, ha optado por un modelo análogo a la supervisión bancaria, donde los reguladores ubican examinadores dentro de grandes bancos para evaluar riesgos de primera mano y de manera proactiva. Los evaluadores de METR tienen autoridad para publicar sus hallazgos sin necesidad de la aprobación de Anthropic, aunque la empresa puede solicitar omisiones para categorías de datos sensibles como información de clientes, comunicaciones legales o detalles propietarios de modelos.

Para reforzar esta supervisión, Anthropic ha equipado a METR con hardware de la empresa, espacio de oficina y acceso irrestricto similar al de los equipos internos de seguridad. Se anima a los empleados de Anthropic a interactuar con los revisores de METR como lo harían con colegas en temas de riesgo, fomentando una transparencia colaborativa. Cabe destacar que este acuerdo se lleva a cabo sin compensación financiera de Anthropic a METR, que opera exclusivamente con fondos filantrópicos y gubernamentales, preservando así su independencia.

Este desarrollo llega mientras Anthropic se prepara para una oferta pública inicial de alto perfil, estimada en más de 2 billones de dólares en valoración este año. La compañía desea demostrar que la seguridad en IA y la gestión rigurosa de riesgos siguen siendo prioridades centrales a pesar de las presiones comerciales. Más allá de METR, Anthropic continúa colaboraciones con otros socios de seguridad como Accenture, involucrado en extensas inversiones en pruebas de seguridad, y SecureBio, que evalúa riesgos relacionados con amenazas químicas y biológicas.

Anthropic ha invitado a otras empresas líderes en IA a adoptar programas similares de evaluadores integrados, enfatizando la transparencia voluntaria para mejorar colectivamente los estándares de seguridad de la industria. METR expresó su disposición a extender sus esfuerzos de supervisión a todo el ámbito de IA para proporcionar mejor evidencia pública y garantías respecto a la seguridad de la inteligencia artificial.

En resumen, la concesión sin precedentes por parte de Anthropic de un acceso interno extenso a un organismo externo de vigilancia representa un avance notable en la gobernanza de la IA. Establece un posible precedente para integrar evaluadores independientes dentro de empresas de IA para identificar y mitigar riesgos proactivamente en medio de crecientes llamados a marcos regulatorios más fuertes sobre tecnologías avanzadas de IA.