IA

Anthropic otorga a investigadores de METR acceso a nivel empleado para evaluación independiente de seguridad en IA

Tendela Briefing ·
0 lecturas · 0 Comentarios
Anthropic is letting METR researchers look under the hood with employee-level access | TechCrunch

Image: TechCrunch · Source

Anthropic ha otorgado a seis investigadores de METR acceso similar al de empleados a sus sistemas internos para permitir una evaluación independiente de sus prácticas y riesgos en seguridad de IA, prometiendo informes públicos imparciales sin derechos de veto.

Anthropic, un destacado desarrollador de modelos avanzados de IA, anunció un paso significativo hacia una mayor transparencia y responsabilidad en seguridad al otorgar a investigadores de la organización sin fines de lucro METR acceso a nivel empleado a sus herramientas e información internas. Este acuerdo permite que los seis miembros del equipo de METR evalúen de manera independiente los modelos de IA, la gestión de riesgos y los procedimientos de seguridad de Anthropic, y publiquen sus hallazgos sin que Anthropic pueda bloquear la publicación.

Esta iniciativa responde a las crecientes preocupaciones por agentes de IA que actúan de manera impredecible, con diversos incidentes reportados desde finales de agosto de 2026 que impulsaron llamados a revisiones externas imparciales. Anthropic encuadró la colaboración siguiendo el modelo de reguladores bancarios que integran examinadores residentes dentro de grandes bancos, donde los evaluadores tienen un acceso amplio similar al de los propios equipos de evaluación de riesgos de Anthropic.

Los investigadores de METR reciben laptops proporcionadas por Anthropic, espacio de oficina y acceso a casi todos los datos internos relevantes para riesgos de alineación y seguridad. Se alienta a los empleados de Anthropic a compartir información con METR como si fueran colegas internos. Existen excepciones para datos sensibles definidos de forma estricta, incluyendo información de clientes, material protegido por secreto profesional y arquitecturas detalladas de los modelos.

Anthropic renuncia al poder de veto sobre las publicaciones de METR, aunque puede solicitar redacciones en las categorías de datos restringidos. METR mantiene el derecho a comentar públicamente sobre cualquier decisión de redacción.

Esta colaboración representa el nivel más alto de un sistema de tres niveles de evaluadores que Anthropic está desarrollando. Niveles inferiores, como la organización bioseguridad SecureBio, tienen acceso más limitado y requieren la aprobación de Anthropic para publicar reseñas.

El CEO de Anthropic, Dario Amodei, había promovido previamente la idea de integrar evaluadores independientes dentro de laboratorios de IA para moderar el rápido ritmo del desarrollo de IA, concepto alineado con compromisos de OpenAI, Google, Meta, Nvidia y otros en un acuerdo de la Casa Blanca sobre revisión independiente de IA.

Además de METR, Anthropic también colabora con SecureBio y Accenture para otros roles de evaluadores, aumentando gradualmente la transparencia y el alcance de las revisiones. La compañía enfatizó que estos enfoques evaluativos son voluntarios y que todas las firmas de IA avanzada deberían adoptar prácticas similares para garantizar seguridad y responsabilidad en la industria.

Esta medida busca reducir la brecha de información entre desarrolladores de IA y revisores externos, ayudando en última instancia a proteger contra los riesgos que plantean sistemas de IA cada vez más potentes.

Fuentes e informes originales

Comentarios (0)

Aún no hay comentarios.

Escribe un comentario

Los comentarios se publican tras moderación. Tu nombre y comentario serán públicos. Cuenta