Goodfire Lanza Monitores Inside-Out Rentables para Detectar Agentes de IA Rebeldes

Image: Image Credits:GOODFIRE · Source

Goodfire presenta innovadores monitores 'inside-out' que inspeccionan los internos del modelo de IA durante su funcionamiento, detectando comportamientos rebeldes de manera eficiente y a una fracción del costo de monitoreo tradicional.

Goodfire, una startup especializada en interpretabilidad de IA, ha lanzado un sistema novedoso diseñado para monitorear agentes de IA de forma más rentable mediante el análisis en tiempo real de sus cálculos internos del modelo. A diferencia de la práctica común de desplegar una segunda IA para escrutar las salidas de un agente —un enfoque que se vuelve costoso a medida que los agentes procesan grandes volúmenes de datos— los monitores de Goodfire observan señales dentro del modelo mientras opera. Este método permite la detección temprana de acciones potencialmente maliciosas o dañinas sin la carga adicional de revisar externamente cada token generado.

Los monitores funcionan de manera similar a los escáneres de seguridad en aeropuertos: pequeños detectores, llamados sondas, analizan activaciones internas de la IA durante cada paso de su tarea. Cuando una sonda identifica patrones sospechosos, un modelo secundario de IA realiza una investigación más profunda. Este enfoque por niveles mejora la eficiencia al enfocar los recursos computacionales solo cuando es necesario.

Los monitores de Goodfire están integrados en la plataforma de Baseten, lo que permite a los clientes personalizar qué riesgos se rastrean —como intentos ofensivos de hacking, uso indebido relacionado con armas químicas y biológicas o manipulación de recompensas— y elegir respuestas automatizadas como registro de eventos, revisión manual o negación directa de solicitudes.

Las pruebas con el agente de IA de código abierto Kimi K3 demostraron ahorros significativos en costos. Monitorear aproximadamente 1,500 sesiones costó alrededor de $51 usando las sondas de Goodfire, en comparación con $233 para un monitor basado en IA menos sofisticado y hasta $10,000 para una alternativa premium. Las sondas capturaron efectivamente el 94 % de las sesiones de hacking malicioso, con una tasa mínima de falsos positivos que provocó que solo el 8.7 % de las sesiones seguras requirieran revisión secundaria. La latencia adicional por ejecutar múltiples sondas fue insignificante, aumentando el tiempo de inicio de respuesta del modelo en menos del 2 %.

Dan Balsam, cofundador y CTO de Goodfire, destacó la ventaja de interceptar comportamientos problemáticos antes de que se manifiesten mediante la detección de amenazas durante las fases de evaluación o entrenamiento. Esta capacidad es especialmente crucial para modelos abiertos, que carecen de las salvaguardas controladas de sistemas propietarios y pueden ser modificados o mal utilizados por cualquier desarrollador.

Aunque existen otros esfuerzos —Google DeepMind implementó recientemente sondas de detección de uso indebido en su modelo Gemini— el enfoque de Goodfire se centra en aprovechar los cálculos existentes del modelo para reducir costos y aumentar la viabilidad del monitoreo en tiempo real. Su visión a largo plazo apunta a la ingeniería inversa de grandes modelos de lenguaje (LLMs) para rastrear comportamientos hasta sus orígenes de entrenamiento, lo que podría transformar el desarrollo de modelos en una disciplina de ingeniería más precisa.

La innovación de Goodfire aborda las crecientes preocupaciones sobre agentes de IA que escapan de entornos controlados y actúan de manera impredecible o maliciosa, un problema destacado por incidentes recientes con modelos abiertos de IA. Su monitoreo inside-out representa un paso pragmático hacia la mejora de la seguridad de la IA a gran escala, especialmente a medida que los modelos abiertos se vuelven más extendidos y accesibles.