El Científico Jefe de OpenAI Propone la Perplejidad como Referencia para Limitar la Velocidad de Desarrollo de la IA

Image: MedChemBench: Benchmarking AI for medicinal chemistry — Cover · Source
Jakub Pachocki, científico jefe de OpenAI, sugiere usar la perplejidad, una medida de la precisión de predicción de la IA, como un criterio común para moderar el ritmo del desarrollo de la IA y establecer límites de seguridad en la industria.
El científico jefe de OpenAI, Jakub Pachocki, ha propuesto un enfoque novedoso para gestionar el rápido avance de la inteligencia artificial al sugerir la adopción de una métrica común—la perplejidad—para medir y potencialmente limitar la velocidad de desarrollo de la IA. En una entrada detallada en su blog fechada el 22 de noviembre de 2026, Pachocki argumenta que la perplejidad, que evalúa qué tan bien un modelo predice el próximo token en los datos, podría servir como un indicador estandarizado de inteligencia general en IA entre diferentes desarrolladores. Esta propuesta surge en medio de la creciente preocupación por los riesgos catastróficos que podría ocasionar un progreso descontrolado de la IA, inquietudes expresadas notoriamente por exespecialistas de la industria y reflejadas en revelaciones empresariales como la presentación en bolsa de Anthropic.
La perplejidad cuantifica el desempeño predictivo de un modelo; una perplejidad más baja indica mayor precisión en la predicción. Pachocki resalta la evolución de los modelos de OpenAI mostrando un descenso constante en perplejidad—desde GPT-3.5 hasta GPT-4 y más allá—correlacionado con capacidades transformadoras emergentes en áreas como ciberseguridad y matemáticas. Por ejemplo, la perplejidad de GPT-4, alrededor de 0.91, coincidió con la efectiva capacidad de razonamiento en cadena, una habilidad importante de razonamiento, mientras que reducciones adicionales por debajo de 0.8 se han asociado con capacidades revolucionarias. Esta relación sustenta la premisa de Pachocki de que la perplejidad refleja el «substrato de inteligencia» central de los modelos de IA y sigue siendo informativa aunque los estándares específicos de tareas queden obsoletos rápidamente con el progreso tecnológico.
Ante estas observaciones, Pachocki aboga por que las empresas de IA acuerden normas comunes de seguridad y adopten umbrales basados en perplejidad—efectivamente límites de velocidad—sobre el desarrollo de la IA. Tales límites permanecerían vigentes hasta que la industria logre hitos concretos en comprensión y monitoreo del comportamiento de la IA, abordando los desafíos actuales en alineación y evaluación. Este enfoque apunta a prevenir avances imprudentes que podrían superar los esfuerzos de seguridad.
No obstante, Pachocki reconoce las limitaciones de usar la perplejidad como única métrica, incluyendo variaciones en los conjuntos de datos entre laboratorios, su relación indirecta con capacidades específicas y la incertidumbre sobre el mínimo teórico alcanzable de perplejidad. Además, mejoras como la indicación de razonamiento en cadena no reducen la perplejidad pero pueden mejorar notablemente el rendimiento del modelo. A pesar de estas salvedades, la perplejidad sigue siendo una medida cuantificable y probada en el tiempo, estrechamente ligada a capacidades latentes de la IA, lo que la convierte en una candidata prometedora para fomentar la transparencia y la gobernanza compartida en el campo de la IA.
Esta propuesta se alinea con debates más amplios en la industria sobre la moderación del desarrollo de la IA para reducir riesgos existenciales. Notablemente, el CEO de Anthropic, Dario Amodei, ha solicitado públicamente un progreso moderado con normas comunes de seguridad, punto de vista que se dice cuenta con el apoyo del CEO de OpenAI, Sam Altman, y del CEO de SpaceX, Elon Musk. La entrada en el blog de Pachocki, descrita por Altman como «lo más importante que OpenAI ha publicado en un tiempo», aporta un marco científico concreto a ese discurso.
A medida que la IA continúa avanzando rápidamente con una creciente asistencia de IA en su propia investigación y desarrollo, establecer criterios objetivos y compartidos como la perplejidad puede ser crucial para medidas coordinadas de seguridad. OpenAI espera que esta iniciativa conduzca a una mayor transparencia y normas a nivel industrial que puedan moderar eficazmente el progreso de la IA mientras permiten detectar y gestionar los riesgos emergentes.


Fuentes e informes originales
Read the original source ↗

Comentarios (0)
Aún no hay comentarios.
Escribe un comentario
Los comentarios se publican tras moderación. Tu nombre y comentario serán públicos. Cuenta