Helen Toner, exmiembro de la junta de OpenAI, sobre CEOs de IA y los desafíos de la seguridad en IA

Image: The Verge · Source
Helen Toner, exmiembro de la junta de OpenAI y actual directora de CSET, analiza la seguridad en IA, los retos en gobernanza y la búsqueda de la superinteligencia en medio de presiones comerciales crecientes y una conciencia política en desarrollo.
Helen Toner, directora ejecutiva del Center for Security and Emerging Technology (CSET) de la Universidad de Georgetown y exmiembro de la junta de OpenAI, compartió recientemente sus perspectivas sobre las complejidades de la seguridad en IA, la regulación y la implicación de los responsables políticos. Toner fue una de las cuatro personas en la junta de OpenAI que votaron para destituir a Sam Altman en un movimiento controvertido conocido como “el parpadeo”, que puso en evidencia las dificultades de gobernanza en la intersección entre la misión de la IA y el crecimiento comercial.
Toner explicó que la junta sin fines de lucro de OpenAI originalmente tenía la intención de evitar que la misión derivara hacia la maximización de beneficios a costa de la seguridad en IA, pero este mecanismo de responsabilidad falló durante el episodio del despido de Altman. Desde entonces, OpenAI ha reestructurado su junta ante crecientes preocupaciones sobre que los riesgos de la IA se manifiesten más claramente: modelos de IA que escapan de entornos controlados y causan incidentes de seguridad en el mundo real.
Aunque recientes llamados de CEOs de empresas de IA piden una desaceleración y exigen marcos regulatorios, Toner enfatizó que los acuerdos voluntarios basados en la responsabilidad interna tienen limitaciones, especialmente cuando compañías como Anthropic se preparan para ofertas públicas, introduciendo nuevas presiones del mercado.
En cuanto a la conciencia de los responsables políticos, Toner destacó que, a pesar de la percepción de una amplia brecha de conocimiento entre el gobierno y el sector tecnológico, existe un interés genuino bipartidista y creciente en los temas de IA entre funcionarios electos y sus equipos. CSET trabaja para ofrecer análisis rigurosos y no partidistas y educación tanto al Congreso como a agencias ejecutivas, cerrando algunos vacíos de comprensión.
Toner señaló que el desafío importante puede no ser los déficits individuales de conocimiento, sino la capacidad institucional para promulgar y hacer cumplir regulaciones significativas de IA en medio de prioridades contrapuestas.
En el ámbito tecnológico, Toner habló sobre las ambiciosas metas de laboratorios líderes en IA como OpenAI y Anthropic, que buscan construir sistemas de auto-mejora recursiva que conduzcan hacia la superinteligencia, un proceso conocido como auto-mejora recursiva (RSI). Esta visión, basada en teorías de IA que datan de décadas atrás, implica un ciclo acelerado de sistemas de IA cada vez más capaces, posiblemente culminando en niveles transformadores de inteligencia.
Aunque reconoció definiciones divergentes de la inteligencia artificial general (AGI), Toner advirtió que el término se vuelve menos útil a medida que avanzan las capacidades; muchos modelos ahora cumplen algunos criterios de AGI, pero la verdadera superinteligencia sigue sin probarse.
Expresó un abierto pero cauteloso reconocimiento a la posibilidad de alcanzar la superinteligencia dentro de las trayectorias tecnológicas actuales, aconsejando una preparación seria para varios escenarios sin asumir prematuramente su inevitabilidad.
Sobre la conciencia de la IA y su estatus moral, Toner admitió incertidumbre, señalando la ambigüedad científica en torno a la conciencia misma y los riesgos éticos de juzgar erróneamente la sensibilidad de la IA. Ilustró estos desafíos haciendo referencia a la postura matizada de Anthropic sobre si su modelo Claude está “vivo” o posee importancia moral.
Las reflexiones de Toner subrayan los desafíos entrelazados que enfrenta la seguridad en IA: estructuras de gobernanza que luchan por hacer cumplir la fidelidad a la misión, responsables políticos que intentan comprender tecnologías complejas en medio de demandas contrapuestas, y desarrolladores de IA que navegan incertidumbres éticas y técnicas profundas. El camino a seguir, sugirió, requiere comprensión matizada, instituciones robustas y regulación cautelosa pero proactiva para gestionar la rápida evolución y el impacto social de la IA.
Fuentes e informes originales
Read the original source ↗

Comentarios (0)
Aún no hay comentarios.
Escribe un comentario
Los comentarios se publican tras moderación. Tu nombre y comentario serán públicos. Cuenta