OpenAI, Google, Microsoft y Anthropic se unen para un nuevo estándar que permite optar por no permitir el raspado de datos para IA

Image: The biggest names in AI are backing a new way to opt out of scraping · Source

Las principales empresas de IA adoptan un estándar compartido que permite a los editores optar por no permitir el raspado de datos para IA mediante un "token de política" unificado en los archivos robots.txt, buscando simplificar y respetar las preferencias de los propietarios de sitios en el entrenamiento de IA.

Las principales empresas de inteligencia artificial OpenAI, Google, Microsoft y Anthropic han anunciado su apoyo a un nuevo estándar diseñado para ofrecer a los editores una forma unificada de optar por no permitir que su contenido sea raspado con fines de entrenamiento de IA. Informes publicados por The Verge revelan que este estándar introduce una señal llamada "token de política" insertada en el archivo robots.txt ya existente del sitio web; un método bien establecido para comunicar permisos de rastreo a los robots web.

Tradicionalmente, los propietarios de sitios web debían especificar por separado sus preferencias sobre el uso de contenido para IA con cada empresa que desplegaba rastreadores de IA, complicando la aplicación y el cumplimiento. El nuevo enfoque, propuesto por Kevin Kelley, líder técnico de estándares en Anthropic y desarrollado dentro del Internet Engineering Task Force (IETF), busca simplificar este proceso proporcionando una señal compartida. Cuando los rastreadores de IA de las empresas participantes detectan este token, están programados para respetar la elección del editor y abstenerse de raspar contenido.

Esta iniciativa surge en medio de crecientes preocupaciones de los editores sobre el raspado no autorizado por numerosos modelos de IA que ingieren grandes cantidades de contenido web. Algunas medidas existentes incluyen el estándar Really Simple Licensing (RSL), que permitía cobrar a los rastreadores web por acceso, y esfuerzos de protección como el bloqueo predeterminado de rastreadores de IA de Cloudflare.

Microsoft se ha comprometido a ofrecer opciones de control granular que permiten a los editores optar por no permitir que su contenido sea usado ni para entrenamiento de IA ni como fuentes verificadas para evitar alucinaciones de IA, un proceso conocido como grounding. La compañía aclaró que incluso los sitios que opten por excluirse seguirán siendo detectables a través de los resultados de búsqueda de Bing. Google ha implementado funciones similares que separan el uso de contenido del sitio para entrenamiento de IA y para características de búsqueda mejoradas con IA sin afectar la visibilidad general en búsquedas.

Anthropic ya ha incorporado el sistema de token de política, mientras que Google y Microsoft planean adoptarlo en 2027. OpenAI espera implementarlo en los próximos meses. Andy Stone, jefe de comunicaciones de Meta, expresó apoyo al concepto de señal común pero no ha detallado si Meta lo aplicará de inmediato.

Este esfuerzo colectivo representa un paso significativo hacia la estandarización de cómo los sitios web pueden comunicar sus preferencias sobre el uso de datos para entrenamiento de IA, reflejando el movimiento de la industria hacia prácticas de desarrollo de IA más transparentes y respetuosas con los editores.