OpenAI, Google, Microsoft и Anthropic объединяются для нового стандарта отказа от сбора данных для ИИ

Image: The biggest names in AI are backing a new way to opt out of scraping · Source

Крупные компании в сфере ИИ принимают общий стандарт, позволяющий издателям отказаться от сбора данных ИИ через единый «политический токен» в файлах robots.txt, упрощая и уважая предпочтения владельцев сайтов по обучению ИИ.

Ведущие компании в области искусственного интеллекта — OpenAI, Google, Microsoft и Anthropic — объявили о поддержке нового стандарта, который призван предоставить издателям единый способ отказаться от сбора их контента для целей обучения ИИ. Опубликованный The Verge отчет раскрывает, что стандарт вводит сигнал "политического токена", встроенный в существующий файл robots.txt сайта — давно устоявшийся способ передачи разрешений для краулинга веб-роботами.

Ранее владельцам сайтов приходилось отдельно обозначать свои предпочтения по использованию контента для ИИ каждой компании, использующей ИИ-краулеры, что усложняло соблюдение и контроль. Новый подход, предложенный Кевином Келли, техническим руководителем по стандартам в Anthropic и разработанный в рамках Internet Engineering Task Force (IETF), направлен на упрощение процесса за счет единого сигнала. Когда ИИ-краулеры участвующих компаний обнаруживают этот токен, они запрограммированы уважать выбор издателя и воздерживаться от сбора данных.

Эта инициатива возникает на фоне растущих опасений издателей по поводу несанкционированного сбора данных многими моделями ИИ, которые обрабатывают огромные объемы веб-контента. Среди существующих мер были стандарт Really Simple Licensing (RSL), позволяющий взимать плату с веб-краулеров за доступ, и защитные действия, такие как по умолчанию блокирование краулеров ИИ сервисом Cloudflare.

Microsoft обязалась предоставить детализированные параметры управления, позволяющие издателям отказаться от использования их контента либо для обучения ИИ, либо в качестве проверенных источников информации для предотвращения галлюцинаций ИИ, процесса, известного как grounding. Компания уточнила, что даже сайты с отказом останутся видимы в результатах поиска Bing. Google ввела аналогичные функции, разделяющие использование материалов сайта для обучения ИИ и для поиска с поддержкой ИИ, не влияя на общую видимость в поиске.

Anthropic уже реализовала систему политических токенов, в то время как Google и Microsoft планируют внедрение в 2027 году. OpenAI ожидает начать реализацию в ближайшие месяцы. Руководитель коммуникаций Meta Энди Стоун заявил о поддержке концепции общего сигнала, однако не уточнил, будет ли Meta сразу применять его.

Это совместное усилие знаменует важный шаг к стандартизации способов, с помощью которых сайты могут сообщать о своих предпочтениях по использованию данных для обучения ИИ, отражая движение отрасли к более прозрачным и уважающим интересы издателей практикам развития ИИ.