OpenAI, Google, Microsoft i Anthropic łączą siły w nowym standardzie uniemożliwiającym zbieranie danych AI

Image: The biggest names in AI are backing a new way to opt out of scraping · Source

Główne firmy AI przyjmują wspólny standard pozwalający wydawcom zrezygnować z zbierania danych przez AI za pomocą zintegrowanego „tokenu polityki” w plikach robots.txt, co ma uprościć i uszanować preferencje właścicieli stron dotyczące treningu AI.

Wiodące firmy z branży sztucznej inteligencji — OpenAI, Google, Microsoft i Anthropic — ogłosiły wsparcie dla nowego standardu, który ma dać wydawcom możliwość jednolitego zablokowania wykorzystywania ich materiałów do treningu AI. Opublikowany przez The Verge raport ujawnia, że standard ten wprowadza sygnał "tokenu polityki" umieszczany w istniejącym pliku robots.txt na stronie internetowej — powszechnie stosowanym narzędziu do komunikowania zasad dotyczących indeksowania przez roboty internetowe.

Tradycyjnie właściciele stron musieli określać swoje preferencje dotyczące wykorzystania treści przez AI oddzielnie wobec każdej firmy deployującej roboty AI, co utrudniało egzekwowanie tych zasad i zapewnienie zgodności. Nowe podejście zaproponowane przez Kevina Kelleya, technicznego lidera ds. standardów w Anthropic i rozwijane w ramach Internet Engineering Task Force (IETF), ma uprościć ten proces poprzez wspólny sygnał. Gdy roboty AI uczestniczących firm wykryją ten token, są zaprogramowane, by uszanować wybór wydawcy i powstrzymać się od zbierania treści.

Inicjatywa ta pojawia się w obliczu rosnących obaw wydawców o nieautoryzowane zbieranie danych przez liczne modele AI przetwarzające ogromne ilości treści internetowych. Dotychczasowe środki obejmowały takie standardy jak Really Simple Licensing (RSL), umożliwiający naliczanie opłat robotom internetowym za dostęp, oraz działania ochronne takie jak domyślne blokowanie robotów AI przez Cloudflare.

Microsoft zobowiązał się do zaoferowania szczegółowych opcji kontroli, które pozwolą wydawcom zrezygnować z pozwolenia na wykorzystanie ich treści do treningu AI lub jako zweryfikowanych źródeł informacji w celu zapobiegania halucynacjom AI, zwanym procesem "groundingu". Firma wyjaśniła, że strony, które zdecydują się na ten wybór, nadal będą widoczne w wynikach wyszukiwania Bing. Google wprowadziło podobne funkcje rozdzielające wykorzystanie zawartości witryny do treningu AI i funkcji wyszukiwania wspomaganego AI, bez ograniczania ogólnej widoczności w wyszukiwarce.

Anthropic już zaimplementowało system tokenów polityki, natomiast Google i Microsoft planują wdrożenie go w 2027 roku. OpenAI spodziewa się zrealizować to w nadchodzących miesiącach. Szef komunikacji Meta, Andy Stone, wyraził poparcie dla konceptu wspólnego sygnału, jednak nie podał, czy Meta wprowadzi go natychmiast.

Wspólne działania te stanowią ważny krok w kierunku standaryzacji sposobów, w jaki strony internetowe mogą komunikować swoje preferencje dotyczące użycia danych do treningu AI, odzwierciedlając ruch branży w stronę bardziej przejrzystych i respektujących wydawców praktyk rozwoju AI.