OpenAI, Google, Microsoft och Anthropic enas om ny standard för att välja bort AI-skrapning

Bild: The biggest names in AI are backing a new way to opt out of scraping · Källa

Stora AI-företag inför en gemensam standard som gör det möjligt för publicister att välja bort AI-data-skrapning via en enhetlig "policy-token" i robots.txt-filer, med målet att förenkla och respektera webbplatsägares preferenser för AI-träning.

Ledande företag inom artificiell intelligens – OpenAI, Google, Microsoft och Anthropic – har meddelat sitt stöd för en ny standard som syftar till att ge publicister ett enhetligt sätt att välja bort att deras innehåll skrapas för AI-träningsändamål. Enligt rapportering från The Verge introducerar denna standard en "policy-token", en signal som bäddas in i webbplatsens befintliga robots.txt-fil – en sedan länge etablerad metod för att kommunicera tillstånd för webbrobotar att krypa på webbplatser.

Traditionellt har webbplatsägare behövt specificera sina AI-innehållsanvändningspreferenser separat för varje företag som använder AI-robotar, vilket har försvårat både verkställighet och efterlevnad. Den nya metoden, föreslagen av Kevin Kelley, teknisk ledare för standarder på Anthropic och utvecklad inom Internet Engineering Task Force (IETF), syftar till att effektivisera denna process genom att tillhandahålla en gemensam signal. När AI-robotar från deltagande företag upptäcker denna token, är de programmerade att respektera publicistens val och avstå från att skrapa innehållet.

Denna satsning kommer i en tid då publicister oroar sig alltmer för obehörig skrapning av många AI-modeller som absorberar stora mängder webbmaterial. Några befintliga åtgärder inkluderade standarden Really Simple Licensing (RSL), som möjliggjorde avgifter för webbrobotar, och skyddsåtgärder som Cloudflares standardblockering av AI-robotar.

Microsoft har åtagit sig att erbjuda detaljerade kontrollalternativ som gör det möjligt för publicister att välja bort användning av deras innehåll antingen för AI-träning eller som verifierade informationskällor för att förhindra AI-hallucinationer, en process kallad grounding. Företaget klargjorde att webbplatser som valt bort fortfarande kommer att vara sökbara via Bing.

Google har implementerat liknande funktioner som skiljer användningen av webbplatsinnehåll för AI-träning och AI-förstärkta sökfunktioner utan att påverka allmän sökbarhet.

Anthropic har redan infört systemet med policy-token, medan Google och Microsoft planerar att börja använda det 2027. OpenAI förväntas implementera det inom de närmaste månaderna. Metas kommunikationschef Andy Stone uttryckte stöd för konceptet med en gemensam signal men har inte specificerat om Meta kommer att tillämpa det omedelbart.

Detta gemensamma initiativ markerar ett betydande steg mot standardisering av hur webbplatser kan kommunicera sina preferenser gällande användning av AI-träningsdata och speglar branschens rörelse mot mer transparent och respektfull AI-utveckling gentemot publicister.