OpenAI, Google, Microsoft og Anthropic forener seg om ny standard for å velge bort AI-skraping

Bilde: The biggest names in AI are backing a new way to opt out of scraping · Kilde

Store AI-selskaper tar i bruk en felles standard som lar utgivere velge bort AI-data-skraping via en samlet 'policy-token' i robots.txt-filer, med sikte på å forenkle og respektere eieres preferanser for AI-trening.

Ledende selskaper innen kunstig intelligens – OpenAI, Google, Microsoft og Anthropic – har kunngjort sin støtte for en ny standard som skal gi utgivere en felles metode for å velge bort at deres innhold skrapes for AI-treningsformål. Ifølge rapportering fra The Verge introduserer denne standarden et «policy-token», et signal som legges inn i et nettsted sin eksisterende robots.txt-fil – en veletablert metode for å kommunisere crawling-tillatelser til nettroboter.

Tradisjonelt har nettstedseiere måttet spesifisere sine AI-innholdsbruksprferanser separat for hvert selskap som driver AI-roboter, noe som har komplisert håndheving og etterlevelse. Den nye metoden, foreslått av Kevin Kelley, teknisk leder for standarder hos Anthropic og utviklet innen Internet Engineering Task Force (IETF), har som mål å effektivisere denne prosessen ved å tilby et delt signal. Når AI-roboter fra deltakende selskaper oppdager denne token, er de programmert til å respektere utgiverens valg og avstå fra å skrape innholdet.

Dette initiativet kommer i en tid med økende bekymring fra utgivere om uautorisert skraping av mange AI-modeller som konsumerer store mengder nettinnhold. Noen eksisterende tiltak har inkludert Really Simple Licensing (RSL)-standarden, som muliggjorde å kreve betaling fra nettroboter, og beskyttelsestiltak som Cloudflares standardblokkering av AI-roboter.

Microsoft har forpliktet seg til å tilby detaljerte kontrollmuligheter som gjør det mulig for utgivere å velge bort bruk av deres innhold enten til AI-trening eller som verifiserte informasjonskilder for å forhindre AI-hallusinasjoner, en prosess kjent som grounding. Selskapet klargjorde at selv nettsteder som velger bort vil fortsatt være søkbare via Bing.

Google har implementert lignende funksjoner som skiller bruk av nettsideinnhold for AI-trening og AI-forbedrede søkefunksjoner uten å påvirke generell synlighet i søk.

Anthropic har allerede implementert policy-token-systemet, mens Google og Microsoft planlegger å ta det i bruk i 2027. OpenAI forventer å implementere det i løpet av de kommende månedene. Metas kommunikasjonsleder Andy Stone uttrykte støtte for konseptet med en felles signal, men har ikke detaljert om Meta vil håndheve det umiddelbart.

Dette kollektive initiativet markerer et betydelig steg mot standardisering av hvordan nettsteder kan kommunisere sine preferanser angående bruk av AI-treningsdata, og gjenspeiler bransjens bevegelser mot mer transparente og respekterende AI-utviklingspraksiser overfor utgivere.