OpenAI, Google, Microsoft ja Anthropic ühinevad uue standardi loomisel, mis lubab AI andmete korjamisest loobuda

Pilt: The biggest names in AI are backing a new way to opt out of scraping · Allikas

Suured tehisintellekti ettevõtted võtavad kasutusele ühise standardi, mis võimaldab väljaandjatel keelduda AI andmete korjamisest, kasutades ühestatud "poliitikamärgit" robots.txt-failides. Eesmärk on lihtsustada ja austada veebisaitide omanike eelistusi AI treeningandmete kasutamisel.

Juhtivad tehisintellekti ettevõtted OpenAI, Google, Microsoft ja Anthropic on avaldanud toetust uuele standardile, mille eesmärk on anda väljaandjatele ühtne võimalus keelduda oma sisu korjamisest AI treeningu eesmärkidel. The Verge'i avaldatud raport toob välja, et see standard tutvustab "poliitikamärgit" (policy token), mis on sisestatud veebisaidi olemasolevasse robots.txt-faili – hästi tuntud meetodisse, mida kasutatakse veebirobotitele läbikäimise õiguste suhtes info edastamiseks.

Traditsiooniliselt pidid veebisaidi omanikud oma AI sisukasutuse eelistused eraldi määrama iga AI korjajat kasutava ettevõtte jaoks, mis tekitas keerukust järelevalves ja vastavuses. Uus lähenemine, mille esitas Anthropicu standardi tehniline juht Kevin Kelley ja mida arendati Internet Engineering Task Force'i (IETF) raames, püüab seda protsessi lihtsustada, pakkudes ühist signaali. Kui osalevate ettevõtete AI korjajad selle märgi avastavad, on nad programmeeritud austama väljaandja soovi ning vältima sisu korjamist.

See algatus tuleb väljaandjate kasvavate murede taustal, mis on seotud volitamata korjamisega paljude AI mudelite poolt, mis koguvad suurel hulgal veebisisu. Mõned olemasolevad lahendused hõlmavad Really Simple Licensing (RSL) standardit, mis võimaldas veebirobotitelt ligipääsu eest tasu võtta, ning kaitsemeetmeid nagu Cloudflare'i vaikimisi AI korjajate blokeerimine.

Microsoft on lubanud pakkuda detailseid kontrollivalikuid, mis annavad väljaandjatele võimaluse keelata oma sisu kasutamine kas AI treeninguks või kui kinnitatud infoallikaks AI lõhede (hallutsinatsioonide) vältimiseks, mida nimetatakse groundinguks. Ettevõte täpsustas, et isegi kui saidid keelduvad osalemisest, jäävad need Bing'i otsingutulemustes leitavaks. Google on rakendanud sarnased funktsioonid, mis eraldavad saidisisu kasutamise AI treeninguks ja AI-täiendatud otsingufunktsioonide jaoks, mõjutamata üldist otsingu nähtavust.

Anthropic on juba poliitikamärgi süsteemi saanud, samas kui Google ja Microsoft plaanivad selle kasutuselevõttu 2027. aastal. OpenAI ootab selle juurutamist lähikuudel. Meta kommunikatsioonijuht Andy Stone avaldas toetust ühisele signaalile, kuid ei täpsustanud, kas Meta hakkab seda koheselt rakendama.

See ühine algatus tähistab olulist sammu standardiseerimaks, kuidas veebisaidid saavad edastada oma eelistusi AI treeningandmete kasutamise suhtes, kajastades tööstuse liikumist läbipaistvama ja väljaandjate õigusi austava AI arendamise suunas.