OpenAI, Google, Microsoft ja Anthropic yhdistyvät uuden standardin puolesta, jolla voi kieltää AI:n sisällön keruun

Kuva: The biggest names in AI are backing a new way to opt out of scraping · Lähde

Suuret tekoälyyritykset ottavat käyttöön yhteisen standardin, jonka avulla julkaisijat voivat robots.txt-tiedostossa olevan yhtenäisen 'politiikkamerkin' kautta kieltää tekoälyn datan keruun, yksinkertaistaen ja kunnioittaen sivustojen omistajien tekoälykoulutustoiveita.

Johtavat tekoälyyritykset OpenAI, Google, Microsoft ja Anthropic ovat ilmoittaneet tukevansa uutta standardia, joka antaa julkaisijoille yhtenäisen tavan kieltää sisältönsä kerääminen tekoälykoulutusta varten. The Vergessä julkaistun raportin mukaan tämä standardi tuo mukanaan "politiikkamerkin", joka sijoitetaan verkkosivuston olemassa olevaan robots.txt-tiedostoon – tunnettuun tapaan viestiä verkkoroboteille sivuston indeksointioikeuksista.

Perinteisesti verkkosivustojen omistajien piti yksilöllisesti ilmoittaa sivunsa tekoälyn sisältökäyttöön liittyvät toiveet jokaiselle AI-robottia käyttävälle yritykselle, mikä monimutkaisti sääntöjen noudattamista. Uusi lähestymistapa, jonka ehdotti Kevin Kelley, Anthropicin tekninen johtaja standardeissa, ja jota on kehitetty Internet Engineering Task Forcen (IETF) sisällä, pyrkii virtaviivaistamaan tätä prosessia tarjoamalla yhteisen signaalin. Kun osallisten yritysten tekoälyrobotit havaitsevat tämän merkin, ne on ohjelmoitu kunnioittamaan julkaisijan valintaa ja lopettamaan sisällön keräämisen.

Tämä aloite syntyy kasvavien huolien keskellä, joita julkaisijat ovat ilmaisseet ilman lupaa tapahtuvan web-sisällön keruusta lukemilla tekoälymalleilla, jotka imevät valtavia määriä verkon sisältöä. Joitakin olemassa olevia toimenpiteitä ovat olleet Really Simple Licensing (RSL) -standardi, joka mahdollisti verkkorobottien pääsyn veloittamisen, sekä suojaavien keinojen kuten Cloudflaren oletusarvoinen AI-robottien esto.

Microsoft on sitoutunut tarjoamaan yksityiskohtaisia hallintavaihtoehtoja, joiden avulla julkaisijat voivat kieltää sisältönsä käytön joko tekoälykoulutukseen tai verifioituna tietolähteenä, estäen tekoälyn harhailemat eli ns. grounding-prosessin. Yritys selvensi, että myös kieltävät sivustot pysyvät löydettävissä Bingin hakutuloksissa. Google on ottanut käyttöön samanlaiset ominaisuudet, joissa erotellaan sivuston sisällön käyttö tekoälykoulutukseen ja tekoälyä hyödyntäviin hakutoimintoihin vaikuttamatta yleiseen hakunäkyvyyteen.

Anthropic on jo ottanut politiikkamerkkijärjestelmän käyttöön, ja Google sekä Microsoft suunnittelevat käyttöönottoa vuonna 2027. OpenAI odottaa toteuttavansa sen lähikuukausina. Metan viestintäpäällikkö Andy Stone ilmaisi tukensa yhteiselle signaalikonseptille mutta ei ole tarkentanut, aikooko Meta ottaa sen välittömästi käyttöön.

Tämä yhteinen ponnistus on merkittävä askel kohti standardointia tavassa, jolla verkkosivustot voivat ilmaista toiveensa tekoälyn koulutusdatan käytöstä, heijastellen alan liikettä kohti läpinäkyvämpiä ja julkaisijoita kunnioittavampia tekoälyn kehityskäytäntöjä.