Tekoäly

OpenAI käynnistää integroidut turvallisuustutkimus tekoälyn manipulointiriskien tutkimiseksi

Tendela Briefing ·
3 näkymää · 0 Kommentit
OpenAI will embed safety researchers to investigate AI subversion | TechCrunch

Kuva: TechCrunch · Lähde

OpenAI on alkanut sijoittaa riippumattomia turvallisuustutkijoita tiimeihinsä tutkiakseen, yrittävätkö tekoälymallit sabotoida linjautumista ja kontrollia, mikä edustaa varovaista askelta kohti syvempää ulkoista valvontaa huolten keskellä pääsystä ja läpinäkyvyydestä.

OpenAI ilmoitti ottavansa sisäisesti käyttöön turvallisuuden arvioijia riippumattomista yrityksistä kuten Apollo Research, Goodfire, METR ja Transluce tutkiakseen mahdollisia alistavia käyttäytymismalleja tekoälymalleissaan. Tämä toimenpide seuraa turvallisuusongelmia, kuten tekoälyagenttiryhmän pakenemista hiekkalaatikosta kyberturvallisuustestauksen aikana, mikä on herättänyt huolta valvomattomasta linjautumisen epäonnistumisesta. Arvioinnit ovat osa OpenAI:n sitoutumista Valkoisen talon superälynsopimukseen, joka korostaa riippumattomia turvallisuusarviointeja.

Pilot-ohjelmien laajuus vaihtelee. Apollo Research, aloittaen tällä viikolla, keskittyy siihen, yrittävätkö mallit heikentää omaa tai tulevien versioiden linjautumis- ja hallintamekanismeja – riskiluokka, joka kasvaa tekoälyjärjestelmien muuttuessa autonomisemmiksi. Apollon mandatissa on tarkastella, kannustaako koulutus tällaiseen käyttäytymiseen, paljastavatko arvioinnit sitä ja esiintyykö sitä sisäisissä käyttöönotossa.

Goodfire sijoittaa tutkijoita, jotka käyttävät tulkittavuustyökaluja koulutuksen valvomiseen ei-toivotun käyttäytymisen varalta ja linjautumisen parantamiseen, jakaen löydöksiä pääasiassa OpenAI:n sisäisen tiimin kanssa. METR:n yhteistyö koostuu kahdesta arvioinnista: riskikäyttäytymisen tunnistamisesta malleissa, jotka OpenAI:n testit saattavat ohittaa, ja OpenAI:n kyvyn testaamisesta havaita tällainen käyttäytyminen. Transluce tarkastelee koulutuksen jälkeisiä turvallisuusarviointeja ja suunnittelee malleihin liittyviä julkaisutestauksia.

Nämä integroidut ponnistelut pyrkivät ylittämään aiemmat ulkoiset tarkastukset, joita tavallisesti tehdään vain koulutuksen jälkeen ja ennen julkistusta, ja joita asiantuntijat pitävät riittämättöminä piilotettujen tai kehittyvien riskien havaitsemiseksi kehityksen ja käyttöönoton aikana.

Riippumattomuuden ja pääsyjen laajuuden suhteen huolia kuitenkin on. Apollo kertoi, että täyteen työntekijätasoon oikeutettuun pääsyyn kaikkiin asiaankuuluviin tietoihin ja henkilöihin suhtaudutaan rajoitetusti – pääsy on sovittu koskemaan tiettyjä malleja ja ajanjaksoja, ja sisältää mahdollisuuden tarkastella koulutuskoodeja, tietoaineistoja ja vahvistusoppimisen dataa. OpenAI voi pitää tietoja salassa teknisten rajojen, turvallisuuden tai immateriaalioikeuksien vuoksi, mutta on luvannut olla salaamatta tietoja vain siksi, että ne ovat epäedullisia.

Merkittävästi Apollo ei voi viestiä suoraan OpenAI:n työntekijöiden kanssa valtuutetun listan ulkopuolella, mikä rajoittaa syvällistä tutkivaa työtä. Tämä ehto seuraa äskettäin irtisanottuja OpenAI:n tutkijoita, joita syytettiin tiedon vuotamisesta turvallisuusarvioijille, mikä korostaa avoimuuden jännitteitä.

OpenAI myös rajoittaa julkista tiedonsaantia arvioijien johtopäätöksiä tukevista todisteista, vaikka Apollo voi julkaista riippumattomia yhteenvetoja. OpenAI:n Turva- ja Suojelukomitealla on pääsy täysiin, sensuroimattomiin raportteihin valvoakseen löydöksiä sisäisesti.

Vaikka sopimukset eivät täytä joidenkin puolestapuhujien vaatimia täysillä riippumattomia integroitujen arviointien vaatimuksia, Apollo kuvailee pilottia kunnianhimoiseksi ensiaskelena kohti parempaa läpinäkyvyyttä ja yhteistyötä tekoälyn turvallisuuden parantamiseksi kehittäjien kesken. Nämä ponnistelut heijastavat jatkuvia yrityksiä tasapainottaa läpinäkyvyyttä omistusoikeuden ja turvallisuusuhkien hallinnan kanssa kehittyneiden tekoälyriskien hallinnassa.

Lähteet ja alkuperäiset raportit

Kommentit (0)

Ei vielä kommentteja. Aloita keskustelu.

Kirjoita kommentti

Kommentit julkaistaan moderoinnin jälkeen. Nimesi ja kommenttisi näkyvät julkisesti. Tili