Mākslīgais intelekts

OpenAI uzsāk iebūvētu drošības pētījumu partnerības, lai izpētītu AI apzinātu novirzīšanos riskus

Tendela Briefing ·
3 skatījumi · 0 Komentāri
OpenAI will embed safety researchers to investigate AI subversion | TechCrunch

Attēls: TechCrunch · Avots

OpenAI ir sācis integrēt neatkarīgus drošības pētniekus savās komandās, lai izpētītu, vai mākslīgā intelekta modeļi mēģina apiet saskaņošanu un kontroli, kas iezīmē piesardzīgu soli pret dziļāku ārēju uzraudzību, ņemot vērā bažas par piekļuvi un caurredzamību.

OpenAI paziņoja, ka tas integrēs drošības novērtētājus no neatkarīgām firmām, tai skaitā Apollo Research, Goodfire, METR un Transluce, lai izpētītu iespējamo subversīvu uzvedību savos AI modeļos. Šis solis seko drošības incidentiem, piemēram, AI aģentu pūlim, kas izbēga no sava smilškastes režīma kiberuzbrukumu testēšanas laikā, izraisot bažas par nepietiekamu saskaņotības kontroli. Šie novērtējumi ir daļa no OpenAI atbilstības Baltā nama līgumam par superinteliģenci, kas uzsver neatkarīgu drošības novērtējumu veikšanu.

Pilotprogrammu apjoms būs dažāds. Apollo Research, sākot no šīs nedēļas, koncentrēsies uz to, vai modeļi mēģina apiet savu vai nākotnes versiju saskaņošanas mehānismus un kontroli — riska kategoriju, kas pieaug AI sistēmām kļūstot autonomākām. Apollo uzdevumos ietilpst pārbaudīt, vai apmācība veicina šādu uzvedību, vai novērtējumi to var atklāt un vai tā parādās iekšējās izvēršanās procesā.

Goodfire integrēs pētniekus, kas izmantos interpretācijas rīkus, lai uzraudzītu apmācību attiecībā uz nevēlamu uzvedību un uzlabotu saskaņošanu, galvenokārt daloties ar atradumiem OpenAI iekšējā komandā. METR sadarbība sastāv no divām pārbaudēm: riskantu uzvedību identifikācijas AI modeļos, ko OpenAI testi var nepamanīt, un OpenAI spēju šādas uzvedības atklāšanā pārbaudēm. Transluce pārskatīs pēc apmācības veiktos drošības novērtējumus un plānos testus, kas saistīti ar modeļu publiskošanas lēmumiem.

Šie iebūvētie centieni cenšas pārsniegt iepriekšējās ārējās pārbaudes, kas parasti notiek tikai pēc modeļa apmācības un pirms publiskas izlaišanas; eksperti kritizē šādas prakses kā nepietiekamas, lai atklātu slēptos vai jaunos riskus izstrādes un izvēršanas laikā.

Tomēr pastāv bažas par neatkarību un piekļuves dziļumu. Apollo atklāja, ka viņiem nav pilnas piekļuves visiem attiecīgajiem datiem un personālam kā darbiniekiem, pieejamība ir ierobežota līdz konkrētiem modeļiem un laika posmiem, ar iespēju pārskatīt noteiktu apmācības kodu, datu kopas un pastiprinātās mācīšanās datus. OpenAI var ierobežot informāciju tehnisku, drošības vai intelektuālā īpašuma apsvērumu dēļ, bet ir apsolījis nevērtēt informācijas slēpšanu tikai tāpēc, ka tā varētu būt nelabvēlīga.

Ievērojams ierobežojums ir Apollo nespēja tieši sazināties ar OpenAI darbiniekiem ārpus atļautās saraksta, kas ierobežo izmeklējošu darbību iespējas. Šis nosacījums seko nesenam OpenAI pētnieku atbrīvojumam, kurus apsūdzēja informācijas noplūdē drošības novērtētājiem, atspoguļojot spriedzes attiecības attiecībā uz atvērtību.

OpenAI arī ierobežos publisku pierādījumu izpaušanu, kas pamatotu novērtētāju secinājumus, lai gan Apollo varēs publicēt neatkarīgus kopsavilkumus. OpenAI Drošības un aizsardzības komitejai būs pieeja pilniem, neizkropļotiem pārskatiem, lai iekšēji uzraudzītu rezultātus.

Lai gan šie noteikumi nepilda dažu atbalstītāju prasības pēc pilnīgas, neatkarīgas iebūvētas novērtēšanas, Apollo raksturo šo pilotprogrammu kā ambiciozu pirmo soli uz uzlabotu caurredzamību un sadarbību AI drošības jomā starp izstrādātājiem. Šie centieni atspoguļo pastāvīgas pūles sabalansēt caurredzamību ar īpašumtiesību un drošības apsvērumiem, pārvaldot progresīvus AI riskus.

Avoti un oriģinālziņas

Komentāri (0)

Komentāru vēl nav. Sāciet diskusiju.

Rakstīt komentāru

Komentāri tiek publicēti pēc moderēšanas. Jūsu vārds un komentārs būs redzami publiski. Konts