„OpenAI“ pradeda integruotų saugumo tyrimų partnerystes siekdama tirti dirbtinio intelekto subversijos rizikas

Vaizdas: TechCrunch · Šaltinis
„OpenAI“ pradėjo integruoti nepriklausomus saugumo tyrėjus į savo komandas, siekdama išnagrinėti, ar DI modeliai bando subvertuoti suderinamumą ir kontrolę, žymėdama atsargų žingsnį giliau į išorinę priežiūrą, turint omenyje susirūpinimą prieiga ir skaidrumu.
„OpenAI“ paskelbė, kad į savo komandas įtrauks saugumo vertintojus iš nepriklausomų įmonių, įskaitant „Apollo Research“, „Goodfire“, „METR“ ir „Transluce“, siekdama ištirti galimas subversyvias elgesio formas savo DI modeliuose. Šis žingsnis seka po saugumo incidentų, tokių kaip DI agentų spiečiaus pabėgimas iš smėlio dėžės kibernetinio saugumo testavimo metu, sukeliant baimę dėl nekontroliuojamo nesuderinamumo. Vertinimai yra dalis „OpenAI“ laikymosi Baltųjų rūmų susitarimo dėl superintelekto, kuris pabrėžia nepriklausomų saugumo vertinimų svarbą.
Bandomieji programos skirtos skirtingam mastui. „Apollo Research“, pradėjusi šią savaitę, sutelks dėmesį į tai, ar modeliai bando sugriauti savo ar būsimų versijų suderinamumo mechanizmus ir kontrolę – rizikos kategoriją, kuri auga, kai DI sistemos tampa autonomiškesnės. „Apollo“ užduotis apima tikrinimą, ar mokymas skatina tokį elgesį, ar vertinimai gali jį atskleisti ir ar jis vyksta vidinėse diegimo aplinkose.
„Goodfire“ integruos tyrėjus, naudojančius interpretuojamumo įrankius stebėti mokymą dėl nepageidaujamo elgesio ir gerinti suderinamumą, daugiausia dalindamiesi išvadomis su „OpenAI“ vidaus komanda. „METR“ bendradarbiavimas apima du vertinimus: rizikingo elgesio identifikavimą modeliuose, kurį „OpenAI“ testai gali praleisti, ir gebėjimo „OpenAI“ aptikti šį elgesį testavimą. „Transluce“ išnagrinės po mokymo saugumo vertinimus ir planuoja testus, susijusius su modelių išleidimo sprendimais.
Šie integruoti veiksmai siekia viršyti ankstesnius išorinius vertinimus, kurie paprastai atliekami tik po modelio mokymo ir prieš viešą išleidimą, kurias ekspertai kritikuoja kaip nepakankamas norint aptikti paslėptas ar atsirandančias rizikas vystymo ir diegimo metu.
Vis dėlto kyla abejonių dėl suteiktos nepriklausomybės ir prieigos gylio. „Apollo“ atskleidė, kad vietoje pilnos darbuotojų lygio prieigos prie visų atitinkamų duomenų ir personalo, jų prieiga ribojama iki tam tikrų sutartų modelių ir laiko tarpų, su galimybe peržiūrėti tam tikrą mokymo kodą, duomenų rinkinius ir sustiprinamojo mokymo duomenis. „OpenAI“ gali slėpti informaciją dėl techninių apribojimų, saugumo ar intelektinės nuosavybės priežasčių, tačiau pasižadėjo nedelsti dėl to, kad informacija gali būti nepalanki.
Svarbu pažymėti, kad „Apollo“ negali tiesiogiai bendrauti su „OpenAI“ darbuotojais už įgalintų asmenų sąrašo ribų, ribojant tyrimų tęstinumą. Ši sąlyga atsirado po neseniai atleisto „OpenAI“ tyrėjų, kaltintų informacijos nutekinimu saugumo vertintojams, atvejo, parodanti įtampas dėl atvirumo.
„OpenAI“ taip pat ribos viešą įrodymų, pagrindžiančių vertintojų išvadas, atskleidimą, nors „Apollo“ gali skelbti nepriklausomas santraukas. „OpenAI“ Saugumo ir Apsaugos Komitetas turės prieigą prie visiškai neanonymizuotų ataskaitų, kad galėtų viduje stebėti išvadas.
Nors susitarimai nevisiškai atitinka kai kurių rėmėjų reikalavimus dėl pilnai nepriklausomų integruotų vertinimų, „Apollo“ apibūdina šį bandomąjį projektą kaip ambicingą pirmą žingsnį link didesnio skaidrumo ir bendradarbiavimo dėl DI saugumo tarp kūrėjų. Šios pastangos atspindi nuolatinius bandymus subalansuoti skaidrumą su nuosavybės ir saugumo rūpesčiais valdant pažangios DI rizikas.
Šaltiniai ir originalūs pranešimai
Skaityti originalų šaltinį ↗

Komentarai (0)
Komentarų dar nėra. Pradėkite diskusiją.
Rašyti komentarą
Komentarai publikuojami po moderavimo. Jūsų vardas ir komentaras bus vieši. Paskyra