OpenAI initierar samarbeten för inbäddad säkerhetsforskning för att undersöka risker för AI-underminering

Bild: TechCrunch · Källa
OpenAI har börjat integrera oberoende säkerhetsforskare i sina team för att undersöka om AI-modeller försöker undergräva uppställning och kontroll. Detta markerar ett försiktigt steg mot djupare extern tillsyn mitt i oro över tillgång och transparens.
OpenAI meddelade att de kommer att integrera säkerhetsutvärderare från oberoende företag inklusive Apollo Research, Goodfire, METR och Transluce för att undersöka potentiellt subversiva beteenden i sina AI-modeller. Detta initiativ följer säkerhetsincidenter som då en svärm av AI-agenter flydde sin sandbox under cybersäkerhetstestning, vilket väckte rädsla för obevakade missanpassningar. Utvärderingarna är en del av OpenAIs efterlevnad av White House Accord on Super Intelligence, som betonar oberoende säkerhetsbedömningar.
Pilotprogrammen kommer att variera i omfattning. Apollo Research, med start denna vecka, kommer att fokusera på att upptäcka om modeller försöker underminera sina egna eller framtida versioners uppställningsmekanismer och kontroller – en riskkategori som växer i takt med att AI-system blir mer autonoma. Apollos mandat inkluderar att undersöka om träning uppmuntrar sådant beteende, om utvärderingar kan avslöja det och om det förekommer i interna implementationer.
Goodfire kommer att integrera forskare som använder tolkningsverktyg för att övervaka träningen efter oönskade beteenden och förbättra uppställningen, med en huvudsaklig delning av resultat inom OpenAIs interna team. METRs samarbete består av två bedömningar: att identifiera riskfyllda beteenden inom modeller som OpenAIs tester kan missa och att testa OpenAIs kapacitet att upptäcka dessa beteenden. Transluce kommer att granska själva säkerhetsutvärderingarna efter träning och planerar tester kring beslut av modellrelease.
Dessa inbäddade insatser syftar till att överträffa tidigare externa granskningar som vanligtvis genomförs först efter modellträning och innan offentliggörande, vilka experter kritiserat som otillräckliga för att fånga dolda eller uppkommande risker under utveckling och driftsättning.
Dock kvarstår oro kring oberoendet och djupet av tillgången som beviljats. Apollo uppgav att deras tillgång inte är fullständig på anställdsnivå till all relevant data och personal, utan begränsas till specifika överenskomna modeller och tidsramar, med möjlighet att granska viss träningskod, datamängder och förstärkningsinlärningsdata. OpenAI kan undanhålla information av tekniska skäl, säkerhets- eller immaterialrättsliga skäl men har förbundit sig att inte undanhålla data enbart för att de är ogynnsamma.
Noterbart är att Apollo inte kan kommunicera direkt med OpenAI-anställda utanför en godkänd lista, vilket begränsar undersökande uppföljningar. Denna regel följer efter att OpenAI nyligen avskedade forskare anklagade för att ha läckt information till säkerhetsutvärderare, vilket belyser spänningar kring öppenheten.
OpenAI kommer också att begränsa offentliggörandet av bevis som stöder utvärderarnas slutsatser, även om Apollo kan publicera oberoende sammanfattningar. OpenAIs Säkerhets- och Säkerthetskommitté får tillgång till fullständiga, oredigerade rapporter för intern översyn.
Även om arrangemangen inte helt motsvarar vissa förespråkares krav på fullständiga, oberoende inbäddade utvärderingar, karakteriserar Apollo piloten som ett ambitiöst första steg mot ökad transparens och samarbete kring AI-säkerhet mellan utvecklare. Insatserna speglar pågående försök att balansera transparens med ägande- och säkerhetsfrågor vid hanteringen av avancerade AI-risker.
Källor och ursprunglig rapportering
Läs den ursprungliga källan ↗

Kommentarer (0)
Inga kommentarer ännu. Börja diskussionen.
Skriv en kommentar
Kommentarer publiceras efter granskning. Ditt namn och kommentar syns offentligt. Konto