Anthropic ger extern AI-övervakare anställdas tillgång för att förbättra säkerhetsövervakning

Bild: Ars Technica · Källa

Anthropic har integrerat ett externt övervakningsteam i sina kontor och gett dem omfattande tillgång för att självständigt bedöma risker i AI-modeller. Detta markerar ett viktigt steg för transparens och ansvarsskyldighet inom AI-säkerhet.

Anthropic, en ledande utvecklare av artificiell intelligens, har tagit ett betydande steg för att stärka säkerhetsövervakningen genom att ge en extern övervakningsorganisation vad de kallar "anställdas tillgång" till sina interna system och hårdvara. Syftet med initiativet är att transparent utvärdera riskerna med deras AI-modeller, inklusive Claude, genom att placera övervakningsteamet direkt inom Anthropics kontor. De externa utvärderarna tillhör METR, en ideell organisation med tidigare erfarenhet av att samarbeta med stora AI-laboratorier såsom OpenAI, Google och Meta. Genom att ha fullständig tillgång motsvarande Anthropics egna riskbedömningsteam kan METR-personalen oberoende granska, recensera och analysera säkerhetsfrågor.

Detta drag följer en bred oro inom industrin och allmänheten över de ökande potentiella farorna med allt kraftfullare AI-system, från ekonomisk störning och cybersäkerhetshot till existentiella risker. Anthropics VD Dario Amodeis driv för tredje parts utvärderingar har tidigare fått stöd från inflytelserika AI-personligheter som OpenAIs Sam Altman och SpaceXs Elon Musk, vilket belyser en sällsynt samsyn om vikten av robust extern övervakning.

Anthropic har betonat att även om företaget eftersträvar offentlig ansvarsskyldighet i sitt säkerhetsarbete, kan direkt offentliggörande av all känslig information exponera sårbarheter för illasinnade aktörer eller konkurrenter. Istället har man valt en modell liknande banktillsyn, där regulatorer placerar inspektörer inom stora banker för att bedöma risker direkt och proaktivt. METRs utvärderare har befogenhet att publicera sina fynd utan Anthropics godkännande, även om företaget kan begära att känslig data som kundinformation, juridisk korrespondens eller proprietära modelldetaljer röjs.

För att stärka denna övervakning har Anthropic försett METR med företagsutrustning, kontorsutrymme och obehindrad tillgång liknande interna säkerhetsteam. Anthropic-anställda uppmuntras att interagera med METRs granskare som med kollegor i riskfrågor, vilket främjar samarbetsvänlig transparens. Noterbart är att denna ordning sker utan ekonomisk ersättning från Anthropic till METR, som enbart finansieras genom filantropiska och statliga medel, vilket bevarar dess oberoende.

Denna utveckling sker samtidigt som Anthropic förbereder en högprofilerad börsintroduktion, uppskattad till över 2 biljoner dollar i värdering i år. Företaget vill visa att AI-säkerhet och rigorös riskhantering fortsatt är huvudprioriteringar trots kommersiella påtryckningar. Utöver METR fortsätter Anthropic samarbeten med andra säkerhetspartner, såsom Accenture, som investerar i omfattande säkerhetstester, och SecureBio, som bedömer risker relaterade till kemiska och biologiska hot.

Anthropic har uppmanat andra framstående AI-företag att anta liknande program för inbäddade utvärderare, och betonar frivillig transparens för att gemensamt höja branschens säkerhetsstandarder. METR har uttryckt beredskap att utvidga sin övervakning över AI-landskapet för att tillhandahålla bättre offentliga bevis och försäkran av AI-säkerhet.

Sammanfattningsvis markerar Anthropics hittills unika tillåtelse av omfattande intern tillgång till en extern övervakare ett betydande framsteg inom AI-styrning. Det sätter en möjlig förebild för att integrera oberoende utvärderare inom AI-företag för att proaktivt identifiera och mildra risker i en tid med växande krav på starkare regleringsramar för avancerade AI-teknologier.