Anthropic gir ekstern AI-tilsynsmyndighet ansattnivåtillatelse for å styrke sikkerhetstilsyn

Bilde: Ars Technica · Kilde

Anthropic har innlemmet et eksternt tilsynsteam i sine kontorer og gitt dem omfattende tilgang for å selvstendig vurdere risiko i AI-modeller. Dette markerer et viktig steg i åpenhet og ansvarlighet innen AI-sikkerhet.

Anthropic, en ledende utvikler innen kunstig intelligens, har tatt et betydelig skritt for å styrke sikkerhetstilsynet ved å gi en ekstern tilsynsorganisasjon det de kaller "ansatt-lignende tilgang" til sine interne systemer og maskinvare. Initiativet tar sikte på å transparent evaluere risikoene knyttet til deres AI-modeller, inkludert Claude, ved å plassere tilsynsteamet direkte i Anthropics kontorer. De eksterne evaluatørene tilhører METR, en ideell organisasjon med tidligere erfaring fra samarbeid med store AI-laboratorier som OpenAI, Google og Meta. Ved å ha full tilgang tilsvarende Anthropics egne risikovurderingsteam kan METR-personalet uavhengig revidere, gjennomgå og analysere sikkerhetsspørsmål.

Dette trekket kommer etter bred industriover og offentlig bekymring over de økende potensielle farene ved stadig kraftigere AI-systemer, som spenner fra økonomisk forstyrrelse og cybersikkerhetstrusler til eksistensielle risikoer. Anthropics administrerende direktør Dario Amodeis pådriv for tredjepartsevalueringer har tidligere fått støtte fra innflytelsesrike AI-personligheter som OpenAIs Sam Altman og SpaceXs Elon Musk, noe som fremhever en sjelden enighet om viktigheten av robust ekstern overvåkning.

Anthropic har understreket at selv om selskapet søker offentlig ansvarlighet i sitt sikkerhetsarbeid, kan direkte offentliggjøring av all sensitiv informasjon eksponere sårbarheter overfor ondsinnede aktører eller konkurrenter. I stedet har de valgt en modell tilsvarende banktilsyn, hvor tilsynsmyndigheter plasserer inspektører internt i store banker for å vurdere risikoer direkte og proaktivt. METRs evaluatører har myndighet til å publisere sine funn uten Anthropics godkjenning, selv om selskapet kan be om redigeringer av sensitive data som kundeinformasjon, juridisk kommunikasjon eller proprietære modelldetaljer.

For å styrke dette tilsynet har Anthropic utstyrt METR med selskapets maskinvare, kontorplass og ubegrenset tilgang lik den interne sikkerhetsteamene har. Ansatte hos Anthropic oppfordres til å samhandle med METRs gjennomgåere som med kolleger i risikospørsmål, og fremme samarbeidende åpenhet. Merk at denne ordningen skjer uten økonomisk kompensasjon fra Anthropic til METR, som opererer utelukkende på filantropisk og offentlig finansiering, noe som opprettholder dens uavhengighet.

Denne utviklingen skjer samtidig som Anthropic forbereder en høyt profilert børsnotering, anslått til en verdi på over 2 billioner dollar i år. Selskapet ønsker å vise at AI-sikkerhet og streng risikostyring forblir kjerneprioriteringer til tross for kommersielle press. Utover METR fortsetter Anthropic samarbeid med andre sikkerhetspartnere som Accenture, som er involvert i omfattende investeringer i sikkerhetstesting, og SecureBio, som vurderer risikoer knyttet til kjemiske og biologiske trusler.

Anthropic har oppfordret andre ledende AI-selskaper til å adoptere lignende programmer for innbakte evaluatorer og legger vekt på frivillig åpenhet for å samlet heve sikkerhetsstandardene i bransjen. METR har uttrykt villighet til å utvide sitt tilsynsarbeid på tvers av AI-landskapet for å gi bedre offentlig bevis og forsikring rundt AI-sikkerhet.

Oppsummert markerer Anthropics hittil unike tillatelse til omfattende intern tilgang for en ekstern tilsynsmyndighet et betydelig fremskritt innen AI-styring. Det setter en potensiell presedens for å integrere uavhengige evaluatorer i AI-selskaper for å proaktivt identifisere og redusere risikoer i møte med økende krav om sterkere reguleringsrammer for avansert AI-teknologi.