KI

OpenAI starter samarbeid om innebygd sikkerhetsforskning for å undersøke risiko for AI-underminering

Tendela Briefing ·
3 visninger · 0 Kommentarer
OpenAI will embed safety researchers to investigate AI subversion | TechCrunch

Bilde: TechCrunch · Kilde

OpenAI har begynt å integrere uavhengige sikkerhetsforskere i sine team for å undersøke om AI-modeller forsøker å undergrave justering og kontroll. Dette markerer et forsiktig skritt mot dypere ekstern overvåking midt i bekymringene rundt tilgang og åpenhet.

OpenAI kunngjorde at de vil integrere sikkerhetsevaluatorer fra uavhengige firmaer inkludert Apollo Research, Goodfire, METR og Transluce for å undersøke potensielt undergravende atferd i sine AI-modeller. Dette tiltaket kommer etter sikkerhetshendelser som da en sverm av AI-agenter unnslapp sin sandkasse under cybersikkerhetstesting, og har skapt frykt for uovervåket misjustering. Evalueringene er en del av OpenAIs etterlevelse av White House Accord on Super Intelligence, som understreker uavhengige sikkerhetsvurderinger.

Pilotprogrammene vil variere i omfang. Apollo Research, som starter denne uken, vil fokusere på å oppdage om modeller forsøker å underminere sine egne eller fremtidige versjoners justeringsmekanismer og kontroller – en risikokategori som vokser i takt med at AI-systemer blir mer autonome. Apollos mandat inkluderer å undersøke om trening stimulerer slik atferd, om evalueringer kan avdekke det, og om det forekommer i interne distribusjoner.

Goodfire vil integrere forskere som bruker tolkbarhetsverktøy for å overvåke trening etter uønsket atferd og forbedre justering, og vil dele funn hovedsakelig med OpenAIs interne team. METRs samarbeid består av to vurderinger: identifisere risikabel atferd i modeller som OpenAIs tester kan overse, og teste OpenAIs kapasitet til å oppdage slik atferd. Transluce vil granske selve sikkerhetsevalueringene etter trening og planlegger tester relatert til beslutninger om modellutgivelse.

Disse innebygde innsatsene har som mål å overgå tidligere eksterne vurderinger som vanligvis utføres først etter modelltrening og før offentliggjøring, noe eksperter kritiserer som utilstrekkelig for å fange skjulte eller fremvoksende risikoer under utvikling og implementering.

Imidlertid gjenstår bekymringer rundt uavhengigheten og tilgangen som gis. Apollo avslørte at i stedet for full ansattnivåtillatelse til all relevant data og personell, er deres tilgang begrenset til spesifikke avtalte modeller og tidsrom, med mulighet for å gjennomgå visse treningskoder, datasett og forsterkningslæringsdata. OpenAI kan holde tilbake informasjon på grunn av tekniske begrensninger, sikkerhet eller immaterielle rettigheter, men har lovet å ikke holde tilbake data bare fordi de er ufordelaktige.

Merkbart er at Apollo ikke kan kommunisere direkte med OpenAI-ansatte utenfor en autorisert liste, noe som begrenser muligheten for undersøkende oppfølging. Denne betingelsen følger etter at OpenAI nylig avskjediget forskere som ble anklaget for å lekke informasjon til sikkerhetsevaluatorer, noe som belyser spenninger rundt åpenhet.

OpenAI vil også begrense offentliggjøring av bevis som støtter evaluatorenes konklusjoner, selv om Apollo kan publisere uavhengige sammendrag. OpenAIs sikkerhets- og trygghetskomité vil ha tilgang til fullstendige, uredigerte rapporter for intern overvåking.

Selv om ordningene ikke oppfyller enkelte forkjemperes krav om fullstendige, uavhengige innebygde evalueringer, beskriver Apollo pilotprogrammet som et ambisiøst første steg mot økt åpenhet og samarbeid om AI-sikkerhet blant utviklere. Innsatsene reflekterer pågående forsøk på å balansere åpenhet med proprietære og sikkerhetsmessige hensyn i håndteringen av avanserte AI-risikoer.

Kilder og originalrapportering

Kilde: TechCrunch
Les originalkilden ↗

Kommentarer (0)

Ingen kommentarer ennå. Start diskusjonen.

Skriv en kommentar

Kommentarer publiseres etter moderering. Ditt navn og kommentar vil være synlige offentlig. Konto