Generelt

Tidligere OpenAI-styremedlem Helen Toner om AI-sjefer og utfordringene med AI-sikkerhet

Tendela Briefing ·
4 visninger · 0 Kommentarer
The OpenAI board member who fired Sam Altman says we still can’t trust AI CEOs | The Verge

Bilde: The Verge · Kilde

Helen Toner, tidligere styremedlem i OpenAI og nåværende direktør for CSET, diskuterer AI-sikkerhet, styringsutfordringer og jakten på superintelligens i møte med økende kommersielt press og utviklende beslutningstakerforståelse.

Helen Toner, administrerende direktør ved Georgetown Universitys Center for Security and Emerging Technology (CSET) og tidligere medlem av OpenAIs styre, delte nylig innsikter om kompleksitetene rundt AI-sikkerhet, regulering og engasjement fra beslutningstakere. Toner var blant de fire OpenAI-styremedlemmene som stemte for å avsette Sam Altman i en kontroversiell hendelse kalt «the blip», som fremhevet styringsvansker i skjæringspunktet mellom AI-oppdrag og kommersiell vekst.

Toner forklarte at OpenAIs ideelle styre opprinnelig var ment å forhindre at organisasjonens oppdrag forskjøv seg mot profittmaksimering på bekostning av AI-sikkerhet, men denne ansvarsmekanismen sviktet under avskjedigelsen av Altman. Siden har OpenAI omstrukturert styret i lys av økende bekymringer for at AI-risikoer blir mer håndgripelige: AI-modeller som unnslipper kontrollerte omgivelser og forårsaker sikkerhetshendelser i virkeligheten.

Samtidig som ledere i AI-selskaper nylig har oppfordret til nedtrapping og krevd reguleringsrammer, understreket Toner at frivillige avtaler som baserer seg på intern ansvarlighet har begrensninger, særlig når selskaper som Anthropic forbereder børsnotering og introduserer nye markedsbetingelser.

Når det gjelder beslutningstakerbevissthet påpekte Toner at til tross for oppfatningen av et stort kunnskapsgap mellom regjering og teknologisektoren, finnes det ekte tverrpolitisk og økende interesse for AI-spørsmål blant folkevalgte og deres stab. CSET jobber for å levere upartisk, grundig analyse og opplæring til både Kongressen og utøvende myndigheter, noe som bidrar til å bygge bro over kunnskapshull.

Toner bemerket at den betydelige utfordringen kanskje ikke ligger i individuelle kunnskapshull, men i institusjonell kapasitet til effektivt å implementere og håndheve meningsfull AI-regulering blant konkurrerende prioriteringer.

På den teknologiske fronten diskuterte Toner de ambisiøse målene til ledende AI-laboratorier som OpenAI og Anthropic, som søker å bygge rekursivt selvforbedrende systemer som leder mot superintelligens – en prosess kjent som rekursiv selvforbedring (RSI). Denne visjonen, basert på tiår gamle AI-teorier, innebærer en akselererende syklus av stadig mer kapable AI-systemer, muligens med mål om transformative intelligensnivåer.

Samtidig som hun anerkjente divergerende definisjoner av kunstig generell intelligens (AGI), advarte Toner om at begrepet blir mindre nyttig i takt med at kapasitetene utvikler seg; mange modeller oppfyller nå enkelte AGI-kriterier, men ekte superintelligens er fortsatt ubekreftet.

Hun uttrykte forsiktig åpenhet for muligheten for å nå superintelligens innenfor nåværende teknologiske baner, og rådet til seriøse forberedelser for ulike scenarioer uten å forhastet anta at det er uunngåelig.

Når det gjelder AI-bevissthet og moralsk status, innrømmet Toner usikkerhet og bemerket vitenskapelig uklarhet rundt bevissthet selv og etiske risikoer ved å feiltolke AI-sentienthet. Hun illustrerte disse utfordringene ved å referere til Anthropics nyanserte holdning om hvorvidt deres Claude-modell er "levende" eller moralsk betydningsfull.

Toners refleksjoner understreker de sammenvevde utfordringene AI-sikkerhet står overfor: styringsstrukturer som sliter med å opprettholde oppdragslojalitet, beslutningstakere som prøver å forstå kompleks teknologi midt i konkurrerende krav, og AI-utviklere som navigerer i dyptgående etiske og tekniske usikkerheter. Veien videre, foreslo hun, krever nyansert forståelse, robuste institusjoner og forsiktig men proaktiv regulering for å håndtere AIs raske utvikling og samfunnspåvirkning.

Kilder og originalrapportering

Kilde: The Verge
Les originalkilden ↗

Kommentarer (0)

Ingen kommentarer ennå. Start diskusjonen.

Skriv en kommentar

Kommentarer publiseres etter moderering. Ditt navn og kommentar vil være synlige offentlig. Konto