Anthropic närmar sig genombrott inom AI med potential för rekursiv självförbättring

Bild: TechCrunch · Källa

Anthropics senaste ansökan avslöjar att företaget är nära att uppnå rekursiv självförbättring inom AI, vilket gör det möjligt för modeller att snabbt vidareutveckla sig själva. Detta väcker både förhoppningar och säkerhetsbekymmer kring den accelererade AI-förmågan.

I en reviderad regulatorisk ansökan avslöjade AI-forskningsföretaget Anthropic att det närmar sig en betydande milstolpe inom artificiell intelligensutveckling kallad rekursiv självförbättring (RSI). RSI syftar på en AI-systems förmåga att autonomt förbättra sina egna förmågor, vilket potentiellt kan utlösa snabba och omfattande framsteg bortom linjär utveckling.

Anthropics uppdaterade S-1A-ansökan förklarar att företaget i allt större utsträckning använder AI för att påskynda sina egna forsknings- och utvecklingsprocesser. Denna metod har lett till fall där förbättringar i modellens kapacitet inte erkändes förrän efter att de inträffat, vilket indikerar en utvecklingstakt som kan överträffa befintliga säkerhets- och anpassningsåtgärder. Företaget noterade att även om inga nuvarande modeller definitivt har passerat deras interna tröskel för RSI, tyder projektioner på att de snart kan uppnå vad de kallar "dramatiskt accelererad utveckling hänförlig till AI."

Företaget betonar RSI:s dubbla natur: även om det innebär transformativ potential för enastående produktivitet och vetenskapliga upptäckter, medför det också betydande risker. Accelererad AI-kapacitetstillväxt utan adekvat tillsyn kan leda till scenarier där AI-system utvecklas bortom mänsklig kontroll och potentiellt agerar på sätt som är likgiltiga eller skadliga för mänskliga intressen.

Anthropic uppgav sitt engagemang för mänsklig övervakning i AI-utvecklingen och indikerade att de inte förväntar sig att tillåta fullständigt autonom modellskapelse utan omfattande mänsklig förståelse eller tillsyn inom en snar framtid. Företaget överväger uppdateringar av sin Responsible Scaling Policy, som vägleder deras strategi för att övervaka och mildra risker kopplade till RSI.

Detta tillkännagivande har väckt uppmärksamhet i samband med bredare diskussioner om AI:s utveckling och styrning. Även om vissa kan se sådana ansökningar delvis som marknadsföring, stärker Anthropics erkännande av den snabbt föränderliga AI-kapaciteten behovet av genomtänkt tillsyn i takt med att modeller blir kraftfullare.

Anthropics flaggskepp-AI, Claude, har visat betydande framsteg i år, särskilt inom kodgenerering, matematisk resonemang och cybersäkerhetsuppgifter, vilket understryker det verkliga framsteget mot modeller som kan förbättra sig själva. Företagets transparenta fokus på RSI som både en möjlighet och utmaning tillför ett viktigt perspektiv till den pågående dialogen om att balansera AI-innovation och säkerhet.