KI

OpenAIs sjefsforsker foreslår perplexity som en benchmark for å begrense AI-utviklingshastighet

Tendela Briefing ·
3 visninger · 0 Kommentarer
OpenAIs sjefsforsker foreslår perplexity som en benchmark for å begrense AI-utviklingshastighet

Bilde: MedChemBench: Benchmarking AI for medicinal chemistry — Cover · Kilde

OpenAIs sjefsforsker Jakub Pachocki foreslår å bruke perplexity, en måling av AI-prediksjonsnøyaktighet, som en felles benchmark for å styre AI-utviklingshastighet og etablere sikkerhetsgrenser i bransjen.

OpenAIs sjefsforsker Jakub Pachocki har foreslått en ny tilnærming til å håndtere den raske utviklingen innen kunstig intelligens ved å foreslå å ta i bruk en felles måling — perplexity — for å måle og potensielt begrense AI-utviklingshastigheten. I et detaljert blogginnlegg datert 22. november 2026 argumenterer Pachocki for at perplexity, som vurderer hvor godt en modell forutsier neste token i data, kan tjene som en standardisert måleenhet for AI sin generelle intelligens på tvers av ulike utviklere.

Dette forslaget kommer på bakgrunn av økende bekymring for de potensielt katastrofale risikoene som ukontrollert AI-framgang kan medføre, bekymringer som særlig er uttrykt av tidligere bransjefolk og som også har blitt gjentatt i selskapsdokumenter som for eksempel Anthropics børsnoteringsdokumenter.

Perplexity kvantifiserer en modells prediktive ytelse; lavere perplexity indikerer bedre prediksjonsnøyaktighet. Pachocki fremhever utviklingen hos OpenAIs modeller, som viser en jevn nedgang i perplexity — fra GPT-3.5 til GPT-4 og videre — noe som korrelerer med fremveksten av transformative evner innen områder som cybersikkerhet og matematikk. For eksempel var GPT-4 sin perplexity rundt 0,91 samtidig som produktiv tankekjede-resonnering oppsto, en betydelig evne innen resonnement, mens ytterligere reduksjoner under 0,8 har vært knyttet til gjennombruddsevner.

Denne sammenhengen danner grunnlaget for Pachockis påstand om at perplexity sporer den grunnleggende "intelligenssubstraten" i AI-modeller og forblir informativ selv når oppgavespesifikke benchmarks raskt blir utdaterte med teknologiske fremskritt.

Gitt disse observasjonene oppfordrer Pachocki AI-selskaper til å bli enige om felles sikkerhetsstandarder og å innføre perplexity-baserte terskler — i praksis fartsgrenser — på AI-utviklingen. Slike grenser skal være på plass til industrien oppnår konkrete milepæler i forståelsen og overvåkningen av AI-oppførsel, i møte med dagens utfordringer innen tilpasning og evaluering. Tilnærmingen har som mål å forhindre hensynsløs framgang som kan overgå sikkerhetsinnsatsene.

Pachocki anerkjenner imidlertid begrensninger ved å bruke perplexity som eneste mål, inkludert forskjeller i datasett mellom laboratorier, dens indirekte kobling til spesifikke evner, og usikkerhet rundt teoretisk lavest oppnåelig perplexity. I tillegg reduserer ikke forbedringer som chain-of-thought prompting perplexity, men kan dramatisk forbedre modellens ytelse. Til tross for disse forbeholdene forblir perplexity et tidstestet, kvantifiserbart mål tett knyttet til latente AI-evner, noe som gjør det til en lovende kandidat for å fremme åpenhet og felles styring i AI-feltet.

Dette forslaget er i tråd med bredere bransjediskusjoner om å bremse AI-utviklingen for å redusere eksistensielle risikoer. Spesielt har Anthropics administrerende direktør Dario Amodei offentlig oppfordret til en kontrollert fremdrift med felles sikkerhetsstandarder, et synspunkt som angivelig støttes av OpenAIs administrerende direktør Sam Altman og SpaceXs administrerende direktør Elon Musk. Pachockis blogginnlegg, beskrevet av Altman som "det viktigste OpenAI har publisert på en stund," gir et konkret vitenskapelig rammeverk til diskursen.

Ettersom AI fortsetter å utvikle seg raskt med økt AI-assistanse i egen forskning og utvikling, kan etableringen av objektive, felles benchmarks som perplexity være avgjørende for koordinerte sikkerhetstiltak. OpenAI håper at dette initiativet vil føre til bransjeomfattende åpenhet og normer som effektivt kan styre AI-framgangen samtidig som det muliggjør oppdagelse og håndtering av fremvoksende risikoer.

A softly textured blue and turquoise gradient.
A softly textured blue and turquoise gradient. · Kilde ↗
Managing frontier AI risk: From training to deployment — Cover
Managing frontier AI risk: From training to deployment — Cover · Kilde ↗

Kilder og originalrapportering

Kilde: TechCrunch
Les originalkilden ↗

Kommentarer (0)

Ingen kommentarer ennå. Start diskusjonen.

Skriv en kommentar

Kommentarer publiseres etter moderering. Ditt navn og kommentar vil være synlige offentlig. Konto