Główny naukowiec OpenAI proponuje wykorzystanie miary perplexity jako benchmarku ograniczającego tempo rozwoju AI

Image: MedChemBench: Benchmarking AI for medicinal chemistry — Cover · Source
Jakub Pachocki, główny naukowiec OpenAI, sugeruje użycie perplexity – wskaźnika dokładności predykcji AI – jako wspólnego benchmarku do regulacji tempa rozwoju sztucznej inteligencji oraz ustanowienia granic bezpieczeństwa w branży.
Główny naukowiec OpenAI, Jakub Pachocki, zaproponował nowatorskie podejście do zarządzania szybkim rozwojem sztucznej inteligencji, sugerując przyjęcie wspólnej miary — perplexity — do pomiaru i potencjalnego ograniczenia tempa rozwoju AI. W obszernym poście na blogu datowanym na 22 listopada 2026 roku Pachocki argumentuje, że perplexity, która ocenia, jak dobrze model przewiduje następny token w danych, mogłaby służyć jako ustandaryzowany wskaźnik ogólnej inteligencji AI wśród różnych twórców modeli. Propozycja ta pojawia się w kontekście narastających obaw o potencjalne katastrofalne zagrożenia wynikające z niekontrolowanego postępu AI, które wyrażają byli eksperci branżowi oraz są obecne w dokumentach firm, takich jak prospekt emisyjny Anthropic.
Perplexity kwantyfikuje wydajność predykcyjną modelu; niższe wartości perplexity oznaczają lepszą dokładność przewidywań. Pachocki zauważa ewolucję modeli OpenAI, które wykazują stały spadek perplexity — od GPT-3.5 przez GPT-4 i kolejne – co koreluje z pojawianiem się przełomowych zdolności w dziedzinach takich jak cyberbezpieczeństwo czy matematyka. Na przykład perplexity GPT-4 na poziomie ok. 0,91 zbiegła się z pojawieniem się skutecznego rozumowania łańcuchowego, stanowiącego znaczącą zdolność wnioskowania, podczas gdy dalsze obniżenia poniżej 0,8 związane były z przełamującymi bariery możliwościami. Ta zależność stanowi podstawę tezy Pachockiego, że perplexity odzwierciedla kluczową "substrat inteligencji" modeli AI i pozostaje informatywna nawet gdy specyficzne testy zadaniowe szybko się dezaktualizują wraz z postępem technologicznym.
Mając na uwadze te obserwacje, Pachocki apeluje, by firmy AI zgodziły się na wspólne standardy bezpieczeństwa i przyjęły progi oparte na perplexity — w praktyce limity prędkości — w rozwoju AI. Takie ograniczenia miałyby obowiązywać do czasu osiągnięcia przez branżę konkretnych kamieni milowych w zrozumieniu i monitorowaniu zachowań AI, odpowiadając na obecne trudności w zakresie dostosowania i oceny. Podejście to ma na celu zapobieganie nieprzemyślanemu rozwojowi, który mógłby wyprzedzić wysiłki na rzecz bezpieczeństwa.
Jednak Pachocki przyznaje ograniczenia użycia perplexity jako jedynego wskaźnika, w tym różnice w zbiorach danych stosowanych przez różne laboratoria, jej pośredni związek z konkretnymi zdolnościami oraz niepewność co do teoretycznie najniższej możliwej perplexity. Ponadto ulepszenia takie jak chain-of-thought prompting nie zmniejszają perplexity, lecz mogą znacznie podnieść wydajność modelu. Pomimo tych zastrzeżeń, perplexity pozostaje sprawdzonym, mierzalnym wskaźnikiem ściśle powiązanym z ukrytymi możliwościami AI, czyniąc go obiecującym kandydatem do promowania przejrzystości i wspólnego zarządzania w dziedzinie AI.
Propozycja ta wpisuje się w szersze dyskusje branżowe dotyczące regulacji tempa rozwoju AI w celu ograniczenia ryzyka egzystencjalnego. Warto zauważyć, że dyrektor generalny Anthropic, Dario Amodei, publicznie opowiada się za wyważonym postępem z wspólnymi standardami bezpieczeństwa, stanowisko to podobno popierają także prezes OpenAI Sam Altman oraz szef SpaceX Elon Musk. Post Pachockiego, określony przez Altmana jako „najważniejsza publikacja OpenAI od dawna”, wnosi konkretny naukowy wymiar do tej debaty.
W miarę jak AI nadal rozwija się szybko, a sam AI coraz bardziej wspiera własne badania i rozwój, ustanowienie obiektywnych, wspólnych benchmarków, takich jak perplexity, może być kluczowe dla koordynacji działań związanych z bezpieczeństwem. OpenAI ma nadzieję, że ta inicjatywa przyczyni się do przejrzystości w całej branży oraz norm skutecznie modulujących tempo postępu AI, jednocześnie umożliwiając wykrywanie i zarządzanie pojawiającymi się zagrożeniami.


Źródła i oryginalne doniesienia
Read the original source ↗

Komentarze (0)
Nie ma jeszcze komentarzy.
Napisz komentarz
Komentarze publikujemy po moderacji. Nazwa i komentarz będą publiczne. Konto