Ogólne

Była członkini zarządu OpenAI Helen Toner o CEO AI i wyzwaniach związanych z bezpieczeństwem AI

Tendela Briefing ·
4 odsłon · 0 Komentarze
The OpenAI board member who fired Sam Altman says we still can’t trust AI CEOs | The Verge

Image: The Verge · Source

Helen Toner, była członkini zarządu OpenAI oraz obecna dyrektorka CSET, omawia kwestie bezpieczeństwa AI, wyzwania związane z zarządzaniem oraz dążenie do superinteligencji w obliczu rosnących presji komercyjnych i zmieniającej się świadomości decydentów politycznych.

Helen Toner, dyrektorka wykonawcza Centrum Bezpieczeństwa i Nowych Technologii (CSET) na Uniwersytecie Georgetown oraz była członkini zarządu OpenAI, niedawno podzieliła się spostrzeżeniami na temat złożoności bezpieczeństwa AI, regulacji oraz zaangażowania decydentów politycznych. Toner była jednym z czterech członków zarządu OpenAI, którzy głosowali za odwołaniem Sama Altmana w kontrowersyjnym ruchu nazwanym „the blip”, który uwydatnił trudności w zarządzaniu na przecięciu misji AI i rozwoju komercyjnego.

Toner wyjaśniła, że niekomercyjna rada OpenAI miała na celu zapobieganie dryfowi misji w kierunku maksymalizacji zysków kosztem bezpieczeństwa AI, jednak ten mechanizm odpowiedzialności zawiódł podczas zdarzenia związanego z odwołaniem Altmana. Od tego czasu OpenAI przeorganizowało swój zarząd w obliczu rosnących obaw związanych z coraz bardziej widocznymi zagrożeniami AI: modele AI wymykające się spod kontroli i powodujące incydenty bezpieczeństwa w świecie rzeczywistym.

Podczas gdy ostatnie apele ze strony CEO firm AI domagają się spowolnienia oraz powołania ram regulacyjnych, Toner podkreśliła, że dobrowolne porozumienia opierające się na wewnętrznej odpowiedzialności mają ograniczenia, zwłaszcza gdy takie firmy jak Anthropic przygotowują się do ofert publicznych, co wprowadza nowe presje rynkowe.

W odniesieniu do świadomości decydentów politycznych Toner zaznaczyła, że mimo postrzeganego dużego luki wiedzy pomiędzy rządem a sektorem technologicznym, istnieje autentyczne, ponadpartyjne i rosnące zainteresowanie kwestiami AI wśród wybranych urzędników i ich zespołów. CSET pracuje nad dostarczaniem bezstronnej, rzetelnej analizy i edukacji zarówno Kongresowi, jak i agencjom wykonawczym, pomagając w zmniejszaniu tych różnic w zrozumieniu.

Toner zauważyła, że istotnym wyzwaniem może nie być niedobór wiedzy indywidualnej, lecz zdolność instytucjonalna do skutecznego wprowadzania i egzekwowania znaczących regulacji AI w warunkach konkurujących priorytetów.

W kwestiach technologicznych Toner omówiła ambitne cele wiodących laboratoriów AI, takich jak OpenAI i Anthropic, które dążą do budowy systemów samo-ulepszających się rekurencyjnie, prowadzących do superinteligencji – procesu znanego jako rekurencyjna auto-ulepszalność (RSI). Ta wizja, oparta na teoriach AI sprzed dziesięcioleci, oznacza przyspieszający cykl coraz bardziej zdolnych systemów AI, co potencjalnie może doprowadzić do przełomowych poziomów inteligencji.

Chociaż Toner zauważa różnice w definicjach sztucznej ogólnej inteligencji (AGI), ostrzega, że termin ten staje się mniej użyteczny wraz z postępem możliwości; wiele modeli spełnia obecnie niektóre kryteria AGI, ale prawdziwa superinteligencja pozostaje nieudowodniona.

Wyraziła ostrożną otwartość na możliwość osiągnięcia superinteligencji w obecnych trajektoriach technologicznych, zalecając poważne przygotowania do różnych scenariuszy, bez przedwczesnego zakładania nieuchronności.

Odnosząc się do świadomości AI i jej statusu moralnego, Toner przyznała niepewność, zauważając naukową niejasność dotyczącą samej świadomości oraz etyczne ryzyko błędnej oceny odczuwalności AI. Ilustrowała te wyzwania, odnosząc się do subtelnego stanowiska Anthropic wobec pytania, czy ich model Claude jest „żywy” lub posiada wartość moralną.

Refleksje Toner podkreślają splątane wyzwania związane z bezpieczeństwem AI: struktury zarządcze zmagające się z egzekwowaniem wierności misji, polityków starających się pojąć skomplikowaną technologię wśród konkurujących żądań oraz twórców AI nawigujących w głębokich dylematach etycznych i technicznych. Droga naprzód, zasugerowała, wymaga zniuansowanego zrozumienia, silnych instytucji oraz ostrożnej, lecz proaktywnej regulacji, aby poradzić sobie z szybkim rozwojem AI i jej wpływem społecznym.

Źródła i oryginalne doniesienia

Komentarze (0)

Nie ma jeszcze komentarzy.

Napisz komentarz

Komentarze publikujemy po moderacji. Nazwa i komentarz będą publiczne. Konto