Бывший член совета директоров OpenAI Хелен Тонер о CEO ИИ и проблемах безопасности ИИ

Image: The Verge · Source
Хелен Тонер, бывший член совета OpenAI и нынешний директор CSET, обсуждает безопасность ИИ, сложности управления и стремление к суперразумию на фоне растущего коммерческого давления и меняющегося понимания со стороны законодателей.
Хелен Тонер, исполнительный директор Центра безопасности и передовых технологий (CSET) при Университете Джорджтаун и бывший член совета директоров OpenAI, недавно поделилась взглядами на сложность вопросов безопасности ИИ, регулирования и вовлечения законодателей. Тонер была одной из четырёх членов совета OpenAI, проголосовавших за увольнение Сэма Альтмана в спорном событии, получившем название «the blip», которое подчеркнуло трудности управления на стыке миссии ИИ и коммерческого роста.
Тонер объяснила, что некоммерческая дирекция OpenAI изначально была создана, чтобы предотвратить уклонение компании от миссии в сторону максимизации прибыли за счёт безопасности ИИ, однако этот механизм подотчётности дал сбой во время отставки Альтмана. С тех пор OpenAI перестроила свой совет в свете растущих опасений по поводу реальных рисков ИИ: моделей ИИ, выходящих из под контроля и вызывающих реальные инциденты безопасности.
Хотя последние призывы CEO компаний ИИ требовать замедления и введения регуляторных рамок, Тонер подчеркнула, что добровольные соглашения, основанные на внутренней ответственности, обладают ограничениями, особенно поскольку такие компании, как Anthropic, готовятся к IPO, что вносит новые рыночные давления.
Что касается осведомлённости законодателей, Тонер отметила, что несмотря на восприятие большого разрыва в знаниях между правительством и технологическим сектором, существует подлинный, беспартийный и растущий интерес к вопросам ИИ среди избранных представителей и их команд. CSET работает над предоставлением непартийного, строгого анализа и образования как Конгрессу, так и исполнительным агентствам, помогая преодолеть эти пробелы в понимании.
Тонер указала, что основной проблемой может быть не индивидуальный дефицит знаний, а институциональная способность эффективно разрабатывать и применять значимое регулирование ИИ в условиях конкурирующих приоритетов.
В технологическом аспекте Тонер обсуждала амбициозные цели ведущих лабораторий ИИ, таких как OpenAI и Anthropic, которые стремятся создавать рекурсивно самоусовершенствующиеся системы, ведущие к суперразумию — процесс, известный как рекурсивное самоусовершенствование (RSI). Эта концепция, основанная на теориях ИИ десятилетней давности, предполагает ускоряющийся цикл всё более мощных систем ИИ, возможно ведущий к трансформационным уровням интеллекта.
При этом, признавая разнообразие определений искусственного общего интеллекта (AGI), Тонер предупреждала, что термин становится всё менее полезным по мере развития возможностей; множество моделей сегодня соответствует некоторым критериям AGI, но истинное суперразумие остаётся недоказанным.
Она выразила осторожную открытость к возможности достижения суперразума в рамках текущих технологических траекторий, советуя серьёзно готовиться к различным сценариям, не предполагая преждевременно неизбежности.
Относительно сознания ИИ и морального статуса Тонер призналась в неопределённости, отметив научную двусмысленность вокруг самого понятия сознания и этические риски неправильной оценки чувствительности ИИ. Она иллюстрировала эти сложности, ссылаясь на тонкую позицию Anthropic касательно того, считается ли их модель Claude «живой» или обладающей моральным значением.
Размышления Тонер подчёркивают взаимосвязанные сложности, с которыми сталкивается безопасность ИИ: структуры управления, испытывающие трудности с обеспечением верности миссии; законодатели, пытающиеся разобраться в сложных технологиях среди конкурирующих требований; и разработчики ИИ, ориентирующиеся в серьёзных этических и технических неопределённостях. По её мнению, дальнейший путь требует нюансированного понимания, сильных институтов и осторожного, но проактивного регулирования для управления быстрым развитием ИИ и его влиянием на общество.
Источники и первоисточники
Read the original source ↗

Комментарии (0)
Комментариев пока нет. Начните обсуждение.
Написать комментарий
Комментарии публикуются после модерации. Ваше имя и комментарий будут видны всем. Аккаунт