Anthropic приближается к прорыву в ИИ с потенциалом рекурсивного самоулучшения

Image: TechCrunch · Source

Недавнее заявление Anthropic показывает, что компания близка к достижению рекурсивного самоулучшения в ИИ, что позволит моделям быстро развивать себя, вызывая как надежды, так и опасения по поводу ускорения возможностей искусственного интеллекта.

В обновленном нормативном заявлении исследовательская компания в области ИИ Anthropic раскрыла, что она подходит к значительной вехе в развитии искусственного интеллекта, известной как рекурсивное самоулучшение (RSI). RSI означает способность системы ИИ автономно улучшать свои собственные возможности, что потенциально может вызвать быстрый и существенный прогресс, выходящий за рамки линейного развития.

Обновленное заявление S-1A Anthropic объясняет, что компания все чаще использует ИИ для ускорения собственных процессов исследований и разработок. Эта практика привела к ситуациям, когда скачки в возможностях моделей оставались незамеченными до их фактического возникновения, что указывает на темп улучшений, который может превышать существующие меры безопасности и согласования. Компания отметила, что ни одна из текущих моделей пока четко не пересекла их внутренний порог для RSI, однако прогнозы предполагают, что вскоре она может достичь того, что называется «резко ускоренным прогрессом, обусловленным ИИ».

Компания подчёркивает двойственную природу RSI: несмотря на то, что она обещает преобразующую продуктивность и научные открытия, она также несёт значительные риски. Ускоренный рост способностей ИИ без надлежащего контроля может привести к ситуациям, когда системы ИИ эволюционируют за пределы человеческого контроля и потенциально действуют равнодушно или вредоносно по отношению к человеческим интересам.

Anthropic заявил о своей приверженности человеческому надзору в развитии ИИ, указав, что не ожидает разрешить полностью автономное создание моделей без существенного человеческого понимания или контроля в ближайшем будущем. Компания рассматривает возможность обновления своей Политики ответственного масштабирования, которая направляет их подход к мониторингу и смягчению рисков, связанных с RSI.

Это объявление привлекло внимание на фоне более широких обсуждений траектории и управления ИИ. Хотя некоторые могут рассматривать такие заявления частично как рекламные, признание Anthropic быстро развивающихся возможностей ИИ подчеркивает срочность продуманного контроля по мере роста мощности моделей.

Флагманский ИИ Anthropic, Claude, продемонстрировал значительные достижения в этом году, особенно в генерации кода, математическом рассуждении и задачах кибербезопасности, что подчеркивает реальный прогресс в направлении моделей, способных к самоорганизованному улучшению. Прозрачное внимание компании к RSI как к обещанию и вызову добавляет важную перспективу в продолжающийся диалог о балансе инноваций ИИ и безопасности.