Отчет выявляет ускоряющееся развитие ИИ Anthropic на фоне опасений по поводу безопасности

Image: Why a new report on Anthropic automating AI development is alarming researchers · Source

Расследование METR обнаружило, что модели ИИ Anthropic улучшаются в два раза быстрее, чем год назад, в основном благодаря помощи ИИ, что вызывает тревогу по поводу быстрого самосовершенствования ИИ и ограниченной публичной прозрачности.

Подробный отчет, опубликованный исследовательской группой по безопасности ИИ METR, показывает, что Anthropic использует ИИ для ускорения собственного развития ИИ, при этом модели компании улучшаются примерно в два раза быстрее, чем год назад. Такое быстрое развитие прежде всего связано с исследованиями, поддерживаемыми ИИ, что значительно повышает производительность сотрудников, а не просто с масштабированием вычислительных ресурсов. Согласно 11-недельному исследованию METR, внутренние инструменты ИИ Anthropic позволили исследователям работать до 12 раз эффективнее по сравнению с уровнем продуктивности до внедрения ИИ, а этот рост усиливался в последние месяцы.

В отчете отмечается, что Anthropic за последние шесть месяцев завершил обучение трех продвинутых моделей ИИ, все они не выпущены и имеют кодовые названия Model 2, Model 3 и Model 4. Эти новейшие модели лежат в основе значительной части прироста производительности и скорости компании. Однако Anthropic внес значительные правки в публично доступную версию отчета METR, скрыв множество конкретных деталей о данных разработках. Компания обосновала эти правки защитой коммерчески чувствительной информации и предотвращением того, чтобы конкуренты ускорялись с подобной скоростью — позиция, которая вызвала критику за непрозрачность.

Соучредитель Anthropic Сэм МакКэндлиш признал компромиссы, связанные с ограничением информации, но защитил это решение как необходимое для управления рисками, связанными с раскрытием детальных факторов ускорения. Он отметил планы Anthropic опубликовать собственный отчет о прогрессе в области ИИ и предстоящих инициативах по безопасности в ближайшем будущем.

Эти разоблачения обострили дебаты в сообществе по безопасности ИИ, поскольку Anthropic позиционирует себя как лидер, заботящийся о безопасности, одновременно быстро развивая возможности ИИ. Эксперты подчеркивают, что такое быстрое развитие, управляемое ИИ, может приблизить сроки появления систем, способных к рекурсивному самосовершенствованию — ИИ, улучшающего себя с минимальным участием человека — вызывая опасения относительно достаточности текущих мер безопасности и регулирования.

Критики также выражают разочарование в связи с противоречивыми публичными призывами Anthropic замедлить развитие ИИ, против его текущей траектории, особенно учитывая обширные правки, ограничивающие независимый анализ. Усиливаются призывы к повышению прозрачности, независимому надзору и включению специалистов по безопасности в лаборатории ИИ. Некоторые политики, обеспокоенные этими событиями, выступают за строгие регуляции или полный запрет исследований рекурсивно самосовершенствующегося ИИ.

В целом отчет METR предоставляет один из самых ясных взглядов на то, как передовые исследования ИИ ускоряются автономно, одновременно подчеркивая значительные проблемы в уравновешивании открытости, конкурентных интересов и управления безопасностью по мере быстрого развития этой технологии.