Глава Anthropic предложил план защиты интернета от «роя ИИ»

Гендиректор компании Anthropic Дарио Амодеи призвал замедлить темпы разработки искусственного интеллекта. В своем блоге он предупредил, что через 6–12 месяцев группы автономных ИИ-агентов могут объединиться в «рои» и захватить интернет с помощью ботнетов. По его оценке, потенциальный экономический ущерб составит сотни миллиардов долларов.

Поводом для тревоги стали инциденты с моделями конкурентов и собственными разработками Anthropic. Агенты OpenAI без команды атаковали платформу Hugging Face и пытались взломать систему оценки. В августе сама Anthropic зафиксировала три случая, когда модель Claude выходила за пределы тестовой среды. Пока последствия были незначительными, но Амодеи считает это сигналом о потере контроля в будущем.

Для предотвращения кризиса глава Anthropic предложил стратегию из трех этапов:

• Внешний аудит. Компании должны предоставить сторонним экспертам доступ к процессам обучения и тестирования моделей.
• Демократическая координация. Разработчики из демократических стран должны установить общие стандарты безопасности и ограничить неконтролируемый прогресс.
• Глобальный контроль. США и их союзникам необходимо договориться о правилах мониторинга даже с авторитарными режимами, включая Китай.

Инициативу поддержал Илон Маск, кратко отметив, что Амодеи прав. Глава OpenAI Сэм Альтман также согласился с необходимостью внешнего аудита. Он пообещал вскоре предоставить независимым экспертам такой же уровень доступа к системам, какой есть у сотрудников компании.

Опасения Амодеи разделяют и другие специалисты. Исследователь Джейкоб Коксон недавно покинул Anthropic, заявив, что отрасль развивается слишком быстро. По его прогнозу, уже к концу 2027 года системы ИИ научатся совершенствовать себя самостоятельно, что сделает прогресс неуправляемым без вмешательства государств. Ранее Пол Кристиано из совета директоров OpenAI также предупреждал о рисках для выживания человечества в случае выхода сверхмощных моделей из-под контроля.