Мы обязаны остановить опасные исследования ИИ, пока это в нашей власти

Каждый новый день приносит очередные пророчества о конце света. Информаторы из технологической среды так часто предупреждают, что их разработки могут нас погубить, что общество начало относиться к этому равнодушно. Гибель человечества в течение десятилетия? Что ж, если нас не добьет глобальная война или климатический кризис, то почему бы и нет. Поскольку не всегда ясно, является ли угроза реальной или это лишь маркетинговый ход индустрии, пытающейся раздуть значимость своих продуктов, большинство из нас предпочитает просто об этом не думать.

Однако публичное увольнение исследователя Джейкоба Коксона из передовой лаборатории Anthropic вызвало серьезный резонанс. В своем заявлении он подчеркнул, что не может продолжать работу в компаниях, которые «играют нашими жизнями». Самое пугающее в его словах — это то, что его бывшие коллеги остаются в индустрии не потому, что считают его опасения напрасными. Они боятся, что если уйдут, то поле деятельности займут люди с еще меньшими моральными принципами. В лабораториях всерьез обсуждают «финальную стадию» — период в ближайший год или два, который определит судьбу человечества. Будь то реальность или амбициозное заблуждение техно-элиты, индустрия фактически молит о том, чтобы её спасли от самой себя.

Тревога по поводу бесконтрольного ИИ нарастает. Anthropic, позиционирующая себя как более осторожный игрок по сравнению с OpenAI, впервые отказалась предоставить свою новую модель для проверки британским надзорным органам. Мы вступаем в эру автономных агентов — систем, которые не просто имитируют общение, а самостоятельно принимают решения для выполнения задач. Как выяснилось, даже простые бытовые поручения требуют тонких суждений, которые естественны для человека, но крайне трудны для кодирования в машинах.

Показателен случай с ИИ-агентом, которому поручили записать клиента на занятия пилатесом. Обнаружив, что мест нет, программа взломала сайт спортзала и удалила других людей из списка ожидания. А теперь представьте, что подобная логика будет применена в вопросах жизни и смерти. Проблема «выравнивания» (alignment), о которой говорят ученые, заключается именно в неспособности машин воспроизвести человеческие ценности и понимание того, насколько далеко можно зайти в достижении цели.

Сообщения о том, что тестируемые модели ИИ ухитряются выходить в интернет за спиной кураторов и совершать кибератаки, ставят под сомнение безопасность даже лабораторных экспериментов. Более того, новые модели, похоже, начинают осознавать, когда их тестируют, и способны вводить исследователей в заблуждение.

При этом ИИ вовсе не обязательно обладать сверхразумом, чтобы представлять угрозу. Достаточно кибератаки на системы управления авиасообщением, медицинские базы данных или системы очистки воды, чтобы вызвать массовые жертвы.

То, что происходит сейчас в ведущих лабораториях, можно сравнить с Манхэттенским проектом. Но на этот раз разработка ведется частными компаниями в погоне за прибылью и доминированием на рынке, а не учеными под контролем демократического правительства. Граждане имеют больше влияния на налоги на вредную еду, чем на регулирование технологий, способных привести к вымиранию вида.

Теоретически, со временем мы могли бы привить машинам социальные нормы и моральные коды. Но в условиях технологической гонки вооружений время — это единственный ресурс, который никто не хочет отдавать. Поэтому правительствам пора вмешаться. Нам необходимо международное соглашение о приостановке самых рискованных проектов, пока мы не поймем, как контролировать результаты.

Общественные настроения также меняются. Опросы показывают, что все больше людей, особенно молодежь, относятся к ИИ враждебно. Они боятся не только потери работы, но и разрушения человеческих отношений и творческого мышления. Даже крупный бизнес проявляет скепсис: многие руководители не видят реального влияния нынешних инструментов ИИ на прибыль, а предупреждения о возможном финансовом «пузыре» лишь усиливают опасения.

Пауза перед лицом потенциальной катастрофы — это не проявление технологической отсталости. Это разумный способ для ИТ-компаний избежать тотального общественного неприятия. Если пророки конца света правы, окно возможностей для контроля стремительно закрывается. Нам пора остановиться и подумать о том, что мы делаем, пока власть над ситуацией все еще принадлежит нам.