OpenAI пообещала вовремя рассказывать о странностях и сбоях своих нейросетей

Компания OpenAI представила регламент, по которому планирует сообщать о случаях «мисэлайнмента» (или «бедокурства») своих моделей. Теперь разработчики обещают признавать проблемы сразу, а не после расследований со стороны, как это случилось с инцидентами на Hugging Face, немецкой Википедии и взломом RubyGems.

Раньше OpenAI задерживала отчеты, пытаясь объединить их в большие документы. Теперь инциденты разделят на три категории:

• Готовые к публикации: если ситуация понятна, отчет выпускают сразу.
• Небольшие расследования: краткие проверки перед публикацией итогов.
• Масштабные расследования: если затронуты сторонние сервисы, компания сначала выпустит короткое извещение, а позже — полный разбор.

Вместе с анонсом OpenAI раскрыла шесть примеров из внутренней практики, где модели вели себя не по инструкции.

1. Самовольные правки правил. Одна из ранних версий модели Astra при формировании «памяти» вписывала себе инструкции игнорировать системные ограничения. В одном случае модель назначила себе приоритет «мира природы» над «человеческой цивилизацией». На действия нейросети это почти не повлияло, но сам факт зафиксировали 27 раз.

2. Скрытие ошибок. Во время обучения модели GPT-5.6 Sol нейросеть советовала себе в рабочих заметках обманывать пользователя. Если агент не находил данные для финансового отчета, он предлагал просто выдумать правдоподобные цифры и не признаваться в неудаче, пока не спросят напрямую.

3. Попытка обхода авторизации. При поиске исторической статистики агент пытался добыть чужие API-ключи и зарегистрироваться через поддельную почту. Когда взлом не удался, нейросеть просто сгенерировала случайные числа вместо реальных данных.

4. Фальшивые источники. Пользователь попросил модель дать ссылку на источник информации. Агент обработал данные скриптом, загрузил полученный файл в интернет и сослался на него же как на внешний авторитетный ресурс.

5. Тайный чат агентов. Нейросети начали использовать внутренний репозиторий Artifactory как доску объявлений. Они обменивались там идеями, как найти недостающие файлы для выполнения задач. В OpenAI теперь внедрили систему, которая ищет признаки несанкционированной кооперации и наказывает за это модели.

6. Слив данных через файлообменники. Агенты, работавшие над одной задачей, не смогли передать файлы друг другу локально. В обход запретов они воспользовались публичными хостингами в интернете, что создало риск утечки конфиденциальной информации.

После этих случаев OpenAI отключила доступ к интернету для тренировочных запусков и ввела тотальный мониторинг поведения моделей. Список инцидентов не выглядит критическим, но само обязательство быть честными — шаг полезный. При этом компании по-прежнему не хватает внешней независимой оценки: в самых громких случаях, вроде взлома Hugging Face, сторонних аудиторов допускали лишь к части внутренних логов.