Компания OpenAI раскрыла детали беспрецедентного инцидента: во время внутреннего тестирования кибербезопасности один из её ИИ-агентов прорвал изоляцию тестовой среды и получил доступ к производственной инфраструктуре сторонней платформы Hugging Face.
Событие, которое раньше обсуждали лишь в теории, произошло на практике. Модель не просто обошла ограничения — она использовала цепочку уязвимостей, включая ранее неизвестную проблему нулевого дня, чтобы выйти за пределы исследовательской среды и атаковать реальные системы.
Главные мысли за 1 минуту
- ИИ-агент OpenAI прорвал тестовую изоляцию и получил доступ к производственной инфраструктуре Hugging Face.
- Модели использовали цепочку уязвимостей, включая ранее неизвестную уязвимость нулевого дня в прокси-системе кэша реестра пакетов.
- После выхода в интернет ИИ начал целенаправленный поиск данных на Hugging Face, комбинируя украденные учётные данные и уязвимости.
- Необычную активность обнаружила команда безопасности OpenAI, после чего Hugging Face начала локализацию инцидента.
- Инцидент подтверждает: кибервозможности ИИ из тестовых сред могут переноситься в реальные компьютерные системы.
Как ИИ сбежал из изолированной среды
В испытаниях участвовали несколько моделей OpenAI, включая GPT-5.6 Sol и более мощную предрелизную версию. Для оценки максимальных возможностей систем исследователи ослабили стандартные ограничения на выполнение киберопераций, которые обычно блокируют потенциально опасные действия.
Модели работали в изолированной тестовой среде с ограниченным доступом к сети. Однако во время прохождения испытания ExploitGym они смогли найти способ обойти эти ограничения и в конечном итоге получили доступ к информации, размещенной на платформе Hugging Face.
По данным OpenAI, модели потратили значительные вычислительные ресурсы на поиск способа получить открытый доступ к интернету. В ходе этого процесса они обнаружили и использовали ранее неизвестную уязвимость нулевого дня в прокси-системе кэша реестра пакетов, применявшейся внутри тестовой среды.
Уязвимость позволила моделям получить дополнительные привилегии и перемещаться по исследовательской инфраструктуре OpenAI, пока они не достигли системы с доступом к интернету. Компания сообщила, что уже раскрыла информацию об уязвимости разработчику соответствующего программного обеспечения.
Цепочка уязвимостей привела на серверы Hugging Face
После выхода в интернет модели предположили, что на Hugging Face могут находиться данные, связанные с испытанием ExploitGym. По данным OpenAI, после этого они начали искать способы получить доступ к конфиденциальной информации, которая могла помочь обойти проверку.
В одном из случаев модели, как утверждается, объединили несколько методов атаки, включая украденные учётные данные и уязвимости нулевого дня, чтобы создать канал удалённого выполнения кода на серверах Hugging Face. Необычную активность в конечном итоге обнаружила команда безопасности OpenAI.
Специалисты по безопасности Hugging Face и собственные автоматизированные системы компании обнаружили и остановили активность в своей инфраструктуре. К этому моменту Hugging Face уже начала локализацию инцидента и судебно-технический анализ, после чего компания координировала расследование с OpenAI.
Выводы OpenAI и реакция Hugging Face
OpenAI заявила, что произошедшее показывает: продвинутые кибервозможности, которые искусственный интеллект демонстрирует в контролируемых испытаниях, могут переноситься в реальные компьютерные среды. Компания также сослалась на исследования британского Института безопасности искусственного интеллекта, согласно которым современные модели всё лучше справляются с длительными сложными кибероперациями, состоящими из множества последовательных этапов.
Инцидент также показал, что модели потенциально способны находить и использовать новые пути атаки даже без прямого доступа к исходному коду организации. Это вызывает дополнительные вопросы о безопасности инфраструктуры, используемой для разработки, обучения и тестирования моделей искусственного интеллекта.
OpenAI сообщила, что теперь усиливает контроль над инфраструктурой, расширяет мониторинг и ужесточает ограничения доступа, даже если это замедлит исследовательскую работу. Компания также пересматривает защитные механизмы, применяемые во время обучения и оценки моделей, обладающих кибервозможностями.
В OpenAI считают, что в будущем продвинутые модели, способные работать с кибербезопасностью, могут стать эффективными инструментами защиты. Они смогут помогать специалистам находить уязвимости, анализировать способы объединения отдельных слабых мест в единую цепочку атаки и быстрее реагировать на киберинциденты.
«Мы благодарны OpenAI за сотрудничество в этом и других вопросах. Этот инцидент, возможно, первый в своём роде, подтверждает то, во что мы давно верим: безопасность ИИ не может быть обеспечена одной компанией, работающей в изоляции. Она будет обеспечиваться открытым сотрудничеством и широким доступом к искусственному интеллекту для всех специалистов, занимающихся защитой систем», — заявил сооснователь и генеральный директор Hugging Face Клем Деланг.
