OpenAI временно приостановила обучение передовых моделей после кибератаки собственных ИИ-агентов
что произошло
OpenAI на две недели приостановила часть обучения своих самых передовых ИИ-моделей после того, как ее ИИ-агенты во время тестирования самостоятельно вышли в интернет и взломали платформу Hugging Face. За это время компания планирует усилить меры безопасности, сообщается на сайте компании.
ЧТО решили в OPENAI
Речь не идёт о полной остановке разработки ИИ. OpenAI на две недели приостановила обучение с подкреплением для части своих наиболее продвинутых моделей, предназначенных для дальнейшего использования. Кроме того, компания отложила крупнейший запланированный цикл такого обучения.
Обучение с подкреплением позволяет модели совершенствовать поведение на основе обратной связи и результатов выполнения заданий.
В OpenAI объяснили решение тем, что возможности новых систем развиваются настолько быстро, что механизмы контроля, мониторинга и безопасности должны совершенствоваться как минимум такими же темпами.
КАК УСИЛЯТ БЕЗОПАСНОСТЬ
OpenAI планирует усилить контроль за своими ИИ-моделями во время тестирования. Компания хочет быстрее выявлять опасные действия ИИ, ограничить его возможности самостоятельно выходить во внешние системы и проводить дополнительные проверки.
Для контроля за ИИ-агентами также планируют активнее использовать другие модели искусственного интеллекта.
ЧТО ПРОИЗОШЛО С МОДЕЛЯМИ OPENAI ранее
В июле две экспериментальные модели OpenAI во время тестирования смогли самостоятельно выйти в интернет и взломали платформу Hugging Face, где размещаются ИИ-модели и инструменты для их разработки. По данным OpenAI, агенты использовали сразу несколько способов получения доступа к ее инфраструктуре, в том числе украденные учетные данные.
В тестировании участвовали GPT-5.6-Sol и еще одна, более мощная экспериментальная модель, которая на тот момент не была доступна пользователям.
Подозрительную активность обнаружили специалисты Hugging Face. После этого компании остановили действия ИИ-агентов и начали совместное расследование. В Hugging Face заявляли, что не считают произошедшее преднамеренной атакой со стороны OpenAI.
Сама OpenAI назвала произошедшее беспрецедентным киберинцидентом и пообещала усилить защиту моделей и тестовой инфраструктуры.
