OpenAI временно приостановила обучение передовых моделей после кибератаки собственных ИИ-агентов

что произошло

OpenAI решила замедлить разработку наиболее продвинутых моделей искусственного интеллекта из-за растущих рисков, связанных с их возможностями. Компания временно приостановила часть обучения и пересматривает подходы к мониторингу и безопасности. 

ПОЧЕМУ OPENAI РЕШИЛА ПРИТОРМОЗИТЬ РАЗРАБОТКУ

Одной из причин стал инцидент с Hugging Face. Во время внутренней проверки ИИ-агенты OpenAI смогли выйти за пределы изолированной тестовой среды и получить доступ в интернет, воспользовавшись ранее неизвестной уязвимостью. В результате они получили несанкционированный доступ к инфраструктуре Hugging Face. 

В OpenAI назвали произошедшее серьезным инцидентом и начали расследование с участием внешних консультантов и комитета компании по безопасности. При этом компания уточнила, что модель, участвовавшая в инциденте, была внутренним исследовательским прототипом и не предназначалась для публичного выпуска. 

ЧТО ИМЕННО ПРИОСТАНОВИЛА OPENAI

Речь не идёт о полной остановке разработки ИИ. OpenAI на две недели приостановила обучение с подкреплением для части своих наиболее продвинутых моделей, предназначенных для дальнейшего использования. Кроме того, компания отложила крупнейший запланированный цикл такого обучения. 

Обучение с подкреплением позволяет модели совершенствовать поведение на основе обратной связи и результатов выполнения заданий.

В OpenAI объяснили решение тем, что возможности новых систем развиваются настолько быстро, что механизмы контроля, мониторинга и безопасности должны совершенствоваться как минимум такими же темпами. 

КАК УСИЛЯТ БЕЗОПАСНОСТЬ

Компания намерена расширить автоматизированный мониторинг поведения моделей во время испытаний, усилить изоляцию наиболее опасных задач и ограничивать доступ моделей к внешним системам. Для контроля за ИИ-агентами также планируют активнее использовать другие модели искусственного интеллекта. 

OpenAI планирует возобновлять приостановленные работы по мере выполнения новых требований безопасности.