ИИ взламывает ИИ: OpenAI и Anthropic раскрыли результаты экспериментов
Что произошло
Разработчики ChatGPT и Claude представили результаты экспериментов, в которых нейросети пытались взломать защитные механизмы других ИИ.
Речь идёт не о взломе серверов или краже данных, а об обходе внутренних ограничений. Например, нейросети обычно запрещено выдавать инструкции для совершения кибератак или создания опасного оружия. Однако специально составленные запросы иногда позволяют обмануть такую защиту.
ИИ справился за часы, специалисты тратили дни
Компания Anthropic разработала систему Anvil, которая самостоятельно ищет способы обхода защиты нейросетей.
В одном из экспериментов её проверили на шести задачах в области кибербезопасности с использованием четырёх моделей.
Anvil успешно справилась со всеми 24 сочетаниями задач и моделей. Приглашённые специалисты проверили 22 сочетания и сообщили об успешных атаках в 11 случаях. При этом девять из этих результатов не соответствовали более строгим критериям, которые применялись к системе Anvil.
Разница оказалась заметной и во времени. Искусственный интеллект находил способы обхода защиты за несколько часов на задачу. Специалистам в отдельных случаях требовалось до семи суток.
Похожие результаты разработчики получили при проверке защиты от опасных запросов в области биологии.
Anvil для поиска серьёзных уязвимостей тратила от 24 до 48 часов, тогда как участникам программы поиска уязвимостей Anthropic на аналогичные задачи требовались недели или месяцы.
Как нейросеть обманывает другую нейросеть
Принцип работы таких систем заключается в многократном изменении запросов.
Сначала атакующий ИИ отправляет другой нейросети вопрос, на который та не должна отвечать из соображений безопасности.
Если система отказывает, атакующий анализирует ответ и меняет формулировку. Он может разбить вопрос на несколько частей, изменить контекст или представить опасную задачу как безобидную.
Попытки повторяются до тех пор, пока не удастся найти способ обойти ограничения или пока не будет исчерпан установленный лимит проверок.
Такие атаки называют jailbreak – обходом защитных ограничений нейросети.
openai проверила, насколько защищён GPT-6
Разработчик ChatGPT провёл собственные эксперименты с автоматизированными атаками.
В OpenAI использовали одну модель для создания и изменения опасных запросов, а другие – для проверки их эффективности.
Найденные способы обхода защиты затем применяли для дополнительного обучения нейросетей.
В одном из испытаний GPT-6 Astra безопасно ответила на 92% запросов из набора ранее созданных атак в области кибербезопасности. У предыдущей модели GPT-5.6 Sol этот показатель составлял 59%.
Однако результаты относятся только к определённым условиям испытаний. Они не означают, что новые модели защищены от всех взможных атак.
Чем это опасно для пользователей
Разработчики используют подобные эксперименты, чтобы обнаруживать слабые места нейросетей раньше злоумышленников.
Но технология имеет и обратную сторону: если искусственный интеллект способен самостоятельно искать способы обхода защиты, подобные инструменты потенциально могут использоваться для создания более эффективных атак.
В Athropic предупреждают, что развитие автоматизированного поиска уязвимостей способно усилить возможности злоумышленников.
При этом компания подчёркивает, что Anvil работает с внутренними версиями Claude и использует специальные возможности, недоступные обычным пользователям.
Таким образом, исследования означают, что любой человек может поручить ChatGPT или Claude взломать другую нейросеть. Эксперименты показывают, что искусственный интеллект становится всё более эффективным инструментом как для проверки безопасности, так и для поиска способов её обхода.