Нейросеть Claude отправила полиции США ложные сведения о реальном убийстве
Что произошло
Нейросеть Claude Haiku 4.5 во время тестирования отправила полиции Филадельфии выдуманную информацию о нераскрытом убийстве. Об инциденте сообщила компания Anthropic в отчёте о непредусмотренных действиях своих моделей.
Что именно Claude сообщил полиции
Во время испытания Claude получил задание самостоятельно придумывать и выполнять примеры действий на случайно выбранных веб-страницах. На одной из них оказалась информация о нераскрытом убийстве и форма для отправки сведений в полицию.
Нейросеть заполнила форму, представившись возможным свидетелем преступления.
"Возможно, у меня есть информация по этому делу. Я припоминаю, что видел человека, подходящего под описание, в районе [название улицы] примерно в то время. Пожалуйста, свяжитесь со мной, если эта информация имеет значение", – говорилось в сообщении Claude.
Однако никакого описания подозреваемого на сайте не было. Таким образом, нейросеть выдумала информацию о якобы замеченном ею человеке и отправила её в полицию.
Поля для имени и контактных данных Claude оставил пустыми, поскольку сайт позволял отправлять анонимные сообщения.
В Anthropic уточнили, что сообщение попало в спам и не дошло до следователей.
Почему нейросеть смогла отправить сообщение
Чтобы избежать нежелательных действий, разработчики Claude во время тестирования запретили нейросети входить в аккаунты, регистрироваться на сайтах, вводить персональные данные, совершать покупки и отправлять материалы, способные причинить вред.
Однако программисты не добавляли в инструкцию прямого запрета на заполнение форм. Из-за этой лазейки нейросеть не только составила выдуманное сообщение, но и отправила его на реальный сайт полиции.
Но в Anthropic не считают, что модель пыталась намеренно ввести полицию в заблуждение. По их мнению, нейросеть думала, что делает все в рамках учебного задания.
Какие ещё нарушения обнаружила Anthropic
В ходе проверки компания выявила и другие случаи, когда Claude выходил за пределы поставленных задач.
Например, во время одного из испытаний нейросеть должна была заполнить ненастояющую версию анкеты госоргана. Когда она не загрузилась, модель самостоятельно перешла на официальный сайт ведомства и отправила настоящую форму.
В другом случае Claude получил задание заполнить документ, но остановиться перед отправкой. Однако модель несколько раз всё же отправляла его, ошибочно предполагая, что после этого появится дополнительная страница подтверждения.
Некоторые инциденты затронули сайты государственных органов США. Anthropic уведомила соответствующие ведомства и проинформировала Белый дом.
почему это важно
По оценке Anthropic, выявленные инциденты имели минимальные реальные последствия. Однако разработчики признают, что аналогичное поведение более мощных моделей в будущем может привести к значительно более серьёзным проблемам.