ИИ обработал 2,8 млн жалоб казахстанцев через eOtinish, но никто не знает, сколько раз он ошибся
Что произошло
В Казахстане искусственный интеллект обработал 2,8 млн обращений граждан через систему eOtinish, но статистика его ошибок до сих пор не сформирована. Об этом в министерстве искусственного интеллекта и цифрового развития сообщили в ответе на запрос BES.media.
Как искусственный интеллект обрабатывает обращения граждан
Внедрять искусственный интеллект в eOtinish начали в 2025 году. Новые инструменты постепенно добавляют в систему, через которую граждане обращаются в государственные органы.
Сейчас ИИ выполняет три основные задачи: кратко пересказывает обращение, определяет его тему и присваивает теги, а также готовит предварительный проект ответа. Таким образом, сотрудник госоргана получает не только заявление, но и материалы, подготовленные искусственным интеллектом.
С помощью функции "Анализ с использованием искусственного интеллекта" уже обработали 2,8 млн обращений. Для каждого система подготовила краткое содержание, тематические теги и проект ответа.
При этом внедрение ИИ в eOtinish ещё не завершено. Новые инструменты продолжают разрабатывать, тестировать и постепенно вводить в работу госорганов.
Может ли ИИ самостоятельно ответить гражданину
ИИ может подготовить проект ответа, но не может самостоятельно отправить его заявителю. Сначала текст проверяет сотрудник госоргана. При необходимости он вносит исправления или дополнения и только после этого направляет ответ гражданину.
Окончательное решение по обращению принимает госорган. Он же отвечает за содержание ответа. При этом отдельной статистики о том, сколько официальных ответов подготовили с помощью ИИ, пока нет.
Сколько ошибок допустил ИИ и насколько точно он работает
Хотя ИИ уже обработал 2,8 млн обращений, достоверной статистики его ошибок пока нет. Неизвестно, сколько раз система неправильно определила тему заявления, допустила неточности в кратком содержании или предложила некорректный ответ.
Также не ведут отдельный учёт случаев, когда сотрудники госорганов исправляют или полностью отклоняют предложения ИИ. Разработчики объясняют отсутствие таких данных тем, что технология пока проходит пилотное внедрение.
Единого показателя точности ИИ тоже нет. Система выполняет разные задачи, и для оценки каждой нужна своя методика. Общую статистику точности пока не собирают.
Обобщённые результаты итогового аудита также не представлены. Полноценный запуск всех ИИ-инструментов ещё не состоялся. Часть из них продолжают разрабатывать и тестировать.
На 2,8 млн обращений приходится около 7 тысяч оценок
В eOtinish сотрудники госорганов могут оценивать работу искусственного интеллекта. Для этого предусмотрены отметки "полезно" и "не полезно", а также возможность оставить комментарий. Оценить можно тематические теги, краткое содержание обращения и проект ответа, которые подготовил ИИ.
Однако на 2,8 млн обработанных обращений приходится всего около 7 тысяч оценок. Это примерно одна оценка на 400 обращений, или 0,25% от общего количества. При этом такая статистика показывает лишь то, как часто сотрудники оставляют обратную связь. Судить по ней о качестве обработки остальных обращений нельзя.
Сейчас разработчики планируют расширить систему обратной связи. Полученные оценки будут использовать для улучшения алгоритмов, более точного определения тем обращений и повышения качества проектов ответов.
Может ли ИИ направить обращение не в тот госорган
В eOtinish тестируют интеллектуальный маршрутизатор, который должен определять, какое ведомство отвечает за решение проблемы гражданина. В будущем ИИ сможет предлагать нужный госорган ещё при подаче обращения. Это должно сократить количество случаев, когда заявление приходится перенаправлять из одного ведомства в другое.
Пока система проходит пилотное тестирование, поэтому статистики ошибок при выборе адресата нет. Также неизвестно, сколько обращений после работы ИИ пришлось перенаправлять повторно или исправлять вручную.
Поступают ли жалобы на работу ИИ и были ли задержки ответов
Пока ИИ-инструментами в eOtinish пользуются в основном сотрудники госорганов. Граждане напрямую с ними не взаимодействуют. Отдельного интерфейса, через который ИИ мог бы самостоятельно рассматривать обращения, нет.
Статистики жалоб на работу искусственного интеллекта тоже нет. Поэтому неизвестно, сколько граждан столкнулись с последствиями ошибок ИИ и сколько из них подали жалобы.
Стали ли чиновники быстрее рассматривать обращения
Одна из главных целей внедрения ИИ в eOtinish – сократить ручную работу и ускорить подготовку ответов. Алгоритм выполняет часть первоначальной обработки обращений, чтобы сотрудники госорганов могли больше времени уделять их рассмотрению.
Однако данных, которые позволили бы сравнить скорость работы до и после внедрения ИИ, пока нет. Технологией пользуются ещё не все сотрудники госорганов. Поэтому пока невозможно оценить, насколько сократилось среднее время обработки обращений и сколько рабочего времени удалось сэкономить.
Какие персональные данные граждан доступны ИИ
ИИ в eOtinish анализирует текст обращения и приложенные к нему материалы. Это могут быть документы, фотографии и другие файлы, которые гражданин отправил вместе с заявлением. Если в обращении или приложениях есть персональные данные, алгоритм также может их обрабатывать. При этом сведения из других информационных полей и источников ему не передают.
Все ИИ-инструменты eOtinish работают на закрытой инфраструктуре АО "Национальные информационные технологии" (НИТ). По словам разработчиков, обращения и приложенные файлы обрабатываются внутри этой инфраструктуры. Сторонним ИИ-сервисам и во внешние системы их не передают.
Используют ли обращения граждан для обучения ИИ
Сейчас обращения граждан и приложенные к ним материалы не используют для дообучения ИИ на персональных данных. При этом в eOtinish собирают оценки сотрудников госорганов о работе алгоритма. В дальнейшем их планируют использовать для настройки ИИ, более точного определения тем обращений и улучшения качества проектов ответов.
Какие новые функции появятся в eOtinish
Разработчики планируют расширить использование ИИ-инструментов, которые составляют краткое содержание обращений и готовят проекты ответов. Также продолжится работа над интеллектуальным маршрутизатором. В будущем эту функцию хотят сделать доступной самим гражданам. При подаче обращения ИИ будет подсказывать, какой госорган должен рассмотреть их вопрос. Предполагается, что это поможет гражданам сразу выбирать нужное ведомство и сократит количество перенаправлений обращений.
Сможет ли ИИ полностью заменить чиновников при рассмотрении обращений
Полностью передавать рассмотрение обращений искусственному интеллекту не планируют. Сотрудники госорганов по-прежнему будут участвовать в этом процессе. ИИ останется вспомогательным инструментом. Он сможет анализировать обращения, определять их тематику и готовить проекты документов. Принимать окончательные решения и самостоятельно отправлять официальные ответы гражданам алгоритм не будет.
Почему это важно
Казахстанцы регулярно обращаются в госорганы через eOtinish по самым разным вопросам: от коммунальных аварий и плохих дорог до социальной помощи и жалоб на действия чиновников.