Казахский язык готовят к эпохе ИИ: какие цифровые проекты разрабатывают учёные

Что произошло

Институт языкознания создаёт отечественного ИИ-помощника "Қазақ тілтанушысы" и разрабатывает интерактивную карту для поиска происхождения топонимов Казахстана. Об изменениях работы лингвистов с наступленем эры искусственного интеллекта рассказала на брифинге директор Института языкознания имени Ахмета Байтурсынулы Анар Фазылжан.

Теперь язык необходимо не только изучать, но и представлять в формате, понятном компьютерным системам.

200 миллионов словоупотреблений для обучения ИИ

Основой этой работы стал Национальный корпус казахского языка – электронная база, содержащая 200 миллионов словоупотреблений. Материалы распределили по 22 тематическим разделам. В них вошли образцы устной речи, научные и учебные тексты, термины, географические названия, интернет-контент и материалы, созданные искусственным интеллектом.

Каждое слово сопровождают дополнительными сведениями. Специалисты указывают его значение, происхождение, форму и контекст употребления. Такие данные помогают ИИ лучше понимать казахский язык и строить естественные фразы.

Анар Фазылжан также рассказала, что раньше примеры употребления слов приходилось вручную искать в бумажной картотеке, насчитывающей около 4,5 миллиона карточек. Теперь необходимые сведения можно получить за несколько секунд.

Собственный ИИ-помощник

На основе собранных материалов учёные предлагают создать отечественную ИИ-систему "Қазақ тілтанушысы" – "Исследователь казахского языка". Она сможет отвечать на вопросы о казахском языке, исправлять ошибки и помогать пользователям работать с текстами.

Такой помощник, как считают специалисты, может пригодиться учителям, студентам, журналистам и переводчикам. В дальнейшем языковые данные планируют использовать при разработке других казахоязычных цифровых сервисов.

Почему тексты ИИ нужно проверять

Учёные намерены изучать не только возможности искусственного интеллекта, но и качество созданных им текстов. По словам Анар Фазылжан, сгенерированный текст пока можно отличить от живой речи. В нём часто встречаются кальки и конструкции, нехарактерные для казахского языка.

Чтобы исследовать эту проблему, институт создал отдельную электронную базу текстов, написанных искусственным интеллектом. Она поможет сравнивать машинный и живой язык. Главная цель учёных – увеличить объём качественных цифровых материалов на казахском языке.

Сейчас казахский всё ещё относят к языкам с недостаточным объёмом данных. Но, по оценке Анар Фазылжан, он уже приближается к категории языков со средним объёмом цифровых ресурсов.

Какие сервисы уже работают

Институт разработал более 30 цифровых ресурсов. Среди них:

• электронные словари;
• программы для проверки орфографии, пунктуации и стилистики;
• сервис для поиска синонимов;
• база терминов из казахоязычных школьных учебников;
• программа распознавания текста, которая переводит документы из PDF в редактируемый формат;
• электронная лингвистическая библиотека. 

В цифровой формат также перевели картотеку института, состоящую из 4,5 миллиона бумажных карточек.

Названия городов, рек и гор нанесут на карту

Ещё один проект института связан с географическими названиями Казахстана. Учёные хотят создать интерактивную карту, на которой можно будет узнать происхождение названий городов, сёл, рек, озёр и гор. Основой проекта станет ономастический подкорпус – цифровая база собственных имён. Сейчас в ней содержится около трёх тысяч названий и 15 тысяч примеров их употребления в текстах.

"Мы хотим превратить существующую базу в полноценную лингво-географическую платформу. Человек сможет не просто найти нужное название, а сразу увидеть его на карте и получить связанную с ним языковую, историческую и культурную информацию. Такая платформа может быть полезна исследователям, историкам, географам, специалистам по туризму и всем, кто интересуется историей Казахстана", – рассказал сотрудник института Арлен Сейтбаткал.

Для каждого названия специалисты указывают правильное написание, происхождение и значение, а также связанные с ним исторические и культурные сведения. 

Как будет работать цифровая карта

Пользователь сможет ввести слово и увидеть связанные с ним названия. Например, поиск по слову "тау" – "гора" – покажет Актау, Алатау, Каратау и Келиншектау. По запросу "су" – "вода" – появятся Аксу, Карасу и другие топонимы.

Также люди смогут отдельно искать названия рек, озёр, гор и населённых пунктов, сравнивать современные и старые карты и узнавать, как менялись названия конкретных объектов.