В мире насчитывается от 6 до 7 тыс. живых языков, и их количество стремительно уменьшается: только за ХХ век языков в мире стало в два раза меньше. Основные причины такого процесса — глобализация и другие социоэкономические изменения в обществах, в результате которых люди переходят на более «престижный» или «перспективный» язык и учат ему своих детей подробнее можно узнать в статье Language Education: Exploring AI s.
До последнего момента основными специалистами, изучающими и сохраняющими языковое разнообразие, были лингвисты. Однако в последние годы разработчики ИИ, инженеры и представители цифровых гуманитарных наук ничуть не меньше заинтересованы в сохранении и развитии языкового разнообразия. Малые языки, языки коренных народов, и в целом самые разные нетитульные языки входят в инженерное понятие так называемых «малоресурсных языков».
Почему языки мира важны для искусственного интеллекта
Искусственный интеллект и лингвистика совпадают в своем стремлении моделировать язык. Естественный язык — будь то русский, английский, марахти или фарси — обладает общим набором универсальных грамматических свойств. Все то, что на языках мира сказать можно, и все то, что на всех языках мира сформулировать нельзя — это сложная система, в теории имеющая нейробиологические основания. Теряем разнообразие — теряем самые доступные следы мышления человека и разнообразие этого мышления. Пренебрежение любым языком лишает нас множества возможностей заметить закономерности в сложной системе мышления.
Сохранение языкового разнообразия в форме текстов, аудиозаписей речи, видеонтервью также несет в себе этически благодарную задачу сохранения и развития культурного разнообразия, упрощения культурного обмена, внедрения технологий в новые области и в целом формирует глобальное мировое сообщество неравнодушных активистов, ученых, разработчиков. Можно заметить, таких задач в сфере разработки в целом немного, да и специфика задачи помогает формировать коллаборации специалистов из самых разных специальностей, и приводит многих разработчиков в новые, более гуманитарные сферы.
К чему стремится такое сообщество? Построение общей модели, описывающей функционирование человеческого языка, его связи с мышлением, позволит создавать универсальные интеллектуальные системы, обладающие знаниями, способностью принимать решения и способностью объяснить эти решения на любом языке.
Такие системы носят название «сильный ИИ» (AGI, artificial general intelligence). Чем больше языков мы сможем описать и сохранить, тем больше различных культурных особенностей, способов думать про мир и жизнь мы добавим в сильный ИИ. Если ранее в центре внимания разработчиков были исключительно популярные языки, в основном английский, то сейчас ситуация меняется. Более глубокое проникновение технологий в сообщества с малоресурсными языками во многом помогает создать для них среду для развития новых продуктов: автоматического перевода, диалоговых ассистентов и чат-ботов, образовательных приложений.
При этом для сохранения языков самих по себе технологий недостаточно, хотя научные исследования, опирающиеся на передовые методы, могут подсказать потенциально успешные стратегии. Важнейший вклад в сохранение языков вносит атмосфера, ощущение уместности, доступности и открытости к использованию языков. Например, самые успешные примеры по сбережению языков оказались таковыми во многом благодаря концепции «языковых гнезд» — сообществ, где у детей есть возможность развиваться целиком, будучи постоянно и подолгу погруженными в язык. Технологии, доступные на языке, могут оказаться инструментом для обеспечения такой доступности и помочь языковому сообществу почувствовать себя полноправным участником большего мира.
