Алиса на базе нейросети YandexGPT стала лучше понимать пользователей с особенностями речи

Пользователям с особенностями речи стало проще общаться с Алисой. Виртуальный ассистент Яндекса значительно улучшил свои способности к распознаванию голосовых запросов от людей с различными речевыми нарушениями, такими как заикание, ДЦП, последствия инсульта или травмы. Эти улучшения стали возможны благодаря дополнительному обучению нейросети, лежащей в основе Алисы.

Дообучение нейросети

Процесс дообучения включал анализ сотен тысяч аудиозаписей, которые были подготовлены людьми с особенностями речи. Яндекс привлек этих людей к открытому тестированию качества распознавания речи, сотрудничая с различными партнёрскими организациями. В результате таких усилий разрыв между точностью распознавания обычной речи и речи с нарушениями сократился в среднем на 20%. Для оценки качества распознавания использовалась метрика Word Error Rate (WER), которая показывает долю неправильно понятых слов.

Участники проекта

В проекте приняли участие несколько некоммерческих организаций, таких как «Центр лечебной педагогики», «Живи сейчас», «Жизненный путь», «Весна», «Перспектива», «Лучшие друзья» и другие. Подопечные этих организаций, а также другие участники тестирования записали более 855 тысяч скороговорок и фрагментов обычной речи, что в сумме составило более 900 часов аудиоматериалов. Специалисты-дефектологи из МГПУ помогли классифицировать примеры по типам нарушений. В проекте участвовало более 300 человек. Подробнее об этом проекте можно узнать на Хабре.

Другие инклюзивные проекты Яндекса

Этот проект — не первая инициатива Яндекса, направленная на адаптацию виртуального ассистента для людей с особыми потребностями. Недавно в Москве прошла презентация инклюзивных навыков Алисы, разработанных студентами. Мобильное приложение «Дом с Алисой» (для Android и для iPhone) уже поддерживает работу с программой экранного доступа, которая зачитывает вслух содержимое экрана, помогая людям с нарушениями зрения взаимодействовать с интерфейсом.

Инклюзия и цифровая доступность являются одними из ключевых направлений социальных проектов Яндекса. Для незрячих пользователей адаптировано 15 сервисов и продуктов, включая Поиск, Яндекс.Браузер, Яндекс Музыку, Букмейт и другие. На Кинопоиске доступны фильмы с тифлокомментариями и SDH-субтитрами, а в приложении Go предусмотрены специальные возможности для людей с особыми потребностями. Например, пользователи могут выбрать опции «Общаюсь только текстом», «Не говорю, но слышу», «Перевозка собаки-проводника», «Буду на инвалидном кресле» или «Помогите найти машину».

Об Алисе

Алиса — это виртуальный ассистент Яндекса, способный отвечать на вопросы, подбирать музыку, помогать в повседневных делах и управлять умным домом. У неё есть свой характер и чувство юмора, она может поддержать разговор, придумать слоган или сказку. Основой работы виртуального ассистента является мощная нейронная сеть YandexGPT. Алиса доступна в умных устройствах, приложениях и сервисах Яндекса, в чате для работы с текстом на a.ya.ru и в устройствах партнёров.

Усовершенствования Алисы делают её доступнее для большего числа пользователей, включая тех, кто ранее испытывал трудности с голосовым взаимодействием из-за особенностей речи. Это важный шаг к созданию более инклюзивного и доступного цифрового пространства.