Исследователями под руководством Рона Кола (Ron Cole) из Университета Колорадо (University of Colorado, Boulder) создана компьютерная программа, способная помочь глухим детям научиться говорить и воспринимать речь посредством зрительного восприятия. Обучение проводит синтетический персонаж – анимированный инструктор по прозвищу Baldi.
Главными его инструментами являются мышцы лица, рот, зубы и язык, движения которых синхронизируются с произносимыми программой словами и в точности соответствуют движениям человека. Задача учащихся – произнося те же фразы, по возможности точно повторить движения Baldi, и достичь тем самым правильного произношения, одновременно научившись читать по губам. Контроль производится самой программой, сообщает Компьюлента.
Baldi, в создание которого вложено почти 2 млн. долларов, являет собой средоточие высоких технологий – в нём совмещены последние достижения в области синтеза и распознавания речи, анимации лица. Проговаривая текст, введённый с клавиатуры, Baldi настолько выразителен, что люди, уже умеющие читать по губам, без труда понимают его (а кто не умеет – учатся).
Реализация точного контроля произношения основывается на изучении особенностей речи более тысячи детей: в результате алгоритмы программы позволяют выделять самые тонкие детали в говоре учащихся и указывать, что конкретно необходимо исправить.
В настоящее время Baldi испытывается в нескольких американских школах в классах от 6 до 12. Для преподавателей и сторонних разработчиков программа и сопутствующие инструменты доступны бесплатно с веь-сайта создателей.
Впрочем, по их словам, наработки проекта могут использоваться для создания множества других программ: в частности, облегчающих глухим и слабослышащим детям процесс обучения иностранным языкам, исправления недостатков речи (это уже относится ко всем детям без исключения), выявления расстройств чтения.