Могут ли новые технологии помочь людям с проблемами слуха воспринимать мир, как все остальные? Как сделать так, чтобы они смогли услышать музыку? На краудфандинговой платформе Boomstarter.ru запущена кампания по сбору средств на приложение, которое поможет глухим людям чувствовать музыку через свой смартфон.
Поделитесь этой статьей с друзьями
Мы пообщались с автором приложения Ваганом Акопяном и экспертом, профессором, кандидатом педагогических наук, специалистом в области ассистивных (вспомогательных) технологий Еленой Кулаковой, чтобы понять, действительно ли эта идея будет работать.
Как это будет работать?
Мобильное приложение, которое разрабатывается Ваганом Акопяном, называется Шелест и включает в себя три функции, позволяющие прочувствовать музыку без каких-либо специальных устройств:
- воспроизведение жестов-слов в режиме реального времени;
- воспроизведение жестов по буквам;
- вибросигналы.
Это приложение для пользователей смартфонов на базе операционных систем Android и IOS. По заявлению разработчиков приложение будет выложено в свободный доступ в Google Play и Apple Store.
Воспроизведение жестов-слов в режиме реального времени
Перевод песни на русский жестовый язык, – считает профессор, кандидат педагогических наук Елена Кулакова, – должен делать акцент не только на жестовый язык, но и на мимику. Мимика лица эмоционально окрашивает жестовый язык. Хорошо бы привлечь к работе профессиональных певцов.
Более легким для глухих людей и людей с ограниченным слухом является практика считывания слов по губам. Почему же разработчики приложения «Шелест» пошли по пути воспроизведения жестов-слов в режиме реального времени, а не попытались создать лицо с двигающимися губами (для считывания слов по губам)? Чем эти технологии отличаются?
Ваган Акопян: Если взглянуть на этот вопрос с технической точки зрения, то ответ один – технологическая сложность реализации алгоритма корректного воспроизведения слов по губам. Мы смотрим на проект «Шелест» как на упрощенную версию для относительно легкой реализации и создания базы для серий приложений.
Воспроизведение жестов по буквам
Параллельно, в такт с воспроизводимой песней, эти буквы подсвечиваются – как в караоке. Это дополнительная функция. Какова степень ее важности?
Ваган Акопян: Данная функция создана для упрощения работы алгоритма и исключения возможности семантических ошибок. Она страхует в случае если жест слова ошибочен, давая пользователю прочитать слово по букве. Также она позволяет видеть ритм, как в караоке.
Эту функцию лучше преобразовать в текстовый ряд с подсветкой, как в караоке. Это более привычно для восприятия глухих и слабослышащих людей. Дактилемы читать сложнее, – считает Елена Владимировна.
Вибросигнал
У глухих людей очень сильно развито тактильно-вибрационное ощущение. Благодаря вибрации глухие люди слышат… музыку! Правда, различить они могут только тембр и ритм, мелодия – за порогом их восприятия. Вибросигналы обеспечивают физическое восприятие ритмов композиции по уникальному алгоритму.
По мнению Елены Кулаковой, эту функцию лучше будет сделать отдельной от первых двух. Это позволит дифференцировать аудиторию, создать более комфортные условия для людей с ограниченным слухом. Постоянно работающий вибросигнал на слабослышащих людей действует раздражающе. Будет лучше сделать его с возможностью отключения.
Дополнительные гарнитуры
Для слабослышащих людей будет большим подспорьем наличие специальных наушников, позволяющих слушать музыку в диапазоне 115-120 Дб. В целом идея создания такого мобильного приложения очень хороша, – считает Елена Кулакова. – Необходимо только немного откорректировать технологию.
Степень восприятия музыки глухим человеком, вероятно, можно поднять на столь же высокий уровень, как способность здорового человека чувствовать отдельные ноты мелодии, так как, в конечном счете, обработка звуковой информации происходит в той же самой части мозга, – считает Доктор Шибат, автор исследования «Восприятие звуковых вибраций мозгом человека» из отделения радиологии в Университете Вашингтона.
Поддержите проект «Шелест» на Boomstarter.ru
Статья подготовлена стажером в рамках проекта Школа стажеров Теплицы.
