Приложение Aipoly помогает незрячим и слабовидящим людям ориентироваться при помощи смартфона. Aipoly использует данные с фотокамеры смартфона, которая передает информацию о предметах, попавших в объектив. Изображение обрабатывается, после чего приложение озвучивает название предмета. Происходит это все в режиме реального времени.
Еще по теме: Be My Eyes – стань глазами для незрячих людей
Aipoly поддерживает 7 языков, может определять цвет предмета. Приложение способно различать разные предметы на одной поверхности, к примеру, если на столе есть и кружка, и тарелка, и ложка, а также способы взаимодействия, если речь идет о человеке, который едет на велосипеде.
Приложение использует машинное обучение, в библиотеке Aipoly более 1000 различных объектов, при этом система уже прошла обучение несколькими сотнями тысяч изображений. Aipoly продолжает учиться и пополнять свой каталог известных ей приложений и ситуаций. Пользователи также могут помогать учиться приложению, вводя информацию об объектах.
Еще по теме: Распознающее текст приложение от ABBYY получило функции для слабовидящих людей
Одна из целей, которую решали разработчики в ходе создания приложения, – натренировать систему на особенно важные для аудитории Aipoly группы объектов, например, дорожные знаки или специфические предметы из обихода слабовидящих людей (клавиатура со шрифтом Брайля, белая трость).
Aipoly может быть установлено на iOS, готовится версия для Android, а также устройство в форме очков. Фото: промо-видео приложения YouTube.
В 2017 году приложение получило награду best innovation на технологической выставке CES. Создатели приложения сейчас тестируют очки, которые могли бы также поддерживать технологию распознавания предметов.
Aipoly