Приложение Storysign (рассказы в жестах)

2020.05.29

Помощь детям с нарушениями слуха в обучении чтению

Миссия нашей компании Huawei – предоставить цифровые услуги каждому человеку, дому и организации для создания взаимосвязанного интеллектуального мира. Мы считаем, что технологии должны обогащать жизнь людей, а искусственный интеллект (ИИ) способен расширить границы возможного для человечества.

В 2018 году, используя ИИ и дополненную реальность, наша компания Huawei создала приложение Storysign - первую в мире платформу грамотности для детей с нарушениями слуха. Обучение чтению может быть трудным для любого ребенка, но для детей младшего возраста, которые имеют различные степени нарушения слуха, это может быть чрезвычайно сложной задачей. Мы знали, что использование наших технологий поможет открыть мир книг для 32 миллионов детей, имеющих проблемы со слухом по всему миру, дать волю воображению, любопытству и творчеству.

Storysign - это бесплатное мобильное приложение, которое призвано помочь детям с нарушениями слуха читать, переводя текст из выбранных книг на язык жестов. Благодаря силе ИИ и дополненной реальности StorySign воплощает эти рассказы в жизнь и позволяет наслаждаться рассказами каждому ребенку.

Принцип работы Storysign

  1. Ребенок открывает перед собой выбранную книгу для чтения, запускает приложение и удерживает телефон над страницей выбранной книги.

  2. Виртуальный персонаж «Звездочка», наш дружелюбный аватар, демонстрирует при помощи жестов рассказ, а приложение выделяет каждое слово, которое она показывает.

  3. Приложение StorySign помогает детям и их родителям делиться магией повествования, пока они учатся читать и общаться при помощи жестов вместе.

Творчество, движимое технологией

Мы разработали приложение Storysign совместно с Европейским союзом глухих, Британской Ассоциацией глухих, издательством книг «Penguin Books» и компанией анимации Aardman.

Наше сотрудничество с издательством «Penguin Books» позволяет нам воплощать в жизнь любимые рассказы детей. Вместе с Aardman мы использовали самые современные технологии для считывания движений и создания анимации, с целью обеспечения идеальной передачи мимики лица и жестов рук Звездочки (Star) - забавного виртуального персонажа, которого полюбили дети.

Работая с Ассоциациями глухих, мы смогли понять вызовы стоящие перед людьми с нарушениями слуха и найти технологическое решение, которое действительно меняет жизнь глухих детей. Мы надеемся, что такое решение навсегда изменит историю грамотности для глухих.