Систему распознавания жестового языка изобрели студенты

Казахстанцы получили грантовое финансирование для развития IT-проектов, которые помогут облегчить жизнь людям с инвалидностью. В числе отобранных стартапов – приложение-переводчик с жестового языка в текст, разработанное студентами IT-университета Астаны, передает «24KZ».

Систему распознавания жестового языка изобрели студенты 2 курса IT-университета. Два месяца потребовалось на то, чтобы внедрить в специальную программу основные невербальные сигналы коммуникации, затем под них подобрали слова и даже целые фразы, зафиксировали перевод. Говоря на языке программистов, точность идентификации довели до 95%. Позже подключили звуковое сопровождение.

Сергей Климов студент, 2 курса AITU:

– Вы берете телефон, ставите на какую-то поверхность перед собой так, чтобы были видны ваши плечи, руки и лицо. Потому что в языке жестов эти части тела очень важны. Вот вы ставите, показываете какой-то язык и одновременно с этим будет воспроизводиться звук. Знак привет – будет привет, здравствуйте – он покажет здравствуйте. Будет работать обратный перевод, включается микрофон и вы традиционным языком говорите, а на телефоне в это время аватар или анимированный человек будет показывать на языке жестов.

Собственное исследование показало, что, к примеру, на разговор с официантом человек с нарушениями слуха и речи тратит в 6 раз больше времени по сравнению со здоровым. Не считая дополнительный дискомфорт, связанный с повышенным вниманием со стороны окружающих. Электронный переводчик же значительно упростит жизнь такой категории казахстанцев. Сейчас команда молодых айтишников трудится над разработкой мобильной версии.

Сергей Климов студент, 2 курса AITU:

– Мы провели ресёрч и по нынешнему законопроекту. Государство предоставляет людям с нарушениями слуха 60 часов бесплатного сурдоперевода в год. Что составляет меньше 1% всего прожитого времени человеком. Как вы понимаете, этого очень мало. Если сходить в поликлинику, то на это уйдет 3-4 часа. А если в год, допустим, человек 2-3 раза заболеет, это уже все, времени нет. С другими людьми тоже коммуницировать надо.

Авторы планируют доказать уникальность идеи и масштабировать ее. Речь идет об интеграции приложения с системами ЦОНов, поликлиник, торговых центров и кинотеатров. Но вопрос дальнейшего выхода на рынок решит специальная комиссия. В феврале она рассмотрит уже доработанные версии семи инновационных проектов, которые получили гранты.

Захира Бегалиева, директор ОФ «ITeachMe»:

– В феврале они будут показывать уже свои прототипы перед инвесткомьюнити и перед Минтруда и соцзащиты. Если их проект действительно будет полезен и нужен, то мы будем уже работать с экспертами, они будут проходить разную комиссию, чтобы этот препарат не навредил человеку с инвалидностью и что действительно нужен этот продукт. Далее будем уже думать, как расширять на весь Казахстан.

По словам организаторов, заявки для участия в конкурсе грантов подали больше 100 соискателей, 19 прошли отборочный этап. Только 7 лучших идей будут претворены в жизнь.

Авторы: Айсулу Махмутова, Руслан Алиев