![Язык жестов ц56гцк6гуеш.png](/upload/medialibrary/0d8/zxfrmq21xv5zexza0i30j0pqle5yk44m.png)
Оно работает при помощи нейросети и поможет понять и научиться разговаривать на языке людей с нарушением слуха.
Мобильное приложение разработали в Саратовском государственном техническом университете имени Гагарина. В его основе лежит нейросеть, которая считывает жесты в реальном времени. Достаточно включить смартфон и навести рамку камеры на руки собеседника.
«Для нейросетевой модели создан собственный датасет русского языка жестов, который собирался совместно с сурдопереводчиками, а также посредством скрининга обучающих видеоресурсов. Модуль распознавания работает по следующему принципу: нейросетевая модель получает кадр изображения с видеопотока, определяет ладонь и находит 21 контрольную точку. Затем вектор точек передается модели, обученной на собственном датасете, которая посредством выбора наибольшей вероятности определяет жест», — рассказывает руководитель проекта Екатерина Кулакова.
Также есть обучающий режим для тех, кто в перспективе желает общаться языком жестов без помощи приложения. Обучение проводится на трехмерных изображениях кистей руки.
![erysrur6u.png](/upload/medialibrary/fea/b6a0j5wbuqsuicfvv3m1pjai6dtgxvqk.png)
По словам разработчиков, мобильное приложение по своим функциям объединило лучшие черты аналогов и имеет ранее неиспользуемые на российском рынке функциональные возможности, что делает его перспективным и уникальным.
Подписаться на iGuides в Telegram, чтобы узнать обо всем первым