Распознавание простых жестов на Android

#распознавание #android #java

Для тестового задания нужно написать программу для Андроида, распознавание простых
жестов. существует 2 области экрана, на одной выводиться сфотографированный жест ладони
с камеры либо галереи, на второй области выводиться распознанный символ. например азбука
глухонемых.
Помогите пожалуйста литературой по этому вопросу. Где можно почитать об распознавании,
как это реализовать на Андроиде и тп.    

Ответы

Ответ 1

openCV


Ответ 2

По поводу готового Api - очень мало шансов, что вы это найдете. 
Правильный вариант - это создать свою нейронную сеть. Потом обучить ее на многочисленных
жестах, чтобы она начала понимать их. 
Как вариант взгляните на приложения в маркете, которые способны расспознавать только
свои  "маркеры". 
По сути, вам надо сделать так, чтобы приложение распознавало жесты, как эти "маркеры",
а без правильно обученой нейронной сети (тк жесты не "макркеры", и простыми методами
их не различишь) тут не обойдешься. 
Почитать про распознавание "маркеров"


Ответ 3

Во первых вам нужно убедиться что жесты показывает именно человек а не другие сучества
(нимфы-хоббиты, мало ли...) - для этого нужно определить если ли челлицо в кадре. Неплохо
с этой задачей справляется OpenCV - https://docs.opencv.org/3.3.0/d7/d8b/tutorial_py_face_detection.html
Однако еще лучше DLIB - http://dlib.net/face_detector.py.html
Масса других примеров есть, поищите - python, C++, java

Затем нужно взять фрагмент кожи лица (лучше всего в районе щеки, так как там нет
волос и не закрывается аксессуарами) и найти цветовые доминанты (K-means clustering)
- https://docs.opencv.org/3.1.0/d1/d5c/tutorial_py_kmeans_opencv.html
Удобно для этой цели использовать цветовые схемы Lab, HSV/HSL - в opencv можно конвертировать
из BGR в любую. 

Затем с помощью OpenCV InRange отфильтровать исходное изображение по всем K цветовым
доминантам - получите K бинарных масок, их нужно объединить с помощью bitwise_or. 
Теперь в областях с белыми битами ищите руки - они должны быть где-то соразмерно
недалеко от лица. А дальше всё будет зависеть от ловкости Ваших рук (никакого мошенства)
- для анализа позы руки применение CNN или другой подходящей нейросети уже вполне соразмерно
задаче. 

Неплохой материал  https://www.youtube.com/watch?v=xML2S6bvMwI - под видео ссылка
на статью.