Я представляю робот-манипулятор, который управляется жестами руки при помощи нейросетей. Проект собран на базе микроконтроллера Arduino uno на основе ATmega328p. Использованы сервоприводы 6v: 1шт 6 кг/см (SG-5010), 2(3)шт 10 кг/см (mg996r), 1шт 20 к г/см (TD-7120MD). Для соединения сервоприводов использованы металлические кронштейны. Позиционирование происходит с высокой точностью, благодаря потенциометрам внутри сервоприводов.

Основная программа написана на языке python. Использованы библиотеки openCV, mediaPipe, pyFirmata, math, time. Программа при помощи технологий компьютерного зрения и машинного обучения при помощи камеры определяет относительное положение руки в пространстве в 3х координатных осях. При помощи формул инверсной кинематики находятся необходимые углы поворота сервоприводов и передаются плате Arduino при помощи парсинга библиотеки pyFirmata. Манипулятор приходит в координату руки в своем пространстве. 

Шумы отсеиваются так: если вероятность совпадения (что изображение рука) меньше 50%, то мы игнорируем данный объект. Так же игнорируются руки замеченные во вторую очередь.

Данная технология - революция в управлении роботехническими устройствами, которая найдет свое применение где угодно. Отличный пример - VR пространство. По камере можно считать положение всего тела. А стандартные датчики будут ограничивать движение и /Да и значительно дешевле выйдет. Те же VR датчики стоят от 70тыс рублей, а данную идею можно реализовать в диапазоне 10-50тыс в зависимости от необходимых возможностей. 

Предназначение робота - работа на опасных для человека предприятиях/условиях, либо работа на складах. 

Преимущества: относительная дешевизна, моментальный отклик на изменения, меньший износ компонентов управления, удобство и простота использования.

Данный проект при должном развитии имеет крайне высокие перспективы.

Дистанционная хирургия, химические и другие опасные лаборатории, взаимодействие с человеком.

Можно использовать любой способ передачи координат