Hand Tracking

2019: Выпуск ПО

В середине августа 2019 года Google предложила разработчикам новое ПО на основе машинного обучения для точного отслеживания жестов смартфонами. Исходный код и сквозной сценарий выложены на портале GitHub.

Google представила технологию Hand Tracking на конференции по компьютерному зрению и распознаванию образов в июне 2019 года и вскоре внедрила ее в кроссплатформенный фреймворк MediaPipe для прикладного машинного обучения, работающего с такими задачами, как распознавание лиц и обнаружение объектов.

Google предложила разработчикам ПО для точного отслеживания жестов смартфонами

Google представил технологию на основе трех моделей ИИ, работающих в тандеме. Сеть фокусируется на координатах 21 точки ладони, для чего детектор ладони - BlazePalm - анализирует кадр и получает ограничивающий прямоугольник, модель ориентира руки оценивает выделенную область и определяет трехмерные точки руки, а распознаватель жестов ищет ранее вычисленную конфигурацию точек в наборе жестов.^[1]

Исследователи отмечают, что правильно определенная форма ладони позволяет значительно ускорить процесс дальнейшего распознавания жестов, а значит, сократить размерность данных. Это позволяет использовать данный алгоритм на смартфоне, а не в облаке. Для обучения алгоритма потребовались 30 000 реальных изображений с помеченными вручную координатами, а также высококачественная синтетическая модель руки, отрисованная на разных фонах и сопоставленная с соответствующими координатами.

Google создала алгоритм распознавания жестов с помощью камеры смартфона

Способность компьютера воспринимать форму и движение рук может улучшить его взаимодействие с пользователем в различных технологических областях. Ученые Google выразили надежду, что передача этой методики более широкому сообществу исследователей и разработчиков приведет к появлению творческих вариантов использования, стимулирует разработку новых приложений и новых направлений исследований.^[2]

Примечания