Отслеживание рук в реальном времени
Язык жестов используется миллионами людей по всему миру. Исследователи работают над созданием технологий, которые могут понимать жесты и автоматически преобразовывать их в понятный человеку язык. Однако большого успеха с точки зрения точности такие проекты не добились.
Google недавно разработал алгоритм, который можно использовать для отслеживания рук в реальном времени. Интеллектуальная система использует машинное обучение для создания карты руки. Карта создается с помощью фотоаппарата или смартфона. Мы не можем отрицать тот факт, что большинство систем не могут точно улавливать быстрые движения рук. Google специально обратился к этой проблеме в своем исследовании. Интересно, что они ограничили объем данных, которые ранее обрабатывались алгоритмами.
Как работает отслеживание рук в реальном времени?
Большинство существующих проектов переводят язык жестов, определяя размер и положение руки в целом. С помощью этого исследования. исследователи устранили необходимость обрабатывать прямоугольные формы разных размеров. Система Google просто распознает ладонь квадратной формы. Во-вторых, для пальцев проводится отдельный процесс анализа.
Жесты
Исследователи использовали около 30 000 изображений рук для обучения алгоритму машинного обучения. Эти изображения были сделаны в разных условиях освещения и в разных позах. Затем система обнаруживает жест, сравнивая позу руки и список известных сущностей, таких как мяч или счастье. Google описывает распознавание жестов в Сообщение блога .
Затем мы сопоставляем набор состояний пальцев с набором заранее определенных жестов. Этот простой, но эффективный метод позволяет нам оценивать основные статические жесты с приемлемым качеством. Существующий конвейер поддерживает подсчет жестов из разных культур, например Американские, европейские и китайские, а также различные жесты, включая «Большой палец вверх», сжатый кулак, «ОК», «Рок» и «Человек-паук».
Окончательный алгоритм отслеживания рук дает самые современные результаты с точки зрения скорости и точности. Алгоритм использует платформу MediaPipe для работы. Эта техника кажется крупным достижением в области жестового языка. Хотя все еще есть много возможностей для улучшения. чтобы лучше понимать язык жестов. Любой желающий может расширить эту работу, чтобы использовать мимику и обе руки для достижения лучших результатов.
Хотя от Google нет ни слова, есть вероятность, что Google сможет улучшить эту технологию отслеживания рук в реальном времени, чтобы использовать ее в своих продуктах. Между тем, если вы хотите поиграть с кодом, это общедоступно на GitHub .
Теги гугл
