Есть ли способ потоковой передачи (предпочтительно на JS, но подойдет любой язык) фактического видеопотока с инфракрасной камеры от Leap Motion? Демо показано на 0:52 здесь, похоже, показывает, что устройство может предоставить больше данных, чем просто скелет точек, и я хотел бы иметь возможность отображать фактические данные «Leap-View» в одном из моих проектов, что, как я полагаю, по существу быть изображением в градациях серого.
Спасибо!
Меня зовут Эдвин из команды сообщества Leap Motion. К сожалению, «облака точек», показанные в наших ранних видеороликах, являются визуализациями некоторых наших инструментов отладки. Поскольку они не согласованы ни во времени, ни в пространстве, их нельзя использовать в качестве методов взаимодействия. В настоящее время нет облака точек. Это может быть что-то, что мы можем реконструировать из имеющейся у нас 3D-информации, но, вероятно, это не та функция, которую мы добавим в ближайшее время.
Я думаю, вам нужно следующее: https://github.com/meyburgh/forirony/blob/master/misc/leap.cpp
Это очень простая демонстрация, которая показывает инфракрасное видео в оттенках серого с каждой из камер скачкообразного движения.
Видео выглядит немного странно, поэтому, если вы хотите, чтобы оно выглядело «нормально», вам нужно его исправить — Leap предоставляет image.rectify(), но это происходит на процессоре, поэтому для повышения производительности лучше использовать шейдер вместо функция image.rectify().
Чтобы получить «облако точек», если это то, что вас интересует, вы можете выполнить сопоставление несоответствия для каждого пикселя (которое opencv имеет на процессоре / графическом процессоре) или вы можете проверить набор инструментов NVIDIA CUDA, в котором есть демонстрация карты несоответствия, включенная в образцы. ссылка на стереосоответствие opencv (также известное как сопоставление несоответствий): http://docs.opencv.org/3.0-beta/modules/cudastereo/doc/stereo.html
Я понимаю, что качество облака точек с помощью отображения несоответствий было бы довольно грубым и зашумленным, и, таким образом, бесполезным для «взаимодействия», как выразился Эдвин в своем посте, но если вы заинтересованы в изучении статистических методов, чтобы понять смысл информация, скрытая в шуме, или вам нужно облако точек по «художественным» соображениям, тогда это правильный путь, я бы сказал.
