Ключевые точки ARKit в координатах изображения (2D)

Описание проблемы":

Я хочу использовать ключевые точки (также известные как связующие точки) между двумя последовательными изображениями со смартфона Apple с помощью ARKit, но Я не могу найти это.

Я могу найти 3D-значения в мире эталонной системы координат из ARPointCloud или rawFeaturePoints, но я не могу найти 2D-значения (т. е. в опорном кадре изображения) для каждого изображения пары, где они были фактически обнаружены (вероятно, с использованием некоторых модифицированных SIFT детектор или любой другой алгоритм... на самом деле я хотел бы знать, какой алгоритм также используется).

Вопрос:

Знаете ли вы, в каком объекте они хранятся или как их получить?
Я хочу перепроецировать их на изображения, сделанные камерой в другой программе (python, scikit-image или даже opencv), чтобы выполнить некоторую обработку.


computer-vision arkit keypoint photogrammetry sift
person s.k    schedule 07.09.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Какой бы алгоритм ARKit ни использовал для создания характерных точек, он является внутренним и частным для ARKit. Таким образом, любые промежуточные результаты в равной степени скрыты от общедоступного API, а алгоритм и результаты могут меняться между выпусками iOS или на разных устройствах.

person rickster    schedule 07.09.2018
comment
В порядке. Но 2D-точки рисуются на устройстве, поэтому я думаю, что они должны быть доступны где-то, и не должно быть большим секретом совместное использование набора координат (X, Y) в пространстве изображения для каждого изображения, не так ли? Если да; можно ли получить эти 2D-координаты другим способом? Если нет; Интересно, как люди могли разработать персонализированное приложение...? - person s.k; 10.09.2018