Делаю калибровку камеры от tsai algo. Я получил внутреннюю и внешнюю матрицу, но как я могу восстановить 3D-координаты из этой информации?
1) Я могу использовать исключение Гаусса для поиска X, Y, Z, W, и тогда точки будут X/W , Y/W , Z/W как однородная система.
2) Я могу использовать документацию OpenCV: 
поскольку я знаю u, v, R, t, я могу вычислить X,Y,Z.
Однако оба метода приводят к разным результатам, которые неверны.
Что я делаю неправильно?
Если у вас есть внешние параметры, то у вас есть все. Это означает, что вы можете получить гомографию от внешних элементов (также называемых CameraPose). Поза — это матрица 3x4, гомография — это матрица 3x3, H определяется как
H = K*[r1, r2, t], //eqn 8.1, Hartley and Zisserman
где K — внутренняя матрица камеры, r1 и r2 — первые два столбца матрицы поворота, R ; t — вектор перевода.
Затем нормализуйте, разделив все на t3.
Что происходит со столбцом r3, разве мы его не используем? Нет, потому что это избыточно, поскольку это перекрестный продукт двух первых столбцов позы.
Теперь, когда у вас есть омография, спроецируйте точки. Ваши 2d точки x, y. Добавьте им z=1, чтобы они стали 3D. Проецируйте их следующим образом:
p = [x y 1];
projection = H * p; //project
projnorm = projection / p(z); //normalize
Надеюсь это поможет.
Как хорошо сказано в комментариях выше, проецирование координат 2D-изображения в 3D «пространство камеры» по своей сути требует создания координат z, поскольку эта информация полностью теряется в изображении. Одним из решений является присвоение фиктивного значения (z = 1) каждой точке пространства 2D-изображения перед проекцией, как ответил Jav_Rock.
p = [x y 1];
projection = H * p; //project
projnorm = projection / p(z); //normalize
Одной интересной альтернативой этому фиктивному решению является обучение модели предсказанию глубины каждой точки до повторного проецирования в трехмерное пространство камеры. Я попробовал этот метод и добился большого успеха, используя Pytorch CNN, обученный на трехмерных ограничивающих прямоугольниках из набора данных KITTI. Был бы рад предоставить код, но он был бы немного длинным для публикации здесь.
