Мои вопросы:
- Как мне понять, верна ли моя фундаментальная матрица?
- Является ли код, который я разместил ниже, хорошим усилием в этом направлении?
Моя конечная цель — сделать своего рода 3D-реконструкцию. Сейчас я пытаюсь рассчитать фундаментальную матрицу, чтобы оценить разницу между двумя камерами. Я делаю это в openFrameworks, используя аддон ofxCv, но по большей части это просто чистый OpenCV. Трудно опубликовать код, который изолирует проблему, так как ofxCv также находится в разработке.
Мой код в основном читается в двух кадрах 640x480, снятых моей веб-камерой с немного разных позиций (в основном, просто немного сдвигая ноутбук по горизонтали). У меня уже есть для него калибровочная матрица, полученная из кода калибровки ofxCv, в котором используется findChessboardCorners. Пример кода неискажения, по-видимому, указывает на то, что калибровочная матрица точна. Он вычисляет оптический поток между изображениями (либо calcOpticalFlowPyrLK, либо calcOpticalFlowFarneback) и передает эти пары точек на findFundamentalMatrix.
Чтобы проверить, верна ли фундаментальная матрица, я разложил ее на матрицу вращения и переноса. Затем я умножил матрицу вращения на точки второго изображения, чтобы увидеть разницу в поворотах между камерами. Я полагал, что любая разница должна быть небольшой, но я получаю большие различия.
Вот основная матрица и матрица вращения моего последнего кода, если это поможет:
fund: [-8.413948689969405e-07, -0.0001918870646474247, 0.06783422344973795;
0.0001877654679452431, 8.522397812179886e-06, 0.311671691674232;
-0.06780237856576941, -0.3177275967586101, 1]
R: [0.8081771697692786, -0.1096128431920695, -0.5786490187247098;
-0.1062963539438068, -0.9935398408215166, 0.03974506055610323;
-0.5792674230456705, 0.02938723035105822, -0.8146076621848839]
t: [0, 0.3019063882496216, -0.05799044915951077;
-0.3019063882496216, 0, -0.9515721940769112;
0.05799044915951077, 0.9515721940769112, 0]
Вот моя часть кода, которая появляется после того, как сделан второй снимок:
const ofImage& image1 = images[images.size() - 2];
const ofImage& image2 = images[images.size() - 1];
std::vector<cv::Point2f> points1 = flow->getPointsPrev();
std::vector<cv::Point2f> points2 = flow->getPointsNext();
std::vector<cv::KeyPoint> keyPoints1 = convertFrom(points1);
std::vector<cv::KeyPoint> keyPoints2 = convertFrom(points2);
std::cout << "points1: " << points1.size() << std::endl;
std::cout << "points2: " << points2.size() << std::endl;
fundamentalMatrix = (cv::Mat)cv::findFundamentalMat(points1, points2);
cv::Mat cameraMatrix = (cv::Mat)calibration.getDistortedIntrinsics().getCameraMatrix();
cv::Mat cameraMatrixInv = cameraMatrix.inv();
std::cout << "fund: " << fundamentalMatrix << std::endl;
essentialMatrix = cameraMatrix.t() * fundamentalMatrix * cameraMatrix;
cv::SVD svd(essentialMatrix);
Matx33d W(0,-1,0, //HZ 9.13
1,0,0,
0,0,1);
cv::Mat_<double> R = svd.u * Mat(W).inv() * svd.vt; //HZ 9.19
std::cout << "R: " << (cv::Mat)R << std::endl;
Matx33d Z(0, -1, 0,
1, 0, 0,
0, 0, 0);
cv::Mat_<double> t = svd.vt.t() * Mat(Z) * svd.vt;
std::cout << "t: " << (cv::Mat)t << std::endl;
Vec3d tVec = Vec3d(t(1,2), t(2,0), t(0,1));
Matx34d P1 = Matx34d(R(0,0), R(0,1), R(0,2), tVec(0),
R(1,0), R(1,1), R(1,2), tVec(1),
R(2,0), R(2,1), R(2,2), tVec(2));
ofMatrix4x4 ofR(R(0,0), R(0,1), R(0,2), 0,
R(1,0), R(1,1), R(1,2), 0,
R(2,0), R(2,1), R(2,2), 0,
0, 0, 0, 1);
ofRs.push_back(ofR);
cv::Matx34d P(1,0,0,0,
0,1,0,0,
0,0,1,0);
for (int y = 0; y < image1.height; y += 10) {
for (int x = 0; x < image1.width; x += 10) {
Vec3d vec(x, y, 0);
Point3d point1(vec.val[0], vec.val[1], vec.val[2]);
Vec3d result = (cv::Mat)((cv::Mat)R * (cv::Mat)vec);
Point3d point2 = result;
mesh.addColor(image1.getColor(x, y));
mesh.addVertex(ofVec3f(point1.x, point1.y, point1.z));
mesh.addColor(image2.getColor(x, y));
mesh.addVertex(ofVec3f(point2.x, point2.y, point2.z));
}
}
Любые идеи? Правильно ли выглядит моя фундаментальная матрица, или у меня неправильная идея при ее тестировании?
