3D-реконструкция с использованием структуры из движения

Я хочу сделать 3D-реконструкцию с использованием алгоритма структуры из движения. Я использую opencv для этого в python. Но каким-то образом полученное облако точек разбивается на 2 половины. Мои исходные изображения: Изображение 1 Изображение 2 Изображение 3. Я сопоставляю каждые 2 изображения, такие как изображение1 с изображением2 и изображение2 с изображением 3. Я пробовал разные детекторы функций, такие как SIFT, KAZE и SURF. С полученными точками я вычисляю существенную матрицу. Я получил встроенные функции камеры из калибровки камеры из Opencv и хранятся в переменных «mtx» и «dist» в приведенном ниже коде.

```file = os.listdir('Path_to _images')
file.sort(key=lambda f: int(''.join(filter(str.isdigit,f))))
path = os.path.join(os.getcwd(),'Path_to_images/')

for i in range(0, len(file)-1):

    if(i == len(file) - 1):
        break

    path1 = cv2.imread(path + file[i], 0)
    path1 = cv2.equalizeHist(path1)

    path2 = cv2.imread(path + file[i+1], 0)
    path2 = cv2.equalizeHist(path2)

# Feature Detection #
    sift = cv2.xfeatures2d.SIFT_create()
    kp1, des1 = sift.detectAndCompute(path1,None)
    kp2, des2 = sift.detectAndCompute(path2,None)

# Feature Matching #
    FLANN_INDEX_KDTREE = 0              
    index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
    search_params = dict(checks=50)   
    flann = cv2.FlannBasedMatcher(index_params,search_params)
    matches = flann.knnMatch(des1,des2,k=2)

    good = []
    pts1 = []
    pts2 = []

    for j, (m,n) in enumerate(matches):
        if m.distance < 0.8*n.distance:
            good.append(m)
            pts2.append(kp2[m.trainIdx].pt)
            pts1.append(kp1[m.queryIdx].pt)

    pts1 = np.int32(pts1)
    pts2 = np.int32(pts2)

    pts1 = np.array([pts1],dtype=np.float32)
    pts2 = np.array([pts2],dtype=np.float32)

# UNDISTORTING POINTS #

    pts1_norm = cv2.undistortPoints(pts1, mtx, dist)
    pts2_norm = cv2.undistortPoints(pts2, mtx, dist)

# COMPUTE FUNDAMENTAL MATRIX #

    F, mask = cv2.findFundamentalMat(pts1_norm,pts2_norm,cv2.FM_LMEDS)

# COMPUTE ESSENTIAL MATRIX #

    E, mask = cv2.findEssentialMat(pts1_norm, pts2_norm, focal=55.474, pp=(33.516, 16.630), method=cv2.FM_LMEDS, prob=0.999, threshold=3.0)


# POSE RECOVERY #
    points, R, t, mask = cv2.recoverPose(E, pts1_norm, pts2_norm)
    anglesBetweenImages = rotationMatrixToEulerAngles(R)

    sys.stdout = open('path_to_folder/angles.txt', 'a')
    print(anglesBetweenImages)

#  COMPOSE PROJECTION MATRIX OF R, t #
    matrix_1 = np.hstack((R, t))
    matrix_2 = np.hstack((np.eye(3, 3), np.zeros((3, 1))))

    projMat_1 = np.dot(mtx, matrix_1)
    projMat_2 = np.dot(mtx, matrix_2)

# TRIANGULATE POINTS #
    point_4d_hom = cv2.triangulatePoints(projMat_1[:3], projMat_2[:3], pts1[:2].T, pts2[:2].T)


# HOMOGENIZE THE 4D RESULT TO 3D #


    point_4d = point_4d_hom

    point_3d = point_4d[:3, :].T                # Obtains 3D points
    np.savetxt('/path_to_folder/'+ file[i] +'.txt', point_3d)

После cv2.triangulatePoints я ожидал получить одно облако точек. Но результат, который я получил, имеет 2 поверхности, как показано на изображении ниже.

Результат 1. Я очень признателен, если кто-нибудь скажет мне, что не так с моим алгоритмом. Спасибо!


python-3.x opencv3.0 structure-from-motion
person parupalu    schedule 23.08.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

вам нужно сделать это интерактивно

как это:

cv::Mat pointsMat1(2, 1, CV_64F);
cv::Mat pointsMat2(2, 1, CV_64F);

int size0 = m_history.getHistorySize();

for(int i = 0; i < size0; i++){
  cv::Point pt1 = m_history.getOriginalPoint(0, i);
  cv::Point pt2 = m_history.getOriginalPoint(1, i);

  pointsMat1.at<double>(0,0) = pt1.x;
  pointsMat1.at<double>(1,0) = pt1.y;
  pointsMat2.at<double>(0,0) = pt2.x;
  pointsMat2.at<double>(1,0) = pt2.y;

  cv::Mat pnts3D(4, 1, CV_64F);

  cv::triangulatePoints(m_projectionMat1, m_projectionMat2, pointsMat1, pointsMat2, pnts3D);
}
person Fellipe Costa    schedule 20.06.2020