Ускорение обнаружения самолетов RANSAC в 3D Pointcloud

Прямо сейчас я работаю над плоской сегментацией трехмерных данных облака точек с использованием RANSAC. Базовая блок-схема моего кода:

  1. Выберите 3 случайные точки, затем создайте плоскость-кандидат
  2. Проверьте все остальные точки в пределах определенного порога расстояния до плоскости. Если ниже порога много точек, то я сохраняю самолет.
  3. Если покрытая точка ниже порога, выберите другую точку RANSAC (обратно к № 1)

Что меня расстраивает, так это то, как ускорить процесс? Представьте, что если у меня есть 1 миллион точек, то я должен проверить все точки до моей плоскости-кандидата, если не соответствует порогу, я выбираю другую случайную точку и снова и снова проверяю 1 миллион точек. За любое предложение или даже исправление моего кода я был бы очень благодарен

Вот мой код, а набор данных можно скачать здесь. Для этого примера я использую небольшую часть моих реальных данных.

import numpy as np
import pandas as pd
import math
from scipy.spatial import cKDTree
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import random

data = pd.read_csv('data_sample.txt', usecols=[0,1,2], header=None, delimiter=' ')
df_points = pd.DataFrame(data)

%matplotlib qt


#Change parameter
distance_threshold = 0.06
minimum_point_threshold = 400
sampling_resolution = 0.06

#search nearest neighbor
kdtree = cKDTree(df_points)

temp_pair_point = []
list_pair_point = []
list_candidates = []

#Select random points
for h in df_points.index:
    pair_point = kdtree.query_ball_point(np.array(df_points.iloc[h]),r=sampling_resolution, return_sorted=False)
    temp_pair_point.append(pair_point)


for k in range(0,len(temp_pair_point)):
    pairsize = len(temp_pair_point[k])
    if pairsize > 10:
        list_pair_point.append(temp_pair_point[k])

for m in range(0,len(list_pair_point)):
    candidates = random.choices(list_pair_point[m], k=3)
    list_candidates.append(candidates)




#select random point from nearest neighbor
list_sample_point = []

for i in range(0,len(list_candidates)):
    list_test_distance = []


    p1 = np.array(data.iloc[list_candidates[i][0]])
    p2 = np.array(data.iloc[list_candidates[i][1]])
    p3 = np.array(data.iloc[list_candidates[i][2]])
    sample = [p1,p2,p3]

    #create plane
    x1,y1,z1 =np.ravel(p1)
    x2,y2,z2 =np.ravel(p2)
    x3,y3,z3 =np.ravel(p3)

    m_u = [x2-x1,y2-y1,z2-z1]
    m_v = [x3-x2,y3-y2,z3-z2]

    m_normal = np.cross(m_u,m_v)
    m_pos = p1
    m_dist = np.dot(-m_normal, m_pos)

    for j in data.index:
        test_point = np.array(data.iloc[j])
        test_distance = np.dot(-m_normal,test_point)
        #print('Distance ={}'.format(test_distance))
        if abs(test_distance) < distance_threshold:
            list_test_distance.append(test_distance)

    if len(list_test_distance) > minimum_point_threshold:
        list_sample_point.append(sample)



#Check candidate plane
list_u = []
list_v = []
list_normal = []
list_distance = []
list_min_max = []

for i in range(0,len(list_sample_point)):
    psample = list_sample_point[i]
    psample1 = np.array(psample[0])
    psample2 = np.array(psample[1])
    psample3 = np.array(psample[2])
    min_max = [float(min(np.transpose(psample)[0])), float(max(np.transpose(psample)[0])),float(min(np.transpose(psample)[1])), float(max(np.transpose(psample)[1])),float(min(np.transpose(psample)[2])), float(max(np.transpose(psample)[2]))]
    list_min_max.append(min_max)

    u = [psample2[0]-psample1[0], psample2[1]-psample1[1], psample2[2]-psample1[2]]
    v = [psample3[0]-psample2[0], psample3[1]-psample2[1], psample3[2]-psample2[2]]
    normal = np.cross(u,v)
    d = np.dot(-normal,psample1)

    list_u.append(u)
    list_v.append(v)
    list_normal.append(normal)
    list_distance.append(d)




#Plot candidate plane  
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
#ax.scatter3D(xs=plot_x, ys=plot_y, zs=plot_z, s=30, c='red')
ax.set_xlim3d(-25,-20)
ax.set_ylim3d(5,10)
ax.set_xlim3d(5,10)
ax.scatter3D(xs=df_points[0], ys=df_points[1], zs=df_points[2], s=1, c='green')

for j in range(0,len(list_normal)):
    if list_normal[j][2] != 0:
        print('Normal plane to Z axis')
        xx, yy = np.meshgrid(np.arange(list_min_max[j][0],list_min_max[j][1]+(list_min_max[j][1]-list_min_max[j][0]),(list_min_max[j][1]-list_min_max[j][0])), np.arange(list_min_max[j][2],list_min_max[j][3]+(list_min_max[j][3]-list_min_max[j][2]),(list_min_max[j][3]-list_min_max[j][2])), sparse=True)
        z = (-list_normal[j][0] * xx - list_normal[j][1] * yy -list_distance[j]) / list_normal[j][2]    
        ax.plot_surface(xx, yy, z, color=np.random.rand(3,), alpha=0.5)

    elif list_normal[j][0] != 0:
        print('Normal plane to X axis')
        yy, zz, = np.meshgrid(np.arange(list_min_max[j][2],list_min_max[j][3]+(list_min_max[j][3]-list_min_max[j][2]),(list_min_max[j][3]-list_min_max[j][2])), np.arange(list_min_max[j][4],list_min_max[j][5]+(list_min_max[j][5]-list_min_max[j][4]),(list_min_max[j][5]-list_min_max[j][4])), sparse=True)
        x = (-list_normal[j][1] * yy - list_normal[j][2] * zz -list_distance[j]) / list_normal[j][0]
        ax.plot_surface(x, yy, zz,  color=np.random.rand(3,), alpha=0.5)

    elif list_normal[j][1] !=0:
        print('Normal plane to Y axis')
        xx, zz, = np.meshgrid(np.arange(list_min_max[j][0],list_min_max[j][1]+(list_min_max[j][1]-list_min_max[j][0]),(list_min_max[j][1]-list_min_max[j][0])), np.arange(list_min_max[j][4],list_min_max[j][5]+(list_min_max[j][5]-list_min_max[j][4]),(list_min_max[j][5]-list_min_max[j][4])), sparse=True)
        y = (-list_normal[j][0] * xx - list_normal[j][2] * zz -list_distance[j]) / list_normal[j][1]
        ax.plot_surface(xx, y, zz, color=np.random.rand(3,), alpha=0.5)

person vanbuuren    schedule 26.11.2019    source источник


Ответы (1)


Прежде всего, RANSAC не предназначен для выполнения по каждой точке. Используя ваш код, он вычисляет 1729 самолетов из 1945 точек, которые у вас есть. Обычно вы вычисляете количество итераций, для которых вы хотите запустить RANSAC, прежде чем запускать его. Это зависит от количества выбросов и выбросов ожидаемой плоскости:

k = log(1-p)/log(1-(1-e)^s)

p - желаемая вероятность того, что RANSAC приведет к плоскости без выбросов, например, вероятность 99,99%. e - процент выбросов, например. для 80% выброса e = 0.8. Это приводит к 1147 итерациям. Однако обычно вы должны быть в состоянии предположить более низкую вероятность выброса, скажем, 20% из-за выбора соседей (как вы делаете), теперь внезапно требуется только 13 итераций для обнаружения одной плоскости с вероятностью 99,99%, поэтому только 13 (! ) вместо 1729(!). Если вы хотите найти, скажем, 100 самолетов, это все равно сократит количество итераций примерно на 25%.

Во-вторых, вы можете закрепить некоторые части вашего кода, если вы все еще хотите запускать его в каждой точке: во-первых, вы используете два цикла for для чего-то, что можно было бы написать в одном, и вы продолжаете вычислять test_distance, даже если len(list_test_distance) > minimum_point_threshold может уже быть правдой. Изменив код на это:

#select random point from nearest neighbor
list_sample_point = []
list_u = []
list_v = []
list_normal = []
list_distance = []
list_min_max = []


for i in range(0,len(list_candidates)):
    list_test_distance = []


    p1 = np.array(data.iloc[list_candidates[i][0]])
    p2 = np.array(data.iloc[list_candidates[i][1]])
    p3 = np.array(data.iloc[list_candidates[i][2]])
    sample = [p1,p2,p3]

    #create plane
    x1,y1,z1 =np.ravel(p1)
    x2,y2,z2 =np.ravel(p2)
    x3,y3,z3 =np.ravel(p3)

    m_u = [x2-x1,y2-y1,z2-z1]
    m_v = [x3-x2,y3-y2,z3-z2]

    m_normal = np.cross(m_u,m_v)
    m_pos = p1
    m_dist = np.dot(-m_normal, m_pos)

    for j in data.index:
        test_point = np.array(data.iloc[j])
        test_distance = np.dot(-m_normal,test_point)
        #print('Distance ={}'.format(test_distance))
        if abs(test_distance) < distance_threshold:
            list_test_distance.append(test_distance)

        if len(list_test_distance) > minimum_point_threshold:
            #list_sample_point.append(sample) I think you don't need this one any more as well
            psample = sample
            psample1 = np.array(psample[0])
            psample2 = np.array(psample[1])
            psample3 = np.array(psample[2])
            min_max = [float(min(np.transpose(psample)[0])), float(max(np.transpose(psample)[0])),float(min(np.transpose(psample)[1])), float(max(np.transpose(psample)[1])),float(min(np.transpose(psample)[2])), float(max(np.transpose(psample)[2]))]
            list_min_max.append(min_max)

            u = [psample2[0]-psample1[0], psample2[1]-psample1[1], psample2[2]-psample1[2]]
            v = [psample3[0]-psample2[0], psample3[1]-psample2[1], psample3[2]-psample2[2]]
            normal = np.cross(u,v)
            d = np.dot(-normal,psample1)

            list_u.append(u)
            list_v.append(v)
            list_normal.append(normal)
            list_distance.append(d)
            break

Я уменьшил время работы на своем ноутбуке с 7 минут 11 секунд до 2 минут 35 секунд, что сделало его более чем в 2,5 раза быстрее. Результаты должны быть одинаковыми (поправьте меня, если я ошибаюсь)

person LeoE    schedule 26.11.2019
comment
Большое спасибо @LeoE за ваши предложения. Мне очень интересен ваш первый вариант, который может сократить с 1729 всего до 13 итераций. Но не могли бы вы сказать мне, в какую часть я должен поместить эту функцию k = log(1-p)/log(1-(1-e)^s). Кроме того, я также попробовал ваш второй вариант, но тогда я не увидел ни одной плоскости. Я сделал ошибку, когда применил ваш код? Я помещаю новый код от вас в мой существующий код выше. - person vanbuuren; 26.11.2019
comment
Ах да, моя ошибка, извините, разрыв должен иметь еще один отступ и должен быть частью оператора if, пожалуйста, смотрите редактирование - person LeoE; 26.11.2019
comment
И что касается вашего первого вопроса: у него есть причина, по которой алгоритм называется так, он включает в себя консенсус RANdom SAmpling (RANSAC;)) это алгоритм для поиска совпадений путем случайного выбора образцов и создания консенсуса. Вероятно, было бы лучше, если бы вы еще раз прочитали о том, как работает алгоритм и что он делает :) - person LeoE; 26.11.2019
comment
Привет, @LeoE, ты уверен, что используешь psample = list_sample_point [i]? Потому что я всегда получаю индекс ошибки за пределами диапазона, даже после того, как я меняю с помощью [j]. - person vanbuuren; 26.11.2019
comment
Ах, черт, я думаю, что, возможно, я скопировал какой-то плавленый код, да, это нужно изменить, см. редактирование - person LeoE; 27.11.2019