Измерьте размер объекта, используя эталонный объект на фотографии

Из-за вашего предположения Эталон и цель находятся (приблизительно) в одной плоскости. вы можете применить метод «Алгоритм 1: планарные измерения», описанный в

Антонио Криминизи. «Единая метрология: алгоритмы и приложения (приглашенный доклад)». В: Распознавание образов. Эд. Люк Ван Гул. Том. 2449. Конспект лекций по информатике. Springer Berlin Heidelberg, 2002 г., стр. 224–239.

Метод позволяет измерить расстояние между двумя точками, лежащими в одной плоскости.

В основном

P=H*p (1)

где p — это точка на вашем изображении, выраженная в однородных координатах, P — это соответствующая точка в трехмерной мировой плоскости, также выраженная в однородных координатах, а H — это матрица 3x3, называемая матрицей гомографии, а * — это умножение матрицы на вектор.

    h11 h12 h13
H = h21 h22 h23
    h31 h32 h33

Единицей измерения p являются пиксели, поэтому, например, если p является точкой в ​​строке r и столбце c, она будет выражена как [r,c,1]. Единицей измерения P являются ваши мировые единицы, например метры, вы можете предположить, что ваша трехмерная мировая плоскость - это плоскость Z=0, и поэтому P выражается как однородный вектор [X,Y,1].

Итак, небольшая модификация "Алгоритма 1: планарные измерения". заключается в следующем:

1. Для данного изображения плоской поверхности оцените матрицу гомографии изображения в мир H. Предположим, что 9 элементов H безразмерны.

2. На изображении выберите две точки p1=[r1,c1,1] и p2=[r2,c2,1], принадлежащие эталонному объекту.

3. Спроецируйте каждую точку изображения на мировую плоскость с помощью (1), чтобы получить две мировые точки P1 и P2. Вы выполняете умножение матрицы на вектор, а затем делите полученный вектор на его третий компонент, чтобы получить однородный вектор. Например, P1=[X1,Y1,1] равно P1=[(c1*h_12 + h_11*r1 + h_13)/(c1*h_32 + h_31*r1 + h_33),(c1*h_22 + h_21*r1 + h_23)/(c1*h_32 + h_31*r1 + h_33),1]. Предположим на данный момент, что девять элементов H безразмерны, это означает, что единицей измерения X1, Y1, X2, Y2 является пиксель.

4. Вычислите расстояние R между P1 и P2, которое равно R=sqrt(pow(X1-X2,2)+pow(Y1-Y2,2), R по-прежнему выражается в пикселях. Теперь, поскольку P1 и P2 находятся на эталонном объекте, это означает, что вы знаете расстояние между ними в метрах, давайте назовем это расстояние, выраженное в метрах, M.

5. Вычислите масштабный коэффициент s как s=M/R, размерность s — метр на пиксель.

6. Умножьте каждый элемент H на s и назовите G новую полученную матрицу. Теперь элементы G выражаются в метрах на пиксель.

7. Теперь на изображении выберите две точки p3 и p4, принадлежащие целевому объекту.

8. Обратно проецируйте p3 и p4 через G, чтобы получить P3 и P4. P3=G*p3 и P4=G*p4. Снова разделите каждый вектор на его третий элемент. P3=[X3,Y3,1] и P4=[X4,Y4,1], а теперь X3, Y3, X4 и Y4 выражаются в метрах.

9. Вычислите желаемое целевое расстояние D между P3 и P4, которое равно D=sqrt(pow(X3-X4,2)+pow(Y3-Y4,2). D теперь выражается в метрах.

В приложении к вышеупомянутому документу объясняется, как вычислить H, или, например, вы можете использовать OpenCV cv::findHomography: в основном вам нужно как минимум четыре соответствия между точками в реальном мире и точками на вашем изображении.

Другой источник информации о том, как оценить H, находится в

ДЖОНСОН, Мика К.; ФАРИД, Хани. Метрические измерения на плоскости с одного изображения. Отдел. вычисл. наук, Дартмутский колледж, техн. Отчет TR2006-579, 2006 г.

Если вам необходимо также оценить точность ваших измерений, вы можете найти подробности в

А. Криминиси. Точная визуальная метрология на основе одного и нескольких некалиброванных изображений. Серия выдающихся диссертаций. Springer-Verlag London Ltd., сентябрь 2001 г. ISBN: 1852334681.

Пример на С++ с OpenCV:

#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/calib3d/calib3d.hpp"


void to_homogeneous(const std::vector< cv::Point2f >& non_homogeneous, std::vector< cv::Point3f >& homogeneous )
{
    homogeneous.resize(non_homogeneous.size());
    for ( size_t i = 0; i < non_homogeneous.size(); i++ ) {
        homogeneous[i].x = non_homogeneous[i].x;
        homogeneous[i].y = non_homogeneous[i].y;
        homogeneous[i].z = 1.0;
    }
}

void from_homogeneous(const std::vector< cv::Point3f >& homogeneous, std::vector< cv::Point2f >& non_homogeneous )
{
    non_homogeneous.resize(homogeneous.size());
    for ( size_t i = 0; i < non_homogeneous.size(); i++ ) {
        non_homogeneous[i].x = homogeneous[i].x / homogeneous[i].z;
        non_homogeneous[i].y = homogeneous[i].y / homogeneous[i].z;
    }
}

void draw_cross(cv::Mat &img, const cv::Point center, float arm_length, const cv::Scalar &color, int thickness = 5 )
{
    cv::Point N(center - cv::Point(0, arm_length));
    cv::Point S(center + cv::Point(0, arm_length));
    cv::Point E(center + cv::Point(arm_length, 0));
    cv::Point W(center - cv::Point(arm_length, 0));
    cv::line(img, N, S, color, thickness);
    cv::line(img, E, W, color, thickness);
}

double measure_distance(const cv::Point2f& p1, const cv::Point2f& p2, const cv::Matx33f& GG)
{
    std::vector< cv::Point2f > ticks(2);
    ticks[0] = p1;
    ticks[1] = p2;
    std::vector< cv::Point3f > ticks_h;
    to_homogeneous(ticks, ticks_h);

    std::vector< cv::Point3f > world_ticks_h(2);
    for ( size_t i = 0; i < ticks_h.size(); i++ ) {
        world_ticks_h[i] = GG * ticks_h[i];
    }
    std::vector< cv::Point2f > world_ticks_back;
    from_homogeneous(world_ticks_h, world_ticks_back);

    return cv::norm(world_ticks_back[0] - world_ticks_back[1]);
}

int main(int, char**)
{
    cv::Mat img = cv::imread("single-view-metrology.JPG");
    std::vector< cv::Point2f > world_tenth_of_mm;
    std::vector< cv::Point2f > img_px;

    // Here I manually picked the pixels coordinates of the corners of the A4 sheet.
    cv::Point2f TL(711, 64);
    cv::Point2f BL(317, 1429);
    cv::Point2f TR(1970, 175);
    cv::Point2f BR(1863, 1561);

    // This is the standard size of the A4 sheet:
    const int A4_w_mm = 210;
    const int A4_h_mm = 297;
    const int scale = 10;

    // Here I create the correspondences between the world point and the
    // image points.
    img_px.push_back(TL);
    world_tenth_of_mm.push_back(cv::Point2f(0.0, 0.0));

    img_px.push_back(TR);
    world_tenth_of_mm.push_back(cv::Point2f(A4_w_mm * scale, 0.0));

    img_px.push_back(BL);
    world_tenth_of_mm.push_back(cv::Point2f(0.0, A4_h_mm * scale));

    img_px.push_back(BR);
    world_tenth_of_mm.push_back(cv::Point2f(A4_w_mm * scale, A4_h_mm * scale));

    // Here I estimate the homography that brings the world to the image.
    cv::Mat H = cv::findHomography(world_tenth_of_mm, img_px);

    // To back-project the image points into the world I need the inverse of the homography.
    cv::Mat G = H.inv();

    // I can rectify the image.
    cv::Mat warped;
    cv::warpPerspective(img, warped, G, cv::Size(2600, 2200 * 297 / 210));

    {
        // Here I manually picked the pixels coordinates of ticks '0' and '1' in the slide rule,
        // in the world the distance between them is 10mm.
        cv::Point2f tick_0(2017, 1159);
        cv::Point2f tick_1(1949, 1143);
        // I measure the distance and I write it on the image.
        std::ostringstream oss;
        oss << measure_distance(tick_0, tick_1, G) / scale;
        cv::line(img, tick_0, tick_1, CV_RGB(0, 255, 0));
        cv::putText(img, oss.str(), (tick_0 + tick_1) / 2, cv::FONT_HERSHEY_PLAIN, 3, CV_RGB(0, 255, 0), 3);
    }

    {
        // Here I manually picked the pixels coordinates of ticks '11' and '12' in the slide rule,
        // in the world the distance between them is 10mm.
        cv::Point2f tick_11(1277, 988);
        cv::Point2f tick_12(1211, 973);
        // I measure the distance and I write it on the image.
        std::ostringstream oss;
        oss << measure_distance(tick_11, tick_12, G) / scale;
        cv::line(img, tick_11, tick_12, CV_RGB(0, 255, 0));
        cv::putText(img, oss.str(), (tick_11 + tick_12) / 2, cv::FONT_HERSHEY_PLAIN, 3, CV_RGB(0, 255, 0), 3);
    }

    // I draw the points used in the estimate of the homography.
    draw_cross(img, TL, 40, CV_RGB(255, 0, 0));
    draw_cross(img, TR, 40, CV_RGB(255, 0, 0));
    draw_cross(img, BL, 40, CV_RGB(255, 0, 0));
    draw_cross(img, BR, 40, CV_RGB(255, 0, 0));

    cv::namedWindow( "Input image", cv::WINDOW_NORMAL );
    cv::imshow( "Input image", img );
    cv::imwrite("img.png", img);

    cv::namedWindow( "Rectified image", cv::WINDOW_NORMAL );
    cv::imshow( "Rectified image", warped );
    cv::imwrite("warped.png", warped);

    cv::waitKey(0);

    return 0;
}

Входное изображение, в данном случае ваш эталонный объект — лист формата А4, а целевой объект — логарифмическая линейка: < img src="https://i.stack.imgur.com/r5Z7n.jpg" alt="введите здесь описание изображения">

Входное изображение с мерами, красные кресты используются для оценки гомографии:

Исправленный образ:

Самый простой способ — просто определить размеры вашего эталонного объекта в пикселях и использовать метрические размеры для получения коэффициента мм/пиксель. Затем умножьте размеры в пикселях объекта, который вы хотите измерить, на этот коэффициент. Это работает только в том случае, если оба объекта находятся в одной плоскости, параллельной вашему датчику.

Для всего остального вам потребуется информация о расстоянии. Вы можете либо измерить их, либо сделать некоторые предположения в зависимости от того, насколько точным вы должны быть.

Способ реализации таких измерений зависит от ваших требований.