Алгоритм ортотрансформирования; мозаичные аэрофотоснимки

Сшивка изображений обычно предполагает, что центр камеры зафиксирован на всех фотографиях, и использует гомографии для преобразования изображений, чтобы они казались непрерывными. Когда допущение о фиксированном центре камеры не является строго верным, могут появиться артефакты/искажения из-за трехмерности сцены. Если центр камеры сместился на небольшое расстояние по сравнению с рельефом сцены, методов «бесшовного смешивания изображений» может быть достаточно, чтобы размыть искажения.

В более крайних случаях требуется орто-выпрямление. Ортокоррекция (запись в Википедии) — это задача преобразования изображение, наблюдаемое с заданной перспективы камеры, в ортогональную (запись в Википедии) и, как правило, вертикальная точка зрения. Орфографическое свойство интересно тем, что оно значительно упрощает сшивание нескольких изображений. Особенно хорошо видна следующая картинка из Википедии (слева — орфографическая или направленная проекция, справа — перспективная или центральная проекция):

Задача ортотрансформирования обычно требует наличия трехмерной модели сцены, чтобы правильно сопоставить интенсивности, наблюдаемые перспективной камерой, с их положением относительно ортогональной камеры. В контексте аэрофото/спутниковых изображений для этой цели часто используются цифровые модели рельефа (ЦМР), но, как правило, они имеют серьезный недостаток, заключающийся в том, что они не включают искусственные сооружения (только рельеф Земли). НАСА бесплатно предоставляет DEM, полученные в ходе миссий SRTM (ссылка DEM).

Другой подход, если у вас есть два изображения, полученные в разных положениях, вы можете попытаться выполнить 3D-реконструкцию, используя один из методов стереосопоставления, а затем создать ортотрансформированное изображение, сопоставив два изображения, как их видит третий ортогональный и вертикальная камера.

OpenCV имеет несколько интересных функций для этой цели (например, стереореконструкция, функции сопоставления изображений и т. д.) и может быть более подходящим для интенсивного использования. Matlab, вероятно, также имеет интересные функции и может быть более подходящим для быстрых тестов.

Во-первых, ректификация — это какое-то перекос, но не тот, который вам нужен. Обычное выпрямление используется в стерео, чтобы убедиться, что совпадающие точки лежат в одной строке — не ваш случай. Ортокоррекция искажает перспективную проекцию в орфографическую - опять же не ваш случай. Вам не только не хватает 3D-модели для расчета этой деформации, но и она вам не нужна, поскольку ваши искажения перспективы незначительны, и у вас уже есть изображение, довольно близкое к орто (то есть, когда размер объектов мал по сравнению с перспективой расстояния просмотра). эффект небольшой).

Проблемы с выравниванием двух изображений возникают из-за небольших поворотов камеры между кадрами. Чтобы начать решение проблемы, вам нужно убедиться, что ваши изображения действительно перекрываются, скажем, на 30%. Чтобы узнать об этом, см. главу 9 этой книги.

Что вам нужно, так это просмотреть обычные методы сшивания изображений, которые используют гомографию для сопоставления двух изображений. Обратите внимание, что это предполагает, что изображения по существу плоские. Чтобы найти гомографию, вы можете сначала вручную выбрать 4 точки на одном изображении и 4 совпадающие точки на другом изображении и запустить функцию openCV findHomography(). Обратите внимание, что для поиска совпадений требуется перекрытие (на вашем изображении нет перекрытия). warpPerspective() может деформировать изображения после того, как гомография найдена.

«Какие алгоритмы/методы используются для орто-ректификации?

Если вам нужен хороший обзор методов, хорошим началом может стать книга «Геометрия множественного представления в компьютерном зрении» Хартли и Зиссермана: http://www.robots.ox.ac.uk:5000/~vgg/hzbook/

У Эндрю Зиссермана также есть несколько учебных пособий, доступных здесь, по адресу www.robots.ox.ac.uk/~az/tutorials/, которые могут быть более доступными/упрощающими поиск конкретной техники, которую вы хотите использовать.

«Какие инструменты лучше всего подходят для моих нужд: opencv, или обработка, или матлаб, или любой другой инструмент, который может легко помочь в исправлении изображений и создании мозаичного фото?»

В OpenCV доступно довольно много инструментов — взгляните на сшивание изображений для начала. Там также много доступно для исправления искажений. Однако это не обязательно должен быть тот инструмент, который вы используете, есть и другие!