Обнаружение и сопоставление признаков - важная задача во многих приложениях компьютерного зрения, таких как построение структуры по движению, поиск изображений, обнаружение объектов и т. Д. В этой серии мы будем говорить об обнаружении и сопоставлении локальных функций.

Это часть 7-й серии Feature Detection and Matching. Другие статьи включены

Применение обнаружения и сопоставления признаков

  • Автоматизировать отслеживание объектов
  • Сопоставление точек для вычисления несоответствия
  • Стереокалибровка (оценка фундаментальной матрицы)
  • Сегментация на основе движения
  • Признание
  • Реконструкция 3D объекта
  • Робот-навигация
  • Поиск и индексирование изображений

Характерная черта

Функция - это часть информации, которая актуальна для решения вычислительной задачи, связанной с определенным приложением. Элементами могут быть определенные структуры изображения, такие как точки, края или объекты. Элементы также могут быть результатом общей операции по соседству или обнаружения элементов, примененных к изображению. Возможности можно разделить на две основные категории:

  • Элементы, которые находятся в определенных местах изображений, например горные вершины, углы зданий, дверные проемы или участки снега интересной формы. Эти виды локализованных функций часто называются ключевыми точками (или даже углами) и часто описываются появлением пятен пикселей, окружающих точку.
  • Элементы, которые можно сопоставить на основе их ориентации и локального внешнего вида (профили кромок), называются кромками, и они также могут быть хорошими индикаторами границ объекта и событий загораживания в последовательности изображений.

Главный компонент обнаружения и сопоставления признаков

  • Обнаружение: определите точку интереса
  • Описание. Внешний вид вокруг каждой характерной точки описывается некоторым образом, который (в идеале) инвариантен к изменениям освещения, перемещения, масштаба и поворота в плоскости. Обычно мы получаем вектор дескриптора для каждой характерной точки.
  • Соответствие. Дескрипторы сравниваются между изображениями, чтобы определить схожие черты. Для двух изображений мы можем получить набор пар (Xi, Yi) ↔ (Xi`, Yi` ), где (Xi, Yi) - это элемент одного изображения, а (Xi`, Yi`) его функция соответствия на другом изображении.

Интересная точка

Интересная точка или Feature Point - это точка с выразительной текстурой. Точка интереса - это точка, в которой направление границы объекта резко меняется, или точка пересечения двух или более краевых сегментов.

Свойства точки интереса

  • Он имеет четко определенное положение в пространстве изображения или хорошо локализован.
  • Он стабилен при локальных и глобальных возмущениях в области изображения, таких как изменения освещенности / яркости, так что точки интереса могут быть надежно вычислены с высокой степенью повторяемости.
  • Должен обеспечить эффективное обнаружение.

Возможные подходы

  • На основе яркости изображения (обычно по производной от изображения).
  • На основе выделения границ (обычно путем обнаружения кромок и анализа кривизны).

Алгоритмы идентификации

Дескриптор функции

Дескриптор признака - это алгоритм, который берет изображение и выводит дескрипторы признаков / векторы признаков. Дескрипторы функций кодируют интересную информацию в серию чисел и действуют как своего рода числовой «отпечаток пальца», который можно использовать, чтобы отличить одну функцию от другой.

В идеале эта информация должна быть неизменной при преобразовании изображения, чтобы мы могли снова найти эту функцию, даже если изображение каким-либо образом преобразовано. После обнаружения точки интереса мы переходим к вычислению дескриптора для каждой из них. Дескрипторы можно разделить на два класса:

  • Локальный дескриптор. Это компактное представление локальной окрестности точки. Локальные дескрипторы пытаются напоминать форму и внешний вид только в локальной окрестности точки и поэтому очень подходят для ее представления с точки зрения сопоставления.
  • Глобальный дескриптор: глобальный дескриптор описывает все изображение. Как правило, они не очень надежны, поскольку изменение части изображения может привести к его сбою, так как это повлияет на результирующий дескриптор.

Алгоритмы

Соответствие функций

Сопоставление функций или, как правило, сопоставление изображений, являющееся частью многих приложений компьютерного зрения, таких как регистрация изображений, калибровка камеры и распознавание объектов, является задачей установления соответствия между двумя изображениями одной и той же сцены / объекта. Общий подход к сопоставлению изображений состоит в обнаружении набора точек интереса, каждая из которых связана с дескрипторами изображения из данных изображения. После того, как признаки и их дескрипторы были извлечены из двух или более изображений, следующим шагом является установление некоторых предварительных совпадений признаков между этими изображениями.

Как правило, эффективность методов сопоставления на основе точек интереса зависит как от свойств лежащих в основе точек интереса, так и от выбора связанных дескрипторов изображений. Таким образом, в приложениях должны использоваться детекторы и дескрипторы, соответствующие содержимому изображений. Например, если изображение содержит клетки бактерий, следует использовать детектор капель, а не угловой детектор. Но если изображение представляет собой вид города с воздуха, угловой детектор подходит для обнаружения искусственных построек. Кроме того, очень важен выбор детектора и дескриптора, который учитывает деградацию изображения.

Алгоритмы

  • Матчер грубой силы
  • Матчер FLANN (быстрая библиотека для приближенных ближайших соседей)

Алгоритм обнаружения и сопоставления признаков

  • Найдите набор отличительных ключевых точек
  • Определите область вокруг каждой ключевой точки
  • Извлечь и нормализовать содержимое региона
  • Вычислить локальный дескриптор из нормализованной области
  • Соответствие локальным дескрипторам

использованная литература

  • Брадски и Келер. Изучение OpenCV: компьютерное зрение с помощью библиотеки OpenCV. О'Рейли, 2008 г.
  • М. Браун, Р. Селиски и С. Уиндер. Сопоставление нескольких изображений с использованием участков, ориентированных на разные масштабы. В Proc. CVPR, страницы 510–517, 2005 г.
  • Х. Бэй, Т. Туйтелаарс и Л. Ван Гул. SURF: Ускоренные надежные функции. В Proc. ECCV, страницы 404–417, 2006.
  • К. Харрис и М. Дж. Стивенс. Комбинированный детектор угла и края. В конференции Alvey Vision, страницы 147–152, 1988.
  • Ю. Кэ и Р. Суктанкар. PCA-SIFT: более четкое представление локальных дескрипторов изображений. В Proc. CVPR, страницы 506–513, 2004.
  • Эдвард Ростен и Том Драммонд, «Машинное обучение для высокоскоростного обнаружения углов» на 9-й Европейской конференции по компьютерному зрению, т. 1. 2006. С. 430–443.
  • Эдвард Ростен, Рид Портер и Том Драммонд, «Быстрее и лучше: подход машинного обучения к обнаружению углов» в IEEE Trans. Анализ шаблонов и машинный интеллект, 2010, том 32, стр. 105–119.
  • Р. Шелиски. Компьютерное зрение: алгоритмы и приложения. Спрингер, 2010.
  • Https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_feature2d/py_table_of_contents_feature2d/py_table_of_contents_feature2d.html
  • Https://udacity.com/course/computer-vision-nanodegree--nd891

Спасибо за прочтение! Если вам понравилось, нажмите кнопку хлопка ниже и следите за Data Breach, чтобы получать больше обновлений.