Как определить, что два изображения одинаковы, даже если у одного из них кадрирование/соотношение немного различаются?

Вы можете взглянуть на сопоставление функций. Идея состоит в том, чтобы найти признаки на двух изображениях и сопоставить их. Этот метод обычно используется для поиска шаблона (скажем, логотипа) в другом изображении. Функция, по сути, может быть описана как то, что людям может показаться интересным в изображении, например, углы или открытые пространства. Существует много типов методов обнаружения признаков, однако я рекомендую использовать масштабно-инвариантное преобразование признаков (SIFT) в качестве алгоритма обнаружения признаков. SIFT инвариантен к перемещению изображения, масштабированию, вращению, частично инвариантен к изменениям освещения и устойчив к локальным геометрическим искажениям. Кажется, это соответствует вашей спецификации, где изображения могут иметь немного разные соотношения.

Учитывая ваши два предоставленных изображения, вот попытка сопоставить функции, используя FLANN средство сопоставления функций. Чтобы определить, являются ли два изображения одинаковыми, мы можем основывать их на некотором заранее определенном пороге, который отслеживает количество совпадений, прошедших тест соотношения, описанный в Отличительные особенности изображения на основе масштабно-инвариантных ключевых точек Дэвид Г. Лоу. Простое объяснение теста состоит в том, что тест отношения проверяет, являются ли совпадения неоднозначными и должны быть удалены, вы можете рассматривать его как метод удаления выбросов. Мы можем подсчитать количество совпадений, прошедших этот тест, чтобы определить, совпадают ли два изображения. Вот результаты сопоставления функций:

Matches: 42

Точки представляют все обнаруженные совпадения, а зеленые линии представляют «хорошие совпадения», прошедшие проверку соотношения. Если вы не используете тест отношения, то все точки будут нарисованы. Таким образом, вы можете использовать этот фильтр в качестве порога, чтобы сохранить только наиболее подходящие функции.

Я реализовал это на Python, я не очень хорошо знаком с Rails. Надеюсь это поможет. Удачи!

Код

import numpy as np
import cv2

# Load images
image1 = cv2.imread('1.jpg', 0)
image2 = cv2.imread('2.jpg', 0)

# Create the sift object
sift = cv2.xfeatures2d.SIFT_create(700)

# Find keypoints and descriptors directly
kp1, des1 = sift.detectAndCompute(image2, None)
kp2, des2 = sift.detectAndCompute(image1, None)

# FLANN parameters
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50)   # or pass empty dictionary
flann = cv2.FlannBasedMatcher(index_params,search_params)
matches = flann.knnMatch(des1,des2,k=2)

# Need to draw only good matches, so create a mask
matchesMask = [[0,0] for i in range(len(matches))]

count = 0
# Ratio test as per Lowe's paper (0.7)
# Modify to change threshold 
for i,(m,n) in enumerate(matches):
    if m.distance < 0.15*n.distance:
        count += 1
        matchesMask[i]=[1,0]

# Draw lines
draw_params = dict(matchColor = (0,255,0),
                   # singlePointColor = (255,0,0),
                   matchesMask = matchesMask,
                   flags = 0)

# Display the matches
result = cv2.drawMatchesKnn(image2,kp1,image1,kp2,matches,None,**draw_params)
print('Matches:', count)
cv2.imshow('result', result)
cv2.waitKey()

Поскольку ImageMagick — очень старый, продвинутый и многофункциональный инструмент, было бы сложно создать интерфейс, охватывающий большинство функций. Каким бы замечательным он ни был, rmagick (как и многие попытки, предпринятые Python) не приближается к охвату всех функций.

Я предполагаю, что для многих случаев использования будет достаточно безопасно и намного проще просто выполнить метод командной строки и прочитать его. В рубине это будет выглядеть так:

require 'open3'

def check_subimage(large, small)
    stdin, stdout, stderr, wait_thr = Open3.popen3("magick compare -subimage-search -metric RMSE #{large} #{small} temp.jpg")
    result = stderr.gets
    stderr.close
    stdout.close
    return result.split[1][1..-2].to_f < 0.2
end

if check_subimage('a.jpg', 'b.jpg')
    puts "b is a crop of a"
else
    puts "b is not a crop of a"
end

Я расскажу о важных вещах, а затем расскажу о дополнительных примечаниях.

Команда использует магическое сравнение, чтобы проверить, является ли второе изображение (small) частью первого (large). Эта функция не проверяет, что маленький строго меньше большого (как по высоте, так и по ширине). Число, которое я поставил для сходства, составляет 0,2 (ошибка 20%), а значение для предоставленных вами изображений составляет около 0,15. Вы можете настроить это! Я обнаружил, что изображения, которые являются строгим подмножеством, получают менее 0,01.

• Если вам нужно меньше ошибок (меньшие числа) в случаях, когда у вас есть перекрытие 90%, но второе изображение имеет некоторые дополнительные элементы, которых нет в первом, вы можете запустить его один раз, а затем обрезать первое большое изображение до того места, где содержится субизображение. , затем снова запустите его с обрезанным изображением в качестве «маленького» и исходным «маленьким» изображением в качестве большого.
• Если вам действительно нужен хороший объектно-ориентированный интерфейс в Ruby, rmagick использует MagicCore API. Эта (ссылка на документацию) команда, вероятно, является тем, что вы хотите использовать для ее реализации, и вы можете открыть PR для rmagick или упаковать cext самостоятельно.
• Использование open3 запустит поток (см. документацию). Закрытие stderr и stdout не является «необходимым», но вы должны это сделать.
• Изображение «temp», которое является третьим аргументом, указывает файл для вывода анализа. Бегло взглянув, я не смог найти способ не требовать его, но он просто перезаписывается автоматически, и его можно было бы сохранить для отладки. Для вашего примера это будет выглядеть так;

• Полный вывод имеет формат 10092,6 (0,154003) @ 0,31. Первое число — среднеквадратичное значение из 655 535, второе (которое я использую) — нормализованный процент. Последние два числа представляют собой местоположение исходного изображения, с которого начинается маленькое изображение.
• Поскольку нет объективного источника достоверной информации о том, насколько «похожи» изображения, я выбрал RMSE (см. дополнительные параметры метрики здесь). Это довольно распространенная мера различий между значениями. Абсолютный счетчик ошибок (AE) может показаться хорошей идеей, однако кажется, что некоторые программы для обрезки не полностью сохраняют пиксели, поэтому вам, возможно, придется настроить размытие, и это не нормализованное значение, поэтому вам придется сравнить количество ошибок. с размером изображения и еще много чего.

Получите гистограмму обоих изображений и сравните их. Это будет очень хорошо работать для кадрирования и масштабирования, если из-за них не произойдет слишком резкого изменения.

Это лучше, чем текущий подход, когда вы напрямую вычитаете изображения. Но такой подход пока мало у кого есть.

Обычно сопоставление с шаблоном дает хороший результат в таких ситуациях. Сопоставление с шаблоном — это метод поиска областей изображения, которые соответствуют (подобны) шаблонному изображению (второму изображению). Этот алгоритм дает оценку для лучшей позиции macthed в исходном изображении (второе).

В opencv с использованием метода TM_CCOEFF_NORMED дает оценку от 0 до 1. Если оценка равна 1, это означает, что изображение шаблона является точной частью (Rect) исходного изображения. , но если у вас есть небольшое изменение в освещении или перспективе между двумя изображениями, оценка будет ниже 1.

Теперь, рассматривая порог для оценки сходства, вы можете узнать, одинаковы они или нет. Этот порог можно получить методом проб и ошибок на нескольких образцах изображений. Я попробовал ваши изображения и получил оценку 0,823863. Вот код (opencv C++) и общая область между двумя изображениями, полученная путем сопоставления:

Mat im2 = imread("E:/1/1.jpg", 1);
//Mat im2;// = imread("E:/1/1.jpg", 1);
Mat im1 = imread("E:/1/2.jpg", 1);

//im1(Rect(0, 0, im1.cols - 5, im1.rows - 5)).copyTo(im2);

int result_cols = im1.cols - im2.cols + 1;
int result_rows = im1.rows - im2.rows + 1;

Mat result = Mat::zeros(result_rows, result_cols, CV_32FC1);

matchTemplate(im1, im2, result, TM_CCOEFF_NORMED);

double minVal; double maxVal;
Point minLoc; Point maxLoc;
Point matchLoc;

minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc, Mat());

cout << minVal << " " << maxVal << " " << minLoc << " " << maxLoc << "\n";
matchLoc = maxLoc;

rectangle(im1, matchLoc, Point(matchLoc.x + im2.cols, matchLoc.y + im2.rows), Scalar::all(0), 2, 8, 0);
rectangle(result, matchLoc, Point(matchLoc.x + im2.cols, matchLoc.y + im2.rows), Scalar::all(0), 2, 8, 0);

imshow("1", im1);
imshow("2", result);
waitKey(0);

Рассмотрим метод find_similar_region. Используйте меньшее из двух изображений в качестве целевого изображения. Попробуйте разные значения атрибутов fuzz на изображении и целевом изображении.