Модель глубокого обучения для поиска похожих изображений (хеширование с учетом местоположения)

Есть разные изображения одного и того же объекта. Снимки сделаны с разных ракурсов, поэтому, хотя объект на снимке один и тот же, сами снимки могут быть совершенно разными.

Есть ли пример или готовая к использованию модель глубокого обучения, которая будет создавать похожие/близкие векторы для разных изображений одного и того же объекта? (похоже, что распознавание лиц работает примерно так же...)


person Alex Craft    schedule 19.03.2017    source источник


Ответы (1)


То, что вы ищете, - это сиамская сеть, в которой вы пропускаете 2 изображения через одну и ту же сеть и пытаетесь максимизировать расстояние между разнородными изображениями и минимизировать его между похожими. В другом варианте использовались три изображения вместо двух, одно из которых выступало в качестве привязки, а одно из двух других принадлежало к тому же классу, что и оригинал, а другое принадлежало к другому классу, и вы пытаетесь минимизировать и максимизировать расстояние от привязки соответственно. Функция потерь, которая достигает этого, является контрастной функцией потерь. Посмотрите здесь для реализации контрастных потерь. И вы можете использовать любую стандартную архитектуру в такой настройке, я лично нашел VGG-16 легким в настройке и простым.

Вот некоторые документы, которые вы должны просмотреть, чтобы понять математику и теорию, лежащие в основе одного и того же

  1. Изучение визуального сходства для дизайна продукта
  2. Дискриминативное изучение метрики сходства с применением для проверки лица
person rajat    schedule 19.03.2017