компьютерное зрение: настройка сегментации. Потенциалы сокращения графика

Я пытался научить себя некоторым простым алгоритмам компьютерного зрения и пытаюсь решить проблему, когда у меня есть изображение, искаженное шумом, и все, что я пытаюсь сделать, это отделить черный фон от переднего плана, который имеет некоторый сигнал. Теперь фоновые RGB-каналы не полностью нулевые, поскольку они могут иметь некоторый шум. Однако человеческий глаз может легко отличить передний план от заднего.

Итак, что я сделал, так это использовал алгоритм SLIC, чтобы разбить изображение на суперпиксели. Идея состоит в том, что, поскольку изображение искажено шумом, сбор статистики по патчам может привести к лучшей классификации фона и переднего плана из-за более высокого отношения сигнал-шум.

После этого я получаю около 100 патчей, которые должны иметь похожий профиль, и результат SLIC кажется разумным. Я читал о разрезах графа (статья Колмогорова), и мне показалось, что неплохо попробовать решить бинарную проблему, которая у меня есть. Итак, я построил граф, который является MRF первого порядка, и у меня есть ребра между непосредственными соседями (4-связный граф).

Теперь мне было интересно, какие возможные унарные и бинарные термины я могу использовать здесь для сегментации. Итак, я думал об унарном члене, я могу смоделировать его как простую гауссиану, где фон должен иметь нулевое среднее значение интенсивности, а передний план должен иметь ненулевое среднее значение. Хотя я изо всех сил пытаюсь понять, как это кодировать. Должен ли я просто предположить некоторую дисперсию шума и вычислить вероятности напрямую, используя статистику исправлений?

Аналогичным образом, для соседних патчей я хочу поощрить их использовать аналогичную маркировку, но я не уверен, какой двоичный термин я могу разработать, чтобы отразить это. Кажется, просто разница между меткой (1 или 0) кажется странной...

Извините за многословный вопрос. Надеясь, что кто-то может дать полезный совет о том, как начать.


person Luca    schedule 08.10.2014    source источник
comment
Хорошим местом для начала будет журнальная статья Юрия Бойкова здесь: csd.uwo. ca/~yuri/Papers/pami01.pdf   -  person Toby Sharp    schedule 09.10.2014
comment
Вы можете просмотреть пример с несколькими ярлыками, который можно найти по адресу мой старый веб-сайт.   -  person Shai    schedule 13.10.2014
comment
Большое спасибо Шай! Ваш сайт дает мне много идей для экспериментов. Спасибо еще раз!   -  person Luca    schedule 13.10.2014


Ответы (1)


Вы можете построить свою модель CRF на основе суперпикселей, чтобы суперпиксель имел связь с другим суперпикселем, если это его сосед.

Для вашей статистической модели Pixel Wise Posteriors просты и дешевы. вычислить.

Итак, я предлагаю следующее для унарных членов CRF:

  1. Постройте гистограммы переднего плана и фона по текстуре на пиксель (при условии, что у вас есть маска или разумное количество отмеченных пикселей переднего плана (обратите внимание, не суперпиксели)).
  2. Для каждого суперпикселя сделайте предположение о независимости пикселей внутри него, так что вероятность того, что суперпиксели будут находиться либо на переднем, либо на заднем плане, является произведением каждого наблюдения в суперпикселе (на практике мы суммируем логарифмы). Индивидуальные члены правдоподобия берутся из сгенерированных вами гистограмм.
  3. Вычислите апостериорную вероятность для переднего плана как совокупную вероятность, описанную выше для переднего плана, деленную на сумму совокупных вероятностей обоих. Аналогично для фона.

Попарные термины между суперпикселями могут быть такими же простыми, как разница между средними наблюдаемыми текстурами (по пикселям) для каждого из них, прошедшего через ядро, например, Функция радиального базиса.

В качестве альтернативы вы можете рассчитать гистограммы для каждой наблюдаемой текстуры суперпикселей (опять же, попиксельно) и вычислить Расстояние Бхаттачарьи между каждой соседней парой суперпикселей.

person Jack H    schedule 06.09.2017