Какова концепция мини-пакета для FCN (семантическая сегментация)?

Какова концепция мини-пакета, когда мы отправляем одно изображение в FCN для семантической сегментации?

Значение по умолчанию в слоях данных — batch_size: 1. Это означает, что при каждом прямом и обратном проходе в сеть отправляется одно изображение. Итак, каков будет размер мини-партии? Это количество пикселей в изображении?

Другой вопрос: что, если мы отправим несколько изображений вместе в сеть? Влияет ли это на сходимость? В некоторых газетах я вижу количество изображений 20.

Спасибо


deep-learning caffe pycaffe matcaffe
person S.EB    schedule 09.03.2017    source источник
comment
batch_size равен 1 означает, что минимальный размер пакета также равен 1.   -  person Dr. Snoopy    schedule 09.03.2017
comment
@MatiasValdenegro Большое спасибо.   -  person S.EB    schedule 09.03.2017

Ответы (1)


arrow_upward
3
arrow_downward

Размер пакета — это количество изображений, отправляемых по сети за одну операцию обучения. Градиент будет рассчитан для всей выборки одним махом, что приведет к значительному приросту производительности за счет параллелизма при обучении на графической карте или кластере ЦП.

Размер партии оказывает множественное влияние на обучение. Во-первых, он обеспечивает более стабильные обновления градиента за счет усреднения градиента в пакете. Это может быть как полезным, так и вредным. По моему опыту, это было скорее полезно, чем вредно, но другие сообщали о других результатах.

Чтобы использовать параллелизм, размер пакета в основном равен степени 2. Таким образом, 8, 16, 32, 64 или 128. Наконец, размер пакета ограничен VRAM в видеокарте. Карта должна хранить все изображения и результаты во всех узлах графа и дополнительно все градиенты.

Это может взорваться очень быстро. В этом случае вам необходимо уменьшить размер пакета или размер сети.

person Thomas Pinetz    schedule 09.03.2017
comment
Спасибо за ваш ответ. Есть ли разница в концепции мини-пакетов между изображениями segmentation и classification? - person S.EB; 09.03.2017
comment
Не совсем. На мой взгляд, это более важно в сегментации, потому что внутриклассовые различия часто больше. Но концептуально разницы нет - person Thomas Pinetz; 09.03.2017