Обратное распространение и обучающий набор для чайников

Я в самом начале изучения нейронных сетей, но мои скудные навыки или недостаток интеллекта не позволяют мне понять из популярных статей, как правильно подготовить обучающую выборку для метода обучения обратного распространения ошибки (или его ограничений). Например, я хочу обучить простейший двухслойный перцептрон решать XOR с обратным распространением (например, изменить случайные начальные веса для 4 синапсов из первого слоя и 4 из второго). Простая функция XOR имеет два входа, один выход: {0,0}=>0, {0,1}=>1, {1,0}=>1, {1,1}=>0. Но теория нейронных сетей говорит, что «обратное распространение требует известного желаемого результата для каждого входного значения, чтобы вычислить градиент функции потерь». Означает ли это, что обратное распространение не может быть применено, если в обучающей выборке количество входов строго не равно количеству выходов, и этого ограничения нельзя избежать? Или это означает, что если я хочу использовать обратное распространение для решения таких задач классификации, как XOR (т. е. количество входов больше, чем количество выходов), теория говорит, что всегда необходимо переделывать обучающую выборку аналогичным образом (вход => желаемое вывод): {0,0}=>{0,0}, {0,1}=>{1,1}, {1,0}=>{1,1}, {1,1}=>{ 0,0}? Спасибо за любую помощь заранее!


person Сергей Иванопуло    schedule 21.02.2016    source источник


Ответы (1)


Означает ли это, что обратное распространение не может быть применено, если в тренировочном наборе количество входов не строго равно количеству выходов

Если вы имеете в виду, что результат - это «класс» в задаче классификации, я так не думаю,

обратное распространение требует известного желаемого результата для каждого входного значения, чтобы вычислить градиент функции потерь

Я думаю, это означает, что каждый вход должен иметь выход, а не другой выход.

В реальной задаче, такой как классификация цифр рукописного ввода (MNIST), существует около 50 000 обучающих данных (ввод), но они классифицируются только до 10 цифр.

person malioboro    schedule 21.02.2016