Результаты предсказания нейронной сети свертки такие же

Я запускаю простую сверточную нейронную сеть, выполняю регрессию и прогнозирую результаты. Он предсказывает 30 выходов (с плавающей запятой)

Результаты прогнозирования почти одинаковы независимо от любых входных данных. (сходится к среднему на обученных выходных данных)

Обучение после 1000 итераций сходится к максимальной потере 0,0107 (что хорошо) на основе этого набора данных.

What is causing this?

Я попытался установить смещение на 1,0, оно приносит небольшие переменные, но все равно ниже. Когда я устанавливаю смещение на 0, результаты намного хуже, все результаты на 100% одинаковы. я уже использую регуляризацию max(0,x) без улучшения результатов.

Выходы ниже. Как видите, первый, второй, третий массивы почти одинаковы.

 [[ 66.60850525  37.19641876  29.36295891 ...,  71.91300964  47.92261505
   85.02180481]
 [ 66.4874115   37.09647369  29.23101997 ...,  71.90777588  47.74259186
   85.10979462]
 [ 66.54870605  37.19485474  29.36085892 ...,  71.84892273  47.8970108
   85.05699921]
 ..., 
 [ 65.7435379   36.78604889  28.57537079 ...,  71.98916626  47.03699493
   85.88017273]
 [ 65.7435379   36.78604889  28.57537079 ...,  71.98916626  47.03699493
   85.88017273]
 [ 65.7435379   36.78604889  28.57537079 ...,  71.98916626  47.03699493
   85.88017273]]

Сетевая модель работает с этими параметрами

base_lr: 0.001
lr_policy: "fixed"
display: 100
max_iter: 1000
momentum: 0.9

machine-learning neural-network conv-neural-network
person pbu    schedule 13.02.2015    source источник
comment
Что это за числа, которые вы напечатали? Это результат нейронной сети? Если да, то их диапазон может быть проблемой. Попробуйте масштабировать входные и выходные данные в диапазоне (0,1) как для набора поездов, так и для тестовых наборов.   -  person Amin Suzani    schedule 14.02.2015
comment
@AminSuzani Выше показаны результаты, которые уже масштабированы и умножены.   -  person pbu    schedule 14.02.2015
comment
Считаете ли вы, что веса сети велики и переоснащаются?   -  person pbu    schedule 14.02.2015

Ответы (1)


arrow_upward
0
arrow_downward

Судя по результату и тому факту, что предвзятость сильно влияет на результат, у меня такое ощущение, что, возможно, вы не нормализовали ввод и вывод.

Попробуйте нормализовать их между -1 и +1.

person zfy    schedule 17.02.2015
comment
я нормализовал ввод и вывод между 0 и 1. Имеет ли значение нормализация между -1 и 1? Я работаю над регрессией, где результаты + ve. Я решил проблему, добавив 2 полносвязных слоя. Это вроде работает, но все же я сбит с толку тем, что именно вызывает эту проблему. - person pbu; 17.02.2015
comment
Диапазон вывода сигмовидной функции (если это активация вашего NN) равен (-1, 1), поэтому я бы нормализовал от -1 до 1. - person zfy; 18.02.2015