Почему средняя абсолютная ошибка не снижается в сети с полной прямой связью после выполнения VAE?

Я пытаюсь построить модель предсказания, изначально я сделал Variational Autoencoder и уменьшил количество признаков с 2100 до 64.

Теперь, имея (5000 X 64) образцы для обучения и (2000 X 64) для тестирования, я попытался построить сеть с полной прямой связью или MLP, но в результате, когда моя средняя абсолютная ошибка достигает 161, она не снижается. Я пробовал изменять все гиперпараметры, а также скрытые слои, но бесполезно.

Может ли кто-нибудь предложить, в чем причина и как я могу преодолеть эту проблему?


machine-learning deep-learning autoencoder
person Vinod Prime    schedule 11.01.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Прежде всего, обучение нейронной сети может быть немного сложным. Производительность сети после обучения (даже самого процесса обучения) зависит от большого количества факторов. Во-вторых, вы должны более конкретно указать свой набор данных (скорее проблему) в своем вопросе. Просто глядя на ваш вопрос, что можно сказать, это...

  • Каков диапазон значений в ваших данных? Имея среднюю абсолютную ошибку, величина вашей ошибки, равной 161, довольно высока. Похоже, у вас большие значения в ваших данных. (Попробуйте нормализовать данные, т.е. вычесть среднее значение и разделить на дисперсию каждой из ваших характеристик/переменных.
  • Как вы инициализировали веса вашей сети? Эффективность тренировки очень сильно зависит от начальных значений веса. Неправильная инициализация может привести к локальному минимуму. (Попробуйте инициализировать, используя метод инициализации Glorot)
  • Вы уменьшили размерность с 2100 до 64. Не слишком ли это много? (на самом деле это может быть нормально, но это действительно зависит от ваших данных).
person Ayan Das    schedule 11.01.2016