Caffe, установка пользовательских весов в слое

У меня есть сеть. В одном месте я хочу использовать concat. Как на этой картинке. картинка

К сожалению, сеть не обучается. Чтобы понять, почему я хочу изменить веса в concat. Это означает, что все значения из FC4096 получат 1, а все значения из FC16000 получат 0 в начале.

Я знаю, что FC4096 даст мне точность 57%, поэтому со скоростью обучения 10 ^ -6 я пойму, почему после конкатенации слои не научились.

Вопрос в том, как установить все значения из FC4096 в 1 и все значения из FC16000 в 0?


machine-learning deep-learning neural-network caffe pycaffe
person Aleksander Monk    schedule 26.06.2017    source источник
comment
Под весами вы имеете в виду, что каждое значение, поступающее из FC16000, будет умножаться на 1 или установлено на 1?   -  person GoodDeeds    schedule 26.06.2017
comment
@GoodDeeds Извините, я не ясно выразился. Я хотел установить веса на 1 или 0. И ответ Шай решает мою проблему.   -  person Aleksander Monk    schedule 26.06.2017

Ответы (1)


arrow_upward
3
arrow_downward

Вы можете добавить слой "Scale" поверх слоя FC16000 и установить для него значение 0:

layer {
  name: "scale16000"
  type: "Scale"
  bottom: "fc16000"
  top: "fc16000"  # not 100% sure this layer can work in-place, worth trying though.
  scale_param {
    bias_term: false
    filler: { type: "constant" value: 0 }
  }
  param { lr_mult: 0 decay_mult: 0 } # set mult to non zero if you want to train this scale
}
person Shai    schedule 26.06.2017