Как создать предложение из вектора признаков или слов?

Я использовал модель VGG 16-Layer Caffe для подписей к изображениям, и у меня есть несколько подписей к изображению. Теперь я хочу сгенерировать предложение из этих заголовков (слов).
Я прочитал в документе о LSTM, что мне следует удалить слой SoftMax из обучающей сети и предоставить вектор признаков 4096 из слоя fc7 непосредственно в LSTM.< br> Я новичок в LSTM и RNN.
С чего начать? Есть ли какой-нибудь учебник, показывающий, как генерировать предложение по маркировке последовательности?


deep-learning lstm recurrent-neural-network caffe word2vec
person Omkar Acharya    schedule 28.12.2015    source источник

Ответы (1)


arrow_upward
4
arrow_downward

Насколько я знаю, основная ветвь BVLC/caffe еще не поддерживает архитектуру рекуррентного уровня.

Вы должны получить ветку recurrent из jeffdonahue/caffe. Эта ветвь поддерживает RNN и LSTM.
Она также содержит подробный пример о том, как создавать подписи к изображениям, обученные с использованием данных MS COCO.

person Shai    schedule 28.12.2015