Понимание структуры и вывода Word2Vec Skip-Gram

Это мой первый ответ в SO, так что вот оно.

Согласно этой статье, ваше понимание обеих частей кажется правильным:

http://arxiv.org/abs/1411.2738

В документе подробно объясняется word2vec и в то же время он очень прост - его стоит прочитать, чтобы получить полное представление об архитектуре нейронной сети, используемой в word2vec.

• В структуре Skip Gram действительно используется единственная нейронная сеть, с вводом в виде целевого слова с горячим кодированием и ожидаемым выходом в виде контекстных слов с горячим кодированием. После обучения нейронной сети на корпусе текста входная матрица весов W используется в качестве векторных представлений слов в корпусе, а выходная матрица весов W ', который является общим для всех выходов C (выходные-векторы в терминологии вопроса, но во избежание путаницы с представлениями выходного вектора, используемыми далее ..), становится выходным вектором представления слов. Обычно представления вектора вывода игнорируются, а представления вектора ввода, W, используются как вложения слов. Чтобы понять размерность матриц, если мы предположим, что размер словаря равен V, а размер скрытого слоя равен N, у нас будет W как матрицу (V, N), где каждая строка представляет входной вектор проиндексированного слова в словаре. W ' будет матрицей (N, V), в которой каждый столбец представляет выходной вектор проиндексированного слова. Таким образом мы получаем N-мерные векторы для слов.
• Как вы упомянули, каждый из выходных данных (избегая использования термина «выходной вектор») имеет размер V и является результатом функции softmax, причем каждый узел в выходных данных дает вероятность появления слова как контекстное слово для заданного целевого слова, что приводит к тому, что выходы не кодируются в горячем режиме, но ожидаемые выходы действительно кодируются в горячем режиме, т.е. фактическое слово, встречающееся в этой позиции контекста, из выходных данных нейронной сети, а затем веса обновляются с использованием градиентного спуска.