Tensorflow реализация word2vec

Я попробовал предложенный вами способ создания пакетов - с циклом и использованием всего окна пропуска. Результаты:

<сильный>1. Более быстрое создание пакетов

Для размера пакета 128 и окна пропуска 5

• создание пакетов путем циклического перебора данных один за другим занимает 0,73 с на 10 000 пакетов
• создание пакетов с помощью обучающего кода, и num_skips=2 занимает 3,59 с на 10 000 пакетов.

<сильный>2. Повышенная опасность переобучения

Оставив остальную часть учебного кода как есть, я обучил модель обоим способам и записал средние потери каждые 2000 шагов:

Эта закономерность повторялась неоднократно. Он показывает, что использование 10 образцов на слово вместо 2 может привести к переобучению.

Вот код, который я использовал для создания пакетов. Он заменяет функцию generate_batch из учебника.

data_index = 0

def generate_batch(batch_size, skip_window):
    global data_index
    batch = np.ndarray(shape=(batch_size), dtype=np.int32)  # Row
    labels = np.ndarray(shape=(batch_size, 1), dtype=np.int32)  # Column

    # For each word in the data, add the context to the batch and the word to the labels
    batch_index = 0
    while batch_index < batch_size:
        context = data[get_context_indices(data_index, skip_window)]

        # Add the context to the remaining batch space
        remaining_space = min(batch_size - batch_index, len(context))
        batch[batch_index:batch_index + remaining_space] = context[0:remaining_space]
        labels[batch_index:batch_index + remaining_space] = data[data_index]

        # Update the data_index and the batch_index
        batch_index += remaining_space
        data_index = (data_index + 1) % len(data)

    return batch, labels

Редактировать: get_context_indices — это простая функция, которая возвращает срез индекса в skip_window вокруг data_index. Дополнительные сведения см. в документации по функции slice().

Существует параметр с именем num_skips, который обозначает количество пар (вход, вывод), сгенерированных из одного окна: [skip_window target skip_window]. Таким образом, num_skips ограничьте количество слов контекста, которые мы будем использовать в качестве выходных слов. Именно поэтому функция generate_batch assert num_skips <= 2*skip_window. Код просто случайным образом выбирает num_skip слова контекста для создания обучающих пар с целью. Но я не знаю, как num_skips влияет на производительность.