Публикации по теме 'word2vec'


Построчное руководство по реализации Word2Vec с использованием Numpy
Изучите внутреннюю работу Word2Vec Word2Vec рекламируется как один из самых больших и последних достижений в области обработки естественного языка (NLP). Концепция проста, элегантна и (относительно) легка для понимания. Быстрый поиск в Google возвращает несколько результатов о том, как их использовать со стандартными библиотеками, такими как Gensim и TensorFlow . Также, для любопытных, ознакомьтесь с оригинальной реализацией на языке C от Tomas Mikolov . Оригинал статьи тоже можно..

Использование Word2vec для музыкальных рекомендаций
Как мы используем нейронные сети для преобразования миллиардов потоков в лучшие рекомендации. Стриминговые сервисы изменили способ восприятия контента. В то время как системы рекомендаций ранее были ориентированы на представление вам контента, который вы, возможно, захотите приобрести для последующего использования, современные потоковые платформы должны вместо этого сосредоточиться на рекомендации контента, которым вы можете и захотите наслаждаться в данный момент. Поскольку любой..

Как подготовить данные для НЛП, компьютерного зрения, обработки звука!! Часть -1
«Алгоритмы машинного обучения принимают только числа» О нет!!!! Только цифры??? Итак, что делать с текстовыми данными, данными изображений, аудиоданными?? Что ж, если вы сделаете что-то и превратите свои текстовые данные в число, это запустит НЛП . Если вы что-то сделаете и преобразуете данные видео/изображения в число, которое будет компьютерным зрением Да, вы правы. Audio to Number -> Обработка звука Трудно переварить, да? Нам нужны данные!! Кроме того, нам нужно,..

Встраивания с Word2Vec в контекстах, не связанных с НЛП - подробности
Встраивания с Word2Vec в контекстах, не связанных с НЛП - подробности Изучите детали создания встраиваемых элементов в бизнес-контексте с помощью моделей на основе Word2Vec. Этот документ требует знакомства с моделями классов Word2Vec [1,2,3] и литературой по глубокому обучению. В этом документе мы рассмотрим детали создания векторов внедрения с помощью класса моделей Word2Vec в бизнес-контекстах, не связанных с НЛП. Мы будем работать над набором данных Instacart [4,31], чтобы..

Вопросы по теме 'word2vec'

Gensim train word2vec в википедии - предварительная обработка и параметры
Я пытаюсь обучить модель word2vec из gensim , используя итальянскую википедию " http://dumps.wikimedia.org/itwiki/latest/itwiki-latest-pages-articles.xml.bz2 " Однако я не уверен, что лучше всего препроцессировать для этого корпуса. gensim...
8892 просмотров
schedule 06.03.2023

Как получить вектор для предложения из word2vec токенов в предложении
Я сгенерировал векторы для списка токенов из большого документа, используя word2vec. Учитывая предложение, возможно ли получить вектор предложения из вектора токенов в предложении.
68367 просмотров
schedule 25.07.2022

Эквивалентность параметров Word2Vec и Gensim
Gensim - это оптимизированный порт Word2Vec для Python (см. http://radimrehurek.com/2013/09/deep-learning-with-word2vec-and-gensim/ ) В настоящее время я использую эти векторы: http://clic.cimec.unitn.it/composes/semantic-vectors.html Я...
4115 просмотров
schedule 05.11.2022

Использование word2vec для вычисления сходства между пользователями
Недавно я узнал об этом инструменте под названием word2vec. Для моей текущей работы мне нужно найти пользователей, похожих на данного пользователя. С одним пользователем связаны такие объекты, как возраст, квалификация, институт/организация,...
1062 просмотров

Использование векторов freebase с gensim
Я пытаюсь использовать вложения слов freebase, выпущенные Google, но мне трудно получить слова из имени freebase. model = gensim.models.Word2Vec.load_word2vec_format('freebase-vectors-skipgram1000.bin',binary=True) model.vocab.keys()[:10]...
1779 просмотров
schedule 24.07.2022

Gensim word2vec находит ближайшие слова по заданному слову
Как я могу найти N-ближайшие слова по заданному слову, используя реализацию gensim word2vec. Какой API для этого? Я имею в виду пропуск граммов здесь. Может я что-то пропустил, я читал все о поиске похожих слов, поиске лишнего и так далее... В...
2153 просмотров
schedule 11.04.2023

Смещение word2vec в сторону специального корпуса
Я новичок в stackoverflow. Пожалуйста, простите мой плохой английский. Я использую word2vec в школьном проекте. Я хочу работать с корпусом для конкретной предметной области (например, с учебником по физике) для создания векторов слов с помощью...
587 просмотров
schedule 22.04.2023

Настройка word2vec - KeyError: слово 'word' отсутствует в словаре
Я пытаюсь использовать word2vec, но при попытке сделать что-либо с любым словом выдает ошибку. Кажется, проблема с кодировкой, вот что я сделал: Инициируйте word2vec: import gensim, logging logging.basicConfig(format='%(asctime)s :...
8597 просмотров

Как я могу получить вектор из сохраненного текстового файла вектора?
Я уже обучил модель с помощью Word2vec в Python и сохранил вектор (размер которого = 300), соответствующий всем этим словам, как в файле vec.txt , теперь, если у меня есть одно слово, которое мне нужно, чтобы получить соответствующие векторы и...
133 просмотров
schedule 12.06.2023

Получить слово из массива в word2vec в gensim
Я только начал экспериментировать с word2vec form gensim, используя учебник, представленный в http://rare-technologies.com/word2vec-tutorial/ . Если нам нужны необработанные выходные векторы, мы пишем: model['computer'] И результат:...
764 просмотров
schedule 08.07.2023

Проверка точности word2vec в gensim
В настоящее время я использую gensim, чтобы воспроизвести результат примера, предоставленного Google. здесь Проблема в том, что проверка точности gensim не совпадает с результатами Google. Например, точность определения стран-столиц в Google...
4803 просмотров
schedule 10.10.2022

Понимание структуры и вывода Word2Vec Skip-Gram
У меня двоякий вопрос, но, надеюсь, не слишком сложный. И обе части конкретно относятся к модели Skip-Gram в Word2Vec: Первая часть касается структуры: насколько я понимаю, модель Skip-Gram основана на одной нейронной сети с одной входной...
2676 просмотров
schedule 24.10.2022

Как создать предложение из вектора признаков или слов?
Я использовал модель VGG 16-Layer Caffe для подписей к изображениям, и у меня есть несколько подписей к изображению. Теперь я хочу сгенерировать предложение из этих заголовков (слов). Я прочитал в документе о LSTM, что мне следует удалить слой...
768 просмотров

Два вектора каждого слова в базовой модели Skip-bigram word2vec с функцией softmax
Я читаю необработанную статью word2vec: http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Согласно приведенному ниже уравнению, каждое слово имеет два вектора, один из которых...
772 просмотров
schedule 15.07.2023

gensim word2vec: найти количество слов в словаре
После обучения модели word2vec с использованием gensim python, как определить количество слов в словарный запас модели?
66903 просмотров
schedule 31.10.2022

DeepLearning4J - ParagraphVectors: почему сходство отрицательное?
Я использую инструмент ParagraphVector в рамках DeepLearning4j. Я тренирую модель на наборе текстовых документов, а затем вычисляю сходство между этими документами. Теперь, как сказано на справочной странице ( http://deeplearning4j.org/word2vec ),...
376 просмотров

Как использовать word2vec и RNN вместе?
Итак, я использую word2vec в Java и пытаюсь как-то обучить его, чтобы он давал мне векторное представление слов и предложений. Могу ли я использовать это для подачи входных данных в нейронную сеть, чтобы получить ответ на основе данных word2vec? Я...
8963 просмотров

Где результат встраивания слов после запуска word2vec.py в TensorFlow?
Я запустил файл «word2vec.py» в папке «/tensorflow/models/embedding/». Но я не могу найти результат встраивания слов в выходную папку, и там только файлы моделей и какие-то неизвестные файлы, такие как этот: файлы результатов word2vec
380 просмотров
schedule 20.01.2023

Tensorflow реализация word2vec
Учебное пособие по Tensorflow здесь относится к их базовой реализации, которую вы можете найти на github здесь , где авторы Tensorflow реализуют обучение/оценку встраивания вектора word2vec с помощью модели Skipgram. Мой вопрос касается...
3850 просмотров
schedule 31.01.2024

Откуда берутся размеры в Word2Vec?
Я использую модель word2vec для обучения нейронной сети и построения нейронного вложения для поиска похожих слов в векторном пространстве. Но мой вопрос касается размеров встраивания слов и контекста (матриц), которые мы инициализируем случайными...
2530 просмотров