Как я могу использовать deeplearning4j Word2vec со Spark?

При использовании spark-submit мне нужно отправить зависимости с --packages. Какой пакет мне следует использовать?

Я попытался создать банку uber, содержащую зависимости, но получаю следующую ошибку:

java.lang.IllegalArgumentException: Please specify an existing file

Ошибка является результатом следующего кода:

String path = "hdfs:///user/data.txt";
SentenceIterator iter = new LineSentenceIterator(new File(path));

person blpasd    schedule 27.07.2016    source источник


Ответы (1)


На самом деле Deeplearning4j имеет собственную искровую версию word2vec. Ознакомьтесь с нашими примерами здесь: https://github.com/deeplearning4j/deeplearning4j/blob/master/deeplearning4j-scaleout/spark/dl4j-spark-nlp/src/test/java/org/deeplearning4j/spark./models/embeddings/word2vec/Word2VecTest.java#L57

person Adam Gibson    schedule 28.07.2016
comment
Ссылка мертва. Вместо этого попробуйте следующее: github.com/deeplearning4j/dl4j-examples/blob/ - person Max Murphy; 08.06.2018