У меня есть некоторые данные JSON, связанные с продажами, в моем кластере ElasticSearch, и я хотел бы использовать Spark Streaming (используя Spark 1.4.1) для динамической агрегации входящих событий продаж с моего веб-сайта электронной коммерции через...

У меня есть модель LDA, работающая с размером корпуса из 12 054 документов с размером словаря 9 681 слово и 60 кластерами. Я пытаюсь получить распространение темы по документам, вызывая .topicDistributions () или .javaTopicDistributions (). Оба эти...

Я использую Спарк 1.4.1. Я могу использовать spark-submit без проблем. Но когда я побежал ~/spark/bin/spark-shell Я получил ошибку ниже, я настроил SPARK_HOME и JAVA_HOME . Однако со Spark 1.2 все было в порядке. 15/10/08 02:40:30 WARN...

Я запускаю потоковое приложение Spark в кластере с 3 рабочими узлами. Время от времени задания не выполняются из-за следующего исключения: Job aborted due to stage failure: Task 0 in stage 4508517.0 failed 4 times, most recent failure: Lost task...