Ошибка SparkR в sparkR.init(master=local) в RStudio

Я установил пакет SparkR из дистрибутива Spark в библиотеку R. Я могу вызвать следующую команду, и она работает правильно: library(SparkR)

Однако, когда я пытаюсь получить контекст Spark, используя следующий код,

sc <- sparkR.init(master="local")

Через некоторое время происходит сбой со следующим сообщением:

Error in sparkR.init(master = "local") :
   JVM is not ready after 10 seconds

Я установил JAVA_HOME, и у меня есть работающая RStudio, где я могу получить доступ к другим пакетам, таким как ggplot2. Я не знаю, почему он не работает, и я даже не знаю, где исследовать проблему.


rstudio apache-spark sparkr
person unk1102    schedule 09.07.2015    source источник
comment
Не могли бы вы предоставить более подробную информацию? Версия Spark/SparkR и R, ОС для начинающих. Вы установили SparkR из репозитория, добавили двоичные файлы в .libPaths? Работает ли он вне RStudio (оболочка SparkR, оболочка R)?   -  person zero323    schedule 12.07.2015

Ответы (4)


arrow_upward
2
arrow_downward

У меня была та же проблема, и мой файл spark-submit.cmd также не выполнялся из командной строки. Следующие шаги сработали для меня

Перейдите к переменным среды и в системных переменных выберите имя переменной PATH. Наряду с другими значениями добавьте c:/Windows/System32/ через точку с запятой. Это заставило мой spark-submit.cmd запускаться из командной строки и, в конечном итоге, из Rstudio.

Я понял, что мы получаем указанную выше проблему, только если не указаны все необходимые значения пути. Убедитесь, что все ваши значения пути (R, Rtools) указаны в переменных среды. Например, мой путь Rtools был c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

Надеюсь, это поможет.

person Nahush    schedule 29.07.2015

arrow_upward
0
arrow_downward

Попробуйте дать права на выполнение C:/sparkpath/bin/spark-submit.cmd. Это сработало для меня.

person Hannibaal    schedule 12.08.2015

arrow_upward
0
arrow_downward

Я получил точно такое же сообщение об ошибке. Мой случай немного отличается, так как раньше я успешно запускал SparkR в RStudio. Но через несколько дней он уже не работает.

Глядя на преобразование между Шиварамом Венкатараманом и Пракашем Поншанкаарчиннусами, я понял, что это может иметь какое-то отношение к разрешению на запуск.

https://issues.apache.org/jira/browse/SPARK-8603

Итак, что я сделал, что в конечном итоге сработало, так это то, что я снова разархивировал spark tar.gz в свою папку C:/ (ранее он хранился на диске D:/) И SparkR РАБОТАЕТ!!!

снимок экрана работающей RStudio

person Xiaoyi    schedule 18.03.2016

arrow_upward
0
arrow_downward

После установки Hadoop следует Spark.

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR

person mavez DABAS    schedule 07.06.2016
comment
есть ли альтернатива brew info для Windows? - person runr; 03.05.2017