Запуск SparkR через RStudio

Я использовал ссылку ниже, чтобы узнать, как запустить SparkR через RStudio:

http://blog.danielemaasit.com/2015/07/26/installing-and-starting-sparkr-locally-on-windows-8-1-and-rstudio/

У меня проблемы с разделом 4.5.

if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
  Sys.setenv(SPARK_HOME = "C:/Apache/spark-2.0.0")
}
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "1g"))

library(SparkR)
sc<-sparkR.session(master = "local")
sqlContext <- sparkRSQL.init(sc)

DF <- createDataFrame(sqlContext, faithful)

Error comes up when I run the DF function: 

Error in invokeJava(isStatic = TRUE, className, methodName, ...) : 
  java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
    at java.lang.reflect.Constructor.newInstance(Unknown Source)
    at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:258)
    at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:359)
    at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:263)
    at org.apache.spark.sql.hive.HiveSharedState.metadataHive$lzycompute(HiveSharedState.scala:39)
    at org.apache.spark.sql.hive.HiveSharedState.metadataHive(HiveSharedState.scala:38)
    at org.apache.spark.sql.hive.HiveSharedState.externalCatalog$lzycompute(HiveSharedState.scala:46)
    at org.apache.spark.sql.hive.HiveSharedState.externalCatalog(HiveSharedState.scala:45)
    at org.a
In addition: Warning message:
'createDataFrame(sqlContext...)' is deprecated.
Use 'createDataFrame(data, schema = NULL, samplingRatio = 1.0)' instead.
See help("Deprecated") 

Я не могу сказать, в чем ошибка, и любая помощь будет принята с благодарностью.

Спасибо!


person nak5120    schedule 16.08.2016    source источник
comment
не могли бы вы поделиться выводом jps с вашего терминала?   -  person Krishna Kalyan    schedule 17.08.2016
comment
Какая у вас версия Спарка? Начиная с версии 1.6.0, Spark включает SparkR, и вам не следует загружать и устанавливать более старую версию SparkR (1.4.0), как вы, кажется, сделали (она не будет работать). Кроме того, проверьте, установлен ли SPARK_HOME и существует ли ваш каталог SPARK_HOME/R/lib.   -  person desertnaut    schedule 17.08.2016
comment
Я только что попытался загрузить 1.6.0, но у меня возникли проблемы с установкой этой части. Я понял, что изначально этого не делал, поэтому, как только я это выясню, этот вопрос может иметь большее значение.   -  person nak5120    schedule 18.08.2016
comment
У вас возникли проблемы с установкой чего? Искра 1.6? Если да, посмотрите мой ответ здесь stackoverflow.com/questions/33887227/   -  person desertnaut    schedule 18.08.2016
comment
Только что отредактировал вопрос @desertnaut   -  person nak5120    schedule 18.08.2016
comment
Почему ты звонишь library(SparkR) и spark.session дважды? Кроме того, многие из используемых вами команд устарели в Spark 2.0 — см. официальные документы здесь spark.apache.org/docs/latest/   -  person desertnaut    schedule 18.08.2016
comment
Я просто проверял, но да, я сделаю только spark.session.   -  person nak5120    schedule 18.08.2016


Ответы (1)


Попробуй это

Sys.setenv(SPARK_HOME = "C://Apache/spark-2.0.0")

Вам нужно использовать "//" выше.

person Penn Rah    schedule 21.12.2016