Как запустить основной метод из Spark (в Databricks)

Я создал простой код Scala:

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object app2 {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    println(s"This is a simple scala code v2 - it is running a Spark code.")
    sc.stop()
  }
}

Затем скомпилирован с помощью SBT, который создал файл JAR.

Затем добавил этот JAR в блокнот Spark с помощью:

sc.addJar("some/path")

Как запустить (вызвать) этот основной метод (app2) в записной книжке Databricks, чтобы увидеть результат выполнения команды println?


jar apache-spark databricks scala
person Joe    schedule 17.01.2017    source источник
comment
подписались на это?   -  person Ronak Patel    schedule 17.01.2017

Ответы (1)


arrow_upward
1
arrow_downward

Спасибо, Ронак. Кажется, это выигрышная комбинация кода Scala:

/* app4.scala */ 
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object app4 {
  def main(args: Array[String]) {
    val goodSparkContext = SparkContext.getOrCreate()
    println(s"This is a simple scala code v4 - it is running a Spark code.")
  }
}
person Joe    schedule 17.01.2017
comment
как это отвечает на вопрос ОП? - person Paul; 21.06.2017