Как запустить Spark локально в Windows, используя eclipse в java

Я пытаюсь протестировать реализацию SVM в Mllib. Я хочу запустить их пример Java локально в Windows, используя eclipse. Я скачал Spark 1.3.1, предварительно созданный для Hadoop 2.6. Когда я пытаюсь запустить пример кода, я получаю:

15/06/11 16:17:09 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

Что я должен изменить, чтобы иметь возможность запускать пример кода в этой настройке?


apache-spark hadoop apache-spark-mllib
person Yonanam    schedule 11.06.2015    source источник

Ответы (3)


arrow_upward
2
arrow_downward

  1. Создайте следующую структуру каталогов: «C:\hadoop_home\bin» (или замените «C:\hadoop_home» на что угодно)

  2. Загрузите следующий файл: http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

  3. Поместите файл из шага 2 в каталог «bin» из шага 1.

  4. Установите для системного свойства «hadoop.home.dir» значение «C:\hadoop_home» (или любой другой каталог, который вы создали на шаге 1, без «\bin» в конце).

person snesneros    schedule 03.08.2015

arrow_upward
1
arrow_downward

Чтобы запустить Spark в Windows Eclipse с проектом Maven: -

  1. Создайте проект Scala и объявите объект Scala. Затем конвертируйте проект в Maven (для этого у вас должен быть установлен плагин m2eclipse — вы можете найти его на торговой площадке Eclipse).
  2. pom.xml будет создан. Добавьте следующую зависимость:

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.6.0</version>
</dependency>

  1. Теперь создайте свой проект с помощью примера искрового кода (ошибок быть не должно).

  2. Теперь следуйте приведенной ниже настройке,

    • Create the following directory structure: "C:\hadoop_home\bin" (or replace "C:\hadoop_home" with whatever you like)
    • Загрузите следующий файл: http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
    • Поместите файл из шага 2 в каталог «bin» из шага 1.
    • Установите для системного свойства «hadoop.home.dir» значение «C:\hadoop_home» (или любой другой каталог, который вы создали на шаге 1, без «\bin» в конце). Примечание. Это свойство следует объявлять в начале кода Spark.

System.setProperty("hadoop.home.dir", "C://Users//Desktop//hadoop_home")

person Community    schedule 21.06.2018

arrow_upward
0
arrow_downward

  1. Создайте каталог:

E:\hadoop_home\bin

  1. Загрузите нужный файл winutils.exe из любого каталога hadoop-x.x.x/bin из следующего репозитория github: https://github.com/steveloughran/winutils

  2. Поместите загруженный файл winutils.exe в

E:\hadoop_home\bin

каталог, который мы создали на шаге 1.

  1. Установить

hadoop.home.dir

в системном свойстве в коде ex:

import org.apache.spark.sql.SparkSession

object QuesCount {

  def main(args: Array[String]) = {

    System.setProperty("hadoop.home.dir", "E:\\hadoop_home")

  }
}
  1. Щелкните правой кнопкой мыши файл Scala. Запустить от имени › Приложение Scala.
person vishal rathod    schedule 25.05.2021