Вопросы по теме 'spark-submit'
Неверный синтаксис имени файла, имени каталога или метки тома. при использовании spark-submit
Я использую spark-submit для выполнения файла jar. Spark находится на моем диске «C», а мое рабочее пространство eclipse находится на диске «D». Если я указываю абсолютный путь к файлу jar, я получаю сообщение об ошибке: «Неверный синтаксис имени...
1623 просмотров
schedule
08.08.2022
NoClassDefFoundError: не удалось инициализировать класс XXX после развертывания в автономном кластере Spark
Я написал приложение для потоковой передачи искр, созданное с помощью sbt. Он отлично работает локально, но после развертывания в кластере он жалуется на класс, который я написал, который явно находится в толстой банке (проверено с помощью jar tvf)....
3624 просмотров
schedule
27.07.2022
Можем ли мы использовать объект искрового сеанса без его явного создания, если отправить задание с помощью spark-submit
Мой вопрос очень простой, мой код работает нормально. Но мне не ясны эти два момента:
1) когда мы отправляем любое задание pyspark с помощью spark-submit, нужно ли нам создавать объект сеанса spark, подобный этому? в моем сценарии:
from...
1395 просмотров
schedule
16.07.2023
Что приводит к тому, что неизвестный преобразователь null в Spark Kafka Connector?
Я новичок в искре, у меня есть start zookeeper, kafka (0.10.1.1) на моем локальном компьютере, а также автономная искра (2.2.0) с одним мастером и двумя рабочими. моя локальная версия 2.12.3
Мне удалось запустить подсчет слов на искре и...
932 просмотров
schedule
25.05.2023
Проблема GCP Dataproc spark.jar.packages при загрузке зависимостей
При создании нашего кластера Dataproc Spark мы передаем --properties spark:spark.jars.packages=mysql:mysql-connector-java:6.0.6 команде gcloud dataproc clusters create .
Это для того, чтобы наши сценарии PySpark сохранялись в CloudSQL....
1090 просмотров
schedule
28.08.2022
AWS EMR Spark Cluster - шаги с Scala Fat JAR, не удается найти MainClass
У меня есть толстая банка, написанная на Scala, запакованная sbt. Мне нужно использовать его в кластере Spark в AWS EMR.
Он работает нормально, если я вручную раскручиваю кластер, копирую банку на мастер и запускаю задание на отправку искры с...
1520 просмотров
schedule
08.05.2023
Верно ли, что с мезо я могу запустить только одного исполнителя на узел в spark-submit?
Я хотел бы знать, правда ли, что на мезо у нас может быть только один исполнитель на узел?
Контекст Я выполняю задание искровой отправки (Spark 2.0.1) в кластере из 5 узлов (рабочих), каждый с 80 ЦП и 512 ГБ памяти в крупномасштабном режиме....
530 просмотров
schedule
03.03.2022
Список вариантов отправки искры
На Spark странице конфигураций указано множество настраиваемых параметров. Однако, как сказано здесь , SparkSubmitOptionParser имя-атрибута для свойства Spark может отличаться от этого имени-свойства .
Например, spark.executor.cores...
21947 просмотров
schedule
05.11.2022
Задание Spark не использует рабочие узлы в кластере
Я настроил искру на кластере из 3 узлов, один из которых — мой namenode-master (с именем h1), а два других — мои рабочие узлы данных (с именами h2 и h3). Когда я даю команду запустить искровое задание на моем мастере, кажется, что задание не...
1223 просмотров
schedule
16.01.2023
Spark-submit с uber-jar не смог выполнить задание без каких-либо выходных данных или журналов ошибок
Я пытаюсь сгенерировать uber-jar, используя команды sbt compile и sbt package для запуска моего приложения на нашем удаленном сервере, где spark установлен как автономный режим. Я использовал фреймворк deeplearning4j для построения нейронной сети...
243 просмотров
schedule
08.06.2023
Доступ к файлу hdfs в spark
Я разрабатываю приложение, в котором я читаю файл из хаупа, обрабатываю и сохраняю данные обратно в хадуп. Я не понимаю, каким должен быть правильный формат пути к файлу hdfs. При чтении файла hdfs из искровой оболочки, например
val...
2928 просмотров
schedule
30.04.2023
Искра-отправка извне кластера AWS EMR
У меня есть запущенный кластер AWS EMR, и я хотел бы отправить ему задание PySpark со своего ноутбука (--master yarn) для работы в режиме кластера. Я знаю, что мне нужно настроить некоторую конфигурацию на ноутбуке, но я хотел бы знать, каков самый...
1565 просмотров
schedule
26.06.2023
В Spark задача выполняется только на одном исполнителе
Я запускаю код под искрой, используя Java.
Код
Test.java
package com.sample;
import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import...
6155 просмотров
schedule
09.06.2022
запуск искрового задания в локальном кластере выполняется бесконечно
Я настроил локальный искровой кластер на своем компьютере с Windows 7 (главный и рабочий узел). Я создал простой скрипт scala, который я создаю с помощью sbt и пытаюсь запустить с помощью spark-submit. Пожалуйста, найдите ресурсы ниже
Скала-код:...
1053 просмотров
schedule
13.06.2022
В чем разница между определением Spark Master в CLI и определением «мастера» в коде приложения Spark?
В чем разница между Spark-submit "--master", определенным в CLI, и кодом приложения spark, определяющим мастер?
В Spark мы можем указать главный URI либо в коде приложения, как показано ниже:
Или мы можем указать основной URI в...
571 просмотров
schedule
30.01.2023
проблема с запуском spark-submit: java.lang.NoSuchMethodError: com.couchbase.spark.streaming.Mutation.key()
У меня есть следующий код scala, и я использую sbt для его компиляции и запуска. sbt run работает должным образом.
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{StreamingContext, Seconds}
import...
93 просмотров
schedule
15.07.2022
Исключение в потоке main java.lang.NoClassDefFoundError: org/apache/kafka/common/errors/TimeoutException
Вот как выглядит мой файл build.sbt:
name := "ProducerExample"
version := "0.1"
scalaVersion := "2.11.12"
run in Compile := { Defaults.runTask(fullClasspath in Compile, mainClass in (Compile, run), runner in (Compile, run)) }
fork in run :=...
239 просмотров
schedule
19.07.2023
Нужна помощь в запуске spark-submit в Apache Airflow
Я относительно новый пользователь Python и Airflow, и мне очень трудно заставить spark-submit работать в задаче Airflow. Моя цель - успешно выполнить следующую задачу DAG.
from datetime import datetime, timedelta
from airflow import DAG
from...
5670 просмотров
schedule
04.09.2022
Spark на k8s - Ошибка: отсутствует ресурс приложения
Я пытаюсь запустить пример SparkPi, используя искру на k8s.
Работаю с
kubectl
миникубе
искра-2.4.4-бин-hadoop2.7
Выполнение следующей команды:
spark-submit --master k8s://https://192.168.99.100:8443 --deploy-mode cluster --name...
611 просмотров
schedule
02.07.2023
Для запуска программ Spark Submit из другого кластера (1**.1*.0.21) в воздушном потоке (1**.1*.0.35). Как удаленно подключить другой кластер в airflow
Я пытался отправить программы SparkSubmit в Airflow, но файлы spark находятся в другом кластере (1 ** .1 * .0.21), а airflow — в (1 ** .1 * .0.35). Я ищу подробное объяснение этой темы с примерами. Я не могу копировать или загружать файлы xml или...
1168 просмотров
schedule
19.08.2022
