Вопросы по теме 'apache-zeppelin'
спарка-1.4 с установкой цеппелин
После успешной установки spark 1.4 я попытался установить Apache Zeppelin для ноутбука, похожего на утилиту.
Из некоторых других онлайн-ресурсов я загружаю и разархивирую исходный код zeppelin и начинаю компилировать его с помощью Maven через
$...
639 просмотров
schedule
23.02.2024
Что установить для `SPARK_HOME`?
Установил apache-maven-3.3.3, scala 2.11.6, потом запустил:
$ git clone git://github.com/apache/spark.git -b branch-1.4
$ cd spark
$ build/mvn -DskipTests clean package
Окончательно:
$ git clone...
35955 просмотров
schedule
12.07.2022
Доступ к JavaRDD в Pyspark
В Apache Zeppelin я создал объект JavaRDD, вызвав статическую функцию класса, загруженного из Java JAR. Можно ли получить доступ к этому JavaRDD с помощью Pyspark?
Мне удалось обойти эту проблему с помощью следующего неэффективного подхода. Я был...
2020 просмотров
schedule
20.04.2023
Удалить временные таблицы из Apache SQL Spark
У меня есть registertemptable в Apache Spark , используя Zeppelin ниже:
val hvacText = sc.textFile("...")
case class Hvac(date: String, time: String, targettemp: Integer, actualtemp: Integer, buildingID: String)
val hvac = hvacText.map(s...
39996 просмотров
schedule
12.06.2024
Может ли Apache Zeppelin автоматически закрыть свой SparkContext через некоторое время и снова открыть его?
Я настроил простой кластер Spark в автономном режиме и хочу использовать Apache Zeppelin в качестве интерактивного «блокнота» Spark. К сожалению, когда SparkContext запускается, он занимает все ядра в моем экспериментальном кластере. Я знаю, что...
414 просмотров
schedule
29.11.2022
Кто-нибудь пытался добавить интерпретатор R в Apache Zeppelin?
В настоящее время я использую Apache Zeppelin для визуализации данных, просто любопытно, почему никто не предоставляет интерпретатор для R. Из документации кажется, что создание нового интерпретатора не должно быть слишком сложным, но если это...
5304 просмотров
schedule
28.12.2022
При регистрации таблицы с помощью интерпретатора %pyspark в Zeppelin я не могу получить доступ к таблице в %sql
Я использую Zeppelin 0.5.5. Я нашел этот код/образец здесь для python, так как не смог заставить свой собственный работать с %pyspark http://www.makedatauseful.com/python-spark-sql-zeppelin-tutorial/ . У меня такое ощущение, что его пример с...
5046 просмотров
schedule
20.10.2022
Цеппелин выдает ошибку в интерпретаторе pyspark для динамического ввода
Я не могу получить динамический ввод в pyspark из контекста цеппелина. Это то чем я занимаюсь
%pyspark z.input("имя")
Это дает мне эту ошибку Traceback (последний последний вызов): Файл "/tmp/zeppelin_pyspark.py", строка 162, в файле...
1966 просмотров
schedule
08.04.2024
Zeppelin выдает java.lang.OutOfMemoryError: пространство кучи Java
Я пытаюсь использовать Zeppelin со следующим кодом:
val dataText = sc.parallelize(IOUtils.toString(new URL("http://XXX.XX.XXX.121:8090/my_data.txt"),Charset.forName("utf8")).split("\n"))
case class Data(id: string, time: long, value1: Double,...
9716 просмотров
schedule
30.01.2023
Как успешно импортировать объект BSON в блокнот Zeppelin?
Кто-нибудь знает, как устранить следующую ошибку объекта BSON при вызове экземпляра MongoDB через записную книжку Zeppelin?
"ошибка: объект bson не является членом пакета org import org.bson.BSONObject"
Я специально реализую записную книжку...
1152 просмотров
schedule
14.05.2022
Поддержка JSP APACHE zeppelin не найдена
У меня ошибка относительно поддержки JSP не найдена
журнал:
INFO [2016-03-11 11:01:26,017] ({main} StdSchedulerFactory.java[instantiate]:1339) — Планировщик Quartz «DefaultQuartzScheduler» инициализирован из файла ресурсов по умолчанию в...
681 просмотров
schedule
09.04.2023
ошибка блокнота zeppelin: не найдено: значение %
в соответствии с чтением csv в zeppelin я должен использовать %dep для загрузить банку csv, но я получаю error: not found: value % кто-нибудь знает, что мне не хватает?
%spark
val a = 1
%dep
z.reset()
z.addRepo("Spark Packages...
4271 просмотров
schedule
17.01.2024
Перенос Spark DataFrame с Python на Scala в Zeppelin
Я создал искровой DataFrame в абзаце Python в Zeppelin.
sqlCtx = SQLContext(sc)
spDf = sqlCtx.createDataFrame(df)
и df - это кадр данных pandas
print(type(df))
<class 'pandas.core.frame.DataFrame'>
то, что я хочу сделать, это...
6400 просмотров
schedule
01.02.2023
Аутентификация Datastax Spark Zeppelin
У меня есть datastax cluster 4.8 (Cassandra + Spark) с активированной аутентификацией. Я хотел бы иметь возможность использовать блокнот Zeppelin в моем кластере с мастером Spark и моей базой данных Кассандра.
Я загружаю двоичный пакет Zeppelin...
650 просмотров
schedule
17.07.2022
pyspark с таблицей HCatalog в Zeppelin
Я создал таблицу HCatalog с сопоставлением разделов с некоторыми zip-файлами в S3.
В Zeppelin я создал абзац с помощью модуля %pyspark со следующими кодами:
Абзац 1:
%pyspark
from pyspark.sql import HiveContext
hc = HiveContext( sc )...
363 просмотров
schedule
14.10.2022
Внутренние интерпретаторы Zeppelin spark выдают ошибку java.lang.StackOverflowError через некоторое время
Я использую Zeppelin для запуска искрового задания с помощью crontab. jdk8,spark1.6.2,scala2.10 Но в последние дни я обнаружил, что искровой интерпретатор Zeppelin отключается почти каждый день один или несколько раз. А вот лог...
419 просмотров
schedule
12.04.2023
Apache Zeppelin при ошибке входа в систему EMR
Я настроил кластер EMR 4.4 с настроенным Zeppelin/Spark. Мне удалось настроить Zeppelin на локальном хосте и войти в систему как анонимный. Я добавил создал пользователя и пароль и продолжил работать со своим блокнотом. Позже я запустил новый...
732 просмотров
schedule
02.01.2023
Apache Zepplin — доступ к параметрам построения диаграмм nvd3?
Есть ли способ настроить отображение диаграммы с помощью встроенной функции построения диаграмм?
Только самые основы, такие как настройка x-axis или y-axis , а также настройка меток.
Найдено несколько Javascript и HTML с использованием...
334 просмотров
schedule
02.02.2024
Можно ли установить глобальные переменные в блокноте Zeppelin?
Я пытаюсь создать панель инструментов с несколькими абзацами, используя блокнот Zeppelin. Я бы хотел, чтобы людям, использующим панель инструментов, нужно было вводить определенные параметры только один раз. Например. если я создаю информационную...
8869 просмотров
schedule
11.07.2023
как объединить все записные книжки цеппелина в одну?
У меня есть notebook1 и notebook2 zeppelin, один от mongodb, а другой от sql.
Как объединить эти 2 блокнота, пожалуйста, помогите.
312 просмотров
schedule
16.12.2022
