Вопросы по теме 'sparkr'
Сбой метода сбора SparkR с OutOfMemory в пространстве кучи Java
С помощью SparkR я пытаюсь использовать PoC для сбора RDD, который я создал из текстовых файлов, содержащих около 4 миллионов строк.
Мой кластер Spark работает в Google Cloud, развернут bdutil и состоит из 1 главного и 2 рабочих с 15 ГБ ОЗУ и 4...
1811 просмотров
schedule
29.06.2022
Ошибка при установке sparkR для R
Я пытаюсь установить пакет SparkR в моей версии Windows 7 R Studio.
Пока я получаю новейшую версию R (3.2.0). Студия R (0.98.1103). После этого я просматриваю разные источники, чтобы понять, как установить SparkR.
После этого я сначала...
404 просмотров
schedule
10.08.2023
Ошибка SparkR в sparkR.init(master=local) в RStudio
Я установил пакет SparkR из дистрибутива Spark в библиотеку R. Я могу вызвать следующую команду, и она работает правильно: library(SparkR)
Однако, когда я пытаюсь получить контекст Spark, используя следующий код,
sc <-...
2271 просмотров
schedule
27.07.2023
Использование столбцов sparkR
Столбец SparkR предоставляет длинный список полезных методов, например isNull, но в sparkR у меня возникла проблема с их использованием. Я запускаю sparkR в R вот так
cd /home/ole/R/spark-1.4.0 ./bin/sparkR --packages...
595 просмотров
schedule
21.12.2022
Вычесть все элементы в столбце в sparkR
У меня есть DataFrame 'res' в sparkR. 'res' содержит идентификатор и даты. Таким образом, первые записи выглядят так: «ID» = 1 2 3 ... и «дата» = «2012-6-5», «2013-5-5», «2015-10-11» ...
Я хочу создать новый набор данных, в котором все «даты»...
228 просмотров
schedule
29.07.2022
Как сделать функцию фильтра по датам в sparkR
'u' - это DataFrame, содержащий ID = 1, 2, 3 .. и время = "2010-01-01", "2012-04-06", .. ID и время имеют строковый тип. Я конвертирую тип времени» в «Дата»
u$time <- cast(u[[2]], "Date")
Я теперь хочу в первый раз в u.
first <-...
398 просмотров
schedule
20.06.2023
Как получить значение суммы, не делая его локальным
В SparkR у меня есть DataFrame u , который содержит
'amount' = 231,2,324,1213 ...
Для вычисления суммы в sparkR я использую
summa <- agg(u, amount="sum")
Теперь summa — это DataFrame. Я хочу узнать значение summa , и я могу...
25 просмотров
schedule
07.07.2022
Чтобы запустить функцию tabulate и which.max в sparkR
У меня есть DataFrame data в sparkR. Он содержит user = 12 311 12 320, ... и type = 1 2 3 4 . У нас 10000 пользователей.
Например, у одного пользователя тип = 1 2 3 4 4 4 2 4. Я хочу найти наиболее распространенное целое число для этого...
338 просмотров
schedule
24.08.2022
Как вычесть элементы в DataFrame
В SparkR у меня есть DataFrame data , содержащий id , amount_spent и amount_won .
Например, для id=1 у нас есть
head(filter(data, data$id==1))
и выход
1 30 10
1 40 100
1 22 80
1 14 2
Пока я хочу знать, выиграл ли...
90 просмотров
schedule
07.06.2023
SparkR: объединение двух фреймов данных при нескольких условиях соединения
СпаркР версии 1.4.1
Я пытаюсь присоединиться к двум кадрам данных df1 и df2 по двум условиям соединения, например:
df3 <- join(df1, df2, df1$col1==df2$col2 && df1$col3==df2$col4)
Однако это не удается с этой ошибкой:...
1474 просмотров
schedule
30.08.2022
Рассчитать размер кадра данных SparkR
У меня есть кадр данных, который я получил, выполнив запрос с использованием SQLContext :
> df <- sql(sqlContext, "SELECT * FROM myTable")
когда я пытаюсь получить его размер
> object.size(df)
1024 bytes
Я знаю, что это не...
783 просмотров
schedule
30.07.2022
различное поведение при использовании createDataFrame и read.df в SparkR
Я использую Спарк 1.5.1
Когда я делаю это
df <- createDataFrame(sqlContext, iris)
#creating a new column for category "Setosa"
df$Species1<-ifelse((df)[[5]]=="setosa",1,0)
head(df)
вывод: создан новый столбец...
349 просмотров
schedule
27.12.2022
Отсутствует значение временного ряда SparkR
Я работаю со SparkR над временными рядами, и у меня есть вопрос.
После некоторой операции я получил что-то вроде этого, где DayHour представляют день и час значения идентификатора.
DayHour ID Value
01 00 4704 10
01 01 4705 11
.
.
....
170 просмотров
schedule
04.06.2023
Ошибка при установке sparkR
Я пытаюсь установить SparkR
library(devtools)
install_github("amplab-extras/SparkR-pkg", subdir="pkg")
но потом я нахожу эту ошибку
Запуск sbt из sbt/sbt-launch-0.13.6.jar Недопустимый или поврежденный файл jar...
405 просмотров
schedule
13.05.2023
Можно ли использовать пакет R в sparkR?
Я изучаю sparkR и знаю, что в CRAN так много полезных пакетов R. Но похоже, что пакет R нельзя использовать в sparkR. Я не уверен в этом.
Это правда??? Если это не так, не могли бы вы объяснить, как импортировать пакет R в sparkR?
672 просмотров
schedule
12.08.2022
Замена специальных символов в столбце с помощью SparkR
У меня есть кадр данных, который содержит столбец. В этом столбце у меня есть строка, как показано ниже
<a href="mailto:[email protected]">[email protected]</a>
<a href="mailto:MICAHELBAHOU@YAHO">[email protected]</a>…
Но...
920 просмотров
schedule
16.03.2024
Как использовать write.df для хранения CSV-файла при использовании Sparkr и Rstudio?
Я изучаю Спаркр. У меня есть CSV-файл:
a <- read.df(sqlContext,"./mine/a2014.csv","csv")
Я хочу использовать write.df для хранения этого файла. Однако, когда я использую:
write.df(a,"mine/a.csv")
Я...
1138 просмотров
schedule
20.03.2023
Ошибка при попытке использовать textFile в sparkR
Я пытался следовать руководству, чтобы получить количество слов в «README.md» с помощью sparkR. Версия Spark: 1.6.1 Версия R: 3.3.0 Версия Ubuntu: 14 Однако, когда я делаю lines <- sc.textFile("README.md") , я получаю здесь ошибку
Error:...
584 просмотров
schedule
10.07.2023
Запуск SparkR через RStudio
Я использовал ссылку ниже, чтобы узнать, как запустить SparkR через RStudio:
http://blog.danielemaasit.com/2015/07/26/installing-and-starting-sparkr-locally-on-windows-8-1-and-rstudio/
У меня проблемы с разделом 4.5.
if...
936 просмотров
schedule
14.10.2023
Как объединить (объединить) два SparkDataFrame в SparkR и сохранить один из общих столбцов
у меня есть следующий Spark DataFrame:
aps=data.frame(agent=c('a','b','c','d','a','a','a','b','c','a','b'),product=c('P1','P2','P3','P4','P1','P1','P2','P2','P2','P3','P3'),...
996 просмотров
schedule
07.03.2023
