Я изучаю sparkR и знаю, что в CRAN так много полезных пакетов R. Но похоже, что пакет R нельзя использовать в sparkR. Я не уверен в этом.
Это правда??? Если это не так, не могли бы вы объяснить, как импортировать пакет R в sparkR?
Можно ли использовать пакет R в sparkR?
comment
Просто из интереса, нашли ли вы какие-либо изменения в ответе в последнее время или ответ все еще действителен? Я предполагаю, что читаю последний документ SparkR. Спасибо
- person thebluephantom schedule 16.11.2018
comment
Я думаю, что Конрад дал хороший ответ, но на практике я бы не смог этого сделать. во время чтения учебника цель моего проекта изменилась. Однако я считаю возможным использовать пакет R на Spark из includePackage.
- person Mr.choi schedule 18.11.2018
comment
Спасибо, так как это согласуется с моим пониманием.
- person thebluephantom schedule 18.11.2018
Ответы (1)
Я предполагаю, что вы имеете в виду команду includePackage:
SparkR также позволяет легко использовать существующие пакеты R внутри замыканий. Команду
includePackageможно использовать для указания пакетов, которые следует загружать перед выполнением каждого закрытия в кластере.
Источник: интерфейс R для Spark
person
Konrad
schedule
07.04.2016
Если SparkR может использовать существующие пакеты R, почему SparkR предлагает около двух сотен API в spark.apache.org/docs/latest/api/R/index.html? Это просто для удобства???
- person Mr.choi; 07.04.2016
По сути, вопрос сводится к тому, что такое SparkR, из официальная документация: SparkR — это пакет R, предоставляющий упрощенный интерфейс для использования Apache Spark из R. В Spark 1.6.1 SparkR предоставляет реализацию распределенного фрейма данных, которая поддерживает такие операции, как выбор, фильтрация , агрегация и т. д. (аналогично фреймам данных R, dplyr), но для больших наборов данных. Я бы посоветовал вам взглянуть на это руководство, которое аккуратно демонстрирует практическое использование.
- person Konrad; 07.04.2016
