Преобразование фрейма данных spark в таблицу sparklyR tbl_spark

Я пытаюсь преобразовать фрейм данных spark org.apache.spark.sql.DataFrame в таблицу sparklyr tbl_spark. Я пытался с sdf_register, но не получилось со следующей ошибкой.

Здесь df — это искровой фрейм данных.

sdf_register(df, name = "my_tbl")

ошибка,

Error: org.apache.spark.sql.AnalysisException: Table not found: my_tbl; line 2 pos 17
at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)
at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveRelations$.getTable(Analyzer.scala:306)
at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveRelations$$anonfun$apply$9.applyOrElse(Analyzer.scala:315)
at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveRelations$$anonfun$apply$9.applyOrElse(Analyzer.scala:310)
at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan$$anonfun$resolveOperators$1.apply(LogicalPlan.scala:57)
at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan$$anonfun$resolveOperators$1.apply(LogicalPlan.scala:57)
at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:69)
at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.resolveOperators(LogicalPlan.scala:56)
at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan$$anonfun$1.apply(LogicalPlan.scala:54)
at org.apache.spark.sql.catalyst.plans.logical.LogicalPlan$$anonfun$1.apply(LogicalPlan.scala:54)
at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$4.apply(TreeNode.scala:281)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at scala.collection.Iterator$class.foreach(Iterator.scala:727)

Я ничего не пропустил? или есть ли лучший способ преобразовать его в tbl_spark?

Спасибо!


person sen    schedule 16.01.2018    source источник
comment
Опубликуйте минимально воспроизводимый пример. Сам по себе этот фрагмент кода не вызовет исключения.   -  person Alper t. Turker    schedule 16.01.2018


Ответы (1)


Используйте sdf_copy_to() или dplyr::copy_to(), например. my_tbl <- sdf_copy_to(sc, df, "my_tbl")

person kevinykuo    schedule 17.01.2018