Факторный анализ с использованием Sparklyr в Databricks

Я хотел бы выполнить Factor Analysis, используя dplyr::collect() в Databricks, но из-за его размера я получаю эту ошибку:

Error : org.apache.spark.sql.execution.OutOfMemorySparkException: Total memory usage during row decode exceeds spark.driver.maxResultSize (4.0 GB). The average row size was 82.0 B

Есть ли в sparklyr функция, с помощью которой я могу проводить этот анализ без сбора данных?


person Kenneth Singh    schedule 29.09.2020    source источник