Я хотел бы выполнить Factor Analysis
, используя dplyr::collect()
в Databricks
, но из-за его размера я получаю эту ошибку:
Error : org.apache.spark.sql.execution.OutOfMemorySparkException: Total memory usage during row decode exceeds spark.driver.maxResultSize (4.0 GB). The average row size was 82.0 B
Есть ли в sparklyr
функция, с помощью которой я могу проводить этот анализ без сбора данных?