Сбой Sparklyr R со стрелкой apache, неожиданное завершение: объект as_tibble не найден

Я пытаюсь использовать sparklyr с стрелкой, чтобы повысить производительность видно, например, здесь, но работает в ошибки.

Вот (надеюсь) воспроизводимый пример:

# Prepare session and data
library(sparklyr)
library(dplyr)
config <- sparklyr::spark_config()
sc <- sparklyr::spark_connect(master = "local", config = config)
mtcars_sp <- dplyr::copy_to(sc, datasets::mtcars, overwrite = TRUE)

Использование sparklyr без стрелки работает нормально:

if ("arrow" %in% .packages()) detach("package:arrow")
mtcars_sp %>% sparklyr::spark_apply(function(df) df) %>% collect()

Однако добавление стрелки к миксу и запуск одного и того же приводит к ошибкам:

library(arrow)
mtcars_sp %>% sparklyr::spark_apply(function(df) df) %>% collect()

Сообщение об ошибке не кажется слишком полезным, но, глядя на рабочий журнал, я вижу:

ОШИБКА sparklyr: RScript (6891) неожиданно прерван: объект as_tibble не найден

Соответствующая информация о сеансе:

• R версии 3.6.0, x86_64-redhat-linux-gnu (64-разрядная версия)
• Пакеты: arrow_0.14.1, dplyr_0.8.3, sparklyr_1.0.1
• Искра версии 2.4.3