Вопросы по теме 'apache-spark-encoders'

Набор данных Spark: пример: невозможно создать проблему с кодировщиком
Новичок в мире искр и попытка примера набора данных, написанного на scala, который я нашел в Интернете. При запуске через SBT я продолжаю получать следующую ошибку org.apache.spark.sql.AnalysisException: Unable to generate an encoder for inner...
5378 просмотров

Почему для метода набора данных foreach не требуется кодировщик, а для карты требуется?
У меня есть два набора данных: Dataset[User] и Dataset[Book] , где User и Book являются классами случаев. Я присоединяюсь к ним так: val joinDS = ds1.join(ds2, "userid") Если я попытаюсь выполнить map для каждого элемента в joinDS ,...
227 просмотров

Вопрос о кодировщиках крио и java в наборах данных
Я использую Spark 2.4 и ссылаюсь на https://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence Класс бобов: public class EmployeeBean implements Serializable { private Long id; private String name; private...
1708 просмотров