Вопросы по теме 'apache-spark-encoders'
Набор данных Spark: пример: невозможно создать проблему с кодировщиком
Новичок в мире искр и попытка примера набора данных, написанного на scala, который я нашел в Интернете.
При запуске через SBT я продолжаю получать следующую ошибку
org.apache.spark.sql.AnalysisException: Unable to generate an encoder for inner...
5378 просмотров
schedule
03.12.2022
Почему для метода набора данных foreach не требуется кодировщик, а для карты требуется?
У меня есть два набора данных: Dataset[User] и Dataset[Book] , где User и Book являются классами случаев. Я присоединяюсь к ним так:
val joinDS = ds1.join(ds2, "userid")
Если я попытаюсь выполнить map для каждого элемента в joinDS ,...
227 просмотров
schedule
28.12.2022
Вопрос о кодировщиках крио и java в наборах данных
Я использую Spark 2.4 и ссылаюсь на https://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence
Класс бобов:
public class EmployeeBean implements Serializable {
private Long id;
private String name;
private...
1708 просмотров
schedule
28.08.2022