Добавить столбец в строку в Spark

У меня есть DataFrame, который я хочу расширить новым столбцом. Создание нового DateFrame из Rows объясняется здесь. .

Моя текущая стратегия заключается в создании новых Row с RowFactory из Row, которые передаются в мою карту, вызванную DataFrame.javaRDD().map(...), но я боюсь, что это может привести к ненужным затратам.

Поэтому мне интересно, могу ли я вместо создания новых Row просто расширить существующие Row, добавив новое поле. Интерфейс Row, похоже, не позволяет этого.

код строки


apache-spark spark-dataframe
person Jonathan    schedule 13.01.2016    source источник
comment
Я думаю, что вы не можете изменить, поскольку он неизменен   -  person Sachin Janani    schedule 13.01.2016

Ответы (1)


arrow_upward
2
arrow_downward

Как упоминает @Sachin Janani в комментарии, вы не можете изменить строку (она неизменна), но вы можете добавить столбец к DataFrame, используя функцию withColumn. Приведенный ниже код, например, добавит столбец с длиной строк, найденных в столбце «текст»:

val stringLength = udf[Int, String](s => s.length)
val df2 = df1.withColumn("text_length", stringLength(df1("text")))

Надеюсь это поможет.

person Glennie Helles Sindholt    schedule 13.01.2016
comment
Спасибо, это очень близко к тому, что я хочу, но мой udf будет очень сложным (с учетом вхождения определенных слов в текст другого столбца). Я обязательно сохраню с учетом столбца. Этот пост связан с этим . - person Jonathan; 13.01.2016