Преобразование кадра данных для minHashLSH в искре

У меня есть этот кадр данных:

val df = (
    spark
    .createDataFrame(
        Seq((1L, 2L), (1L, 5L), (1L,8L), (2L,4L), (2L,6L), (2L,8L))
    )
    .toDF("A","B")
    .groupBy("A")
    .agg(collect_list("B").alias("B"))
)

И я хотел бы преобразовать его в следующий вид:

val dfTransformed = 
(
    spark
    .createDataFrame(
        Seq(
            (1, Vectors.sparse(9, Seq((2, 1.0), (5,1.0), (8,1.0)))),
            (2, Vectors.sparse(9, Seq((4, 1.0), (6,1.0), (8,1.0))))
        )
    ).toDF("A", "B")
)

Я хочу сделать это, чтобы использовать преобразование MinHashLSH (https://spark.apache.org/docs/2.2.3/api/scala/index.html#org.apache.spark.ml.feature.MinHashLSH).

Я пробовал с UDF следующим образом, но безуспешно:

def f(x:Array[Long]) = Vectors.sparse(9, x.map(p => (p.toInt,1.0)).toSeq)

val udff = udf((x:Array[Long]) => f(x))

val dfTransformed = df.withColumn("transformed", udff(col("B"))).show()

Кто-нибудь может мне помочь, пожалуйста?


apache-spark scala user-defined-functions apache-spark-ml minhash
person Galuoises    schedule 01.02.2021    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Используйте Seq для UDF, а не Array:

def f(x: Seq[Long]) = Vectors.sparse(9, x.map(p => (p.toInt,1.0)))

val udff = udf((x: Seq[Long]) => f(x))

val dfTransformed = df.withColumn("transformed", udff(col("B")))

dfTransformed.show(false)
+---+---------+-------------------------+
|A  |B        |transformed              |
+---+---------+-------------------------+
|1  |[2, 5, 8]|(9,[2,5,8],[1.0,1.0,1.0])|
|2  |[4, 6, 8]|(9,[4,6,8],[1.0,1.0,1.0])|
+---+---------+-------------------------+
person mck    schedule 01.02.2021