Фильтрация кадра данных на основе другого кадра данных в Spark

У меня есть dataframe df со столбцами

date: timestamp
status : String
name : String

Я пытаюсь найти последний статус всех имен

  val users = df.select("name").distinct
  val final_status = users.map( t =>
  {
     val _name =  t.getString(0)
     val record = df.where(col("name") === _name)
     val lastRecord = userRecord.sort(desc("date")).first
     lastRecord
   })

Это работает с массивом, но с искровым фреймом данных выдает java.lang.NullPointerException

Update1: использование removeDuplicates

df.sort(desc("date")).removeDuplicates("name")

Это хорошее решение?