Я определил пользовательский аккумулятор как:
import org.apache.spark.util.LongAccumulator
class CustomAccumulator extends LongAccumulator with java.io.Serializable {
override def add(v: Long): Unit = {
super.add(v)
if (v % 100 == 0) println(v)
}
}
И зарегистрировал его как:
val cusAcc = new CustomAccumulator
sc.register(cusAcc, "customAccumulator")
Моя проблема в том, что когда я пытаюсь использовать его как:
val count = sc.customAccumulator
Я получаю следующую ошибку:
<console>:51: error: value customAccumulator is not a member of org.apache.spark.SparkContext
val count = sc.customAccumulator
Я новичок в Spark и scala и, возможно, упускаю что-то очень тривиальное. Любое руководство будет принято с благодарностью.