Столбец SparkR предоставляет длинный список полезных методов, например isNull, но в sparkR у меня возникла проблема с их использованием. Я запускаю sparkR в R вот так
cd /home/ole/R/spark-1.4.0 ./bin/sparkR --packages com.databricks:spark-csv_2.10:1.0.3 sqlContext
Когда я, например, набираю это u=c() isNull(u), я получаю это сообщение. Ошибка в (функция (классы, fdef, mtable): невозможно найти унаследованный метод для функции «isNull» для подписи «NULL»
Это потому, что isNull ожидает столбец DataFrame, а не вектор. Он проверяет, являются ли записи NULL, он работает следующим образом:
a <- createDataFrame(sqlContext,data.frame(b=c("a","b",NA,"c"),c=c(1,2,3,4)))
a$d <- isNull(a$b)
collect(a)
Он также возвращает (логический) столбец, поэтому я добавил его в DataFrame. Однако вы заметите, что SparkR не сохранил NA как NULL, поэтому все логические значения имеют значение FALSE, но вы уже видите, как работает функция.
