R - подсчитать в каждой строке количество столбцов в окрестности строки, которые содержат только NA

Думаю, я понимаю, что вы имеете в виду.

Предположим, что кадр данных называется x.

Во-первых, для каждого (row, column) в x нам нужно увидеть, есть ли NA в этой ячейке И NA в том же столбце для n строк до и m строк после.

Во-первых, давайте сделаем это в случае одной строки, скажем, строки i = 2. У нас также есть n = 1 и m = 1 (из примера в вопросе).

i <- 2
n <- 1
m <- 1

Давайте подсчитаем количество NA в каждом столбце для строк с i - n по i + m включительно (is.na возвращает TRUE, если текущее значение равно NA, colSums дает суммы столбцов)

y <- colSums(is.na(x[(i - n):(i + m), ]))
# X A B C D 
# 0 1 2 1 3 

Теперь у нас есть только NA в предыдущей, текущей и следующей строке, если мы насчитали 3 NAs (т.е. здесь подходит только столбец D):

y == n + m + 1
#     X     A     B     C     D 
# FALSE FALSE FALSE FALSE  TRUE

поэтому количество столбцов, удовлетворяющих нашим критериям (отсюда и ith элемент вывода), равно:

sum(y == n + m + 1)
# 1 

Затем мы можем использовать sapply, чтобы применить это к каждой строке:

countifs <- function (df, n, m) {
    sapply(1:nrow(df),
           function (i) {
               nrows <- nrow(df)
               startRow <- max(i - n, 1)
               endRow   <- min(i + m, nrows)
               y <- colSums(is.na(x[startRow:endRow, ]))
               sum(y == n + m + 1)
           })
}

countifs(x, 1, 1)
# [1] 0 1 2 1 1 0 0 0

Вы также упомянули, что, возможно, захотите сравнить с пользовательским значением, а не с NA. В этом случае вместо is.na(x[...]) вы можете просто сделать x[...] == value (но не в том случае, если value равно NA, в котором вы используете is.na)

Кроме того, вы можете сэкономить немного работы, используя только sapply в строках с n + 1 по nrow(df) - m - 1 и автоматически устанавливая первый n и последний m элементы равными 0.

Это должно привести к желаемому результату -

y = is.na(yourDataFrame)

rowSums(y & rbind(rep(F,5), y[-nrow(yourDataFrame),]) & rbind(y[-1,], rep(F,5)))

Вот функция, которая идентифицирует значения NA в центре прогона length = .length.

foo <- function(x,.length){
  x <- is.na(x)
  if( .length < 2L ||.length %%2L == 0L ){stop('.length must be an odd number greater than 2')}
  lx <- length(x)
  if(lx <.length) {return(rep_len(FALSE, lx))}
  midpoints <- seq.int(2L, lx-1L, by = 1L)
  c(FALSE,sapply(midpoints, function(xx) all(x[(xx-1L):(xx+1L)])),FALSE)
}

Мы можем использовать это с rowSums и sapply, чтобы получить то, что вы хотите.

rowSums(sapply(xx, foo, .length = 3))
## [1] 0 1 2 1 1 0 0 0

не изобретая велосипед (то, что катится)

Или вы можете использовать rollapply из пакета zoo

library(zoo)
rowSums(sapply(xx, function(x) {
    rollapply(is.na(x), width = 3, fill = FALSE, FUN = all)
   }))

или даже просто

rowSums(rollapply(is.na(xx),width=3, FUN=all, fill = FALSE))

Я не смог придумать векторизованную версию, поэтому вот пример с использованием старого доброго цикла for:

x <- structure(list(X = 1:8, A = c(3L, NA, 10L, NA, 6L, NA, 5L, NA
), B = c(6L, NA, NA, NA, 8L, NA, 13L, NA), C = c(NA, 12L, 14L,  
NA, NA, NA, 9L, NA), D = c(NA, NA, NA, NA, NA, 11L, 7L, NA)), .Names = c("X", 
"A", "B", "C", "D"), class = "data.frame", row.names = c(NA, 
-8L))

y <- x
y[is.na(y)] <- -99
out <- vector("numeric", nrow(y))

n <- 1
m <- 1
for (c in (1+n):(nrow(y)-m)) {
    out[c] <- sum((y[(c-n),] == -99) & (y[(c),] == -99) & (y[(c+m),] == -99))
}
out

Это должно помочь (даже с учетом n и m):

> out
[1] 0 1 2 1 1 0 0 0

Обратите внимание, что я использую два приема. Так как работать с NAs проблематично, я заменяю их на -99 (хотя это и не обязательно). Тогда я не зацикливаюсь на первых n и последних m строках.

Если кто-то придумает векторизованную версию, он / она определенно получит мой голос.

Вы можете использовать describe только для получения количества NA в каждом столбце.

describe(traindata)

Вывод выглядит следующим образом:

Column_3 
      n missing  unique    Mean     .05     .10     .25     .50     .75     .90     .95 
    646      23     283  0.2792  0.0000  0.0000  0.0000  0.1455  0.4798  0.9305  1.0000 

Проверьте значения missing.