Как удалить выбросы из набора данных

Хорошо, вы должны применить что-то подобное к своему набору данных. Не заменяйте и не сохраняйте, иначе вы уничтожите свои данные! И, кстати, вы (почти) никогда не должны удалять выбросы из своих данных:

remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x < (qnt[1] - H)] <- NA
  y[x > (qnt[2] + H)] <- NA
  y
}

Чтобы увидеть это в действии:

set.seed(1)
x <- rnorm(100)
x <- c(-10, x, 10)
y <- remove_outliers(x)
## png()
par(mfrow = c(1, 2))
boxplot(x)
boxplot(y)
## dev.off()

И еще раз: вы никогда не должны делать это в одиночку, выбросы просто должны быть такими! знак равно

РЕДАКТИРОВАТЬ: я добавил na.rm = TRUE по умолчанию.

РЕДАКТИРОВАТЬ2: Удалена функция quantile, добавлены индексы, поэтому функция стала быстрее! знак равно

Никто не опубликовал простейшего ответа:

x[!x %in% boxplot.stats(x)$out]

См. Также это: http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

Используйте outline = FALSE как вариант при построении блочной диаграммы (прочтите справку!).

> m <- c(rnorm(10),5,10)
> bp <- boxplot(m, outline = FALSE)

Функция boxplot возвращает значения, используемые для построения графика (что на самом деле затем выполняется с помощью bxp ():

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot
bstats$out <- NULL
bstats$group <- NULL
bxp(bstats)  # this will plot without any outlier points

Я намеренно не ответил на конкретный вопрос, потому что считаю статистической халатностью удаление «выбросов». Я считаю приемлемой практикой не наносить их на прямоугольную диаграмму, но удаление их только потому, что они превышают некоторое количество стандартных отклонений или некоторое количество межквартильных ширин, является систематическим и ненаучным искажением данных наблюдений.

Я поискал пакеты, связанные с удалением выбросов, и нашел этот пакет (неожиданно названный «выбросами»!): https://cran.r-project.org/web/packages/outliers/outliers.pdf
если вы пройдете через него, вы увидите разные способы удаления выбросов, и среди них я нашел rm.outlier наиболее удобный для использования и, как сказано в приведенной выше ссылке: «Если выброс обнаружен и подтвержден статистическими тестами, эта функция может удалить его или заменить средним значением выборки или медианой», а также часть использования из тот же источник:
"Использование

rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE)

Аргументы
x набор данных, чаще всего вектор. Если аргументом является фрейм данных, то sapply удаляет выброс из каждого столбца. Такое же поведение применяется с помощью apply, когда задана матрица.
fill Если установлено значение TRUE, вместо выброса помещается медиана или среднее значение. В противном случае выбросы просто удаляются.
median Если установлено значение TRUE, при замене выбросов вместо среднего используется среднее значение. напротив, если установлено значение ИСТИНА, дает противоположное значение (если наибольшее значение имеет максимальное отличие от среднего, оно дает наименьшее и наоборот) "

x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99))
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],]

Я считаю, что это очень легко удалить выбросы. В приведенном выше примере я просто извлекаю от 2 до 98 процентилей значений атрибутов.

Не было бы:

z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
        df$x < quantile(df$x, .75) + 1.5*IQR(df$x), ] #rows

справиться с этой задачей довольно легко?

Добавив к предложению @sefarkas и используя квантиль в качестве отсечки, можно было бы изучить следующий вариант:

newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .99))[1]) ) 

Это удалит точки за пределами 99-го квантиля. Следует проявлять осторожность, как то, что aL3Xa говорил о сохранении выбросов. Его следует удалять только для получения альтернативного консервативного взгляда на данные.

1 способ сделать это

my.NEW.data.frame <- my.data.frame[-boxplot.stats(my.data.frame$my.column)$out, ]

or

my.high.value <- which(my.data.frame$age > 200 | my.data.frame$age < 0) 
my.NEW.data.frame <- my.data.frame[-my.high.value, ]

Выбросы очень похожи на пики, поэтому детектор пиков может быть полезен для выявления выбросов. Метод, описанный здесь, имеет неплохую производительность с использованием z-значений. Анимация частично вниз по странице иллюстрирует метод, сигнализирующий о выбросах или пиках.

Пики не всегда совпадают с выбросами, но часто они похожи.

Здесь показан пример: Этот набор данных считывается с датчика по последовательной связи. Случайные ошибки последовательной связи, ошибка датчика или и то, и другое приводят к повторяющимся, явно ошибочным точкам данных. В этом пункте нет статистической ценности. Возможно, это не выбросы, а ошибки. Детектор пика z-оценки смог сигнализировать о ложных точках данных и сгенерировал чистый результирующий набор данных: < img src = "https://i.stack.imgur.com/0oE2v.jpg" alt = "введите описание изображения здесь" />

Попробуй это. Подайте свою переменную в функцию и сохраните o / p в переменной, которая будет содержать удаленные выбросы

outliers<-function(variable){
    iqr<-IQR(variable)
    q1<-as.numeric(quantile(variable,0.25))
    q3<-as.numeric(quantile(variable,0.75))
    mild_low<-q1-(1.5*iqr)
    mild_high<-q3+(1.5*iqr)
    new_variable<-variable[variable>mild_low & variable<mild_high]
    return(new_variable)
}