Выбросы могут негативно повлиять на производительность модели и привести к неправильному суждению во время анализа данных. Вот два простых способа уменьшить выбросы.

Что такое выброс?

Выброс — это точка данных, которая не соответствует общему шаблону своего окружения. Взглянем:

Вот два разных способа уменьшить выбросы:

  1. Использование Z-оценки.
  2. Используя межквартильный диапазон (IQR).

Использование Z-показателя:

Теперь, чтобы использовать этот метод, мы предполагаем, что наши данные:
1. Распределена нормально (кривая Белла).
2. Была стандартизирована (среднее значение = 0 и стандартное отклонение = 1)
3. Хорошо, этого достаточно😄

Теперь, после стандартизации данных, мы знаем, что почти ~ 99,7% данных находятся между 3 стандартными отклонениями (между [-3, +3]). Проверьте это:

Теперь все данные, находящиеся в пределах центральных 99,7 % (в пределах 3 стандартных значений), являются правильными, и мы хотим сохранить их.
И любые данные, которые лежат ниже или вышехороших,мы хотим уничтожить 👊. На приведенной выше диаграмме мы хотим уничтожить первые 0,15% данных, а также уничтожить последние 0,15% данных, чтобы избавиться от выбросов 😷.

Использование межквартильного диапазона (IQR):

Хм, так что в этом методе давайте сначала отсортируемданные.

Теперь давайте найдем 25-й процентиль и 75-й процентиль из отсортированных данных. Пожалуйста, погуглите, если вы не знаете, что такое процентиль ☎️.

Разница между 75-м процентилем и 25-м процентилем называется межквартильным диапазоном.
→ (75-й процентиль) − (25-й процентиль) = (Некоторое дерьмовое значение, называемое IQR )

Хорошо, пора искать выбросы:
1. Любые данные ниже: (25-й процентиль) − 1,5*(IQR) можно считать аутсайдером. Удалить их.

2. Любые данные, лежащие выше: (75-й процентиль) + 1,5*(IQR), можно считать выбросом. Удалить их.

Игра окончена! 👟

ЗАКЛЮЧЕНИЕ:

  1. Мы увидели, что в обоих методах мы обнаружили выбросы в нижней или верхней части данных.
  2. Метод Z Score лучше всего использовать, когда вы знаете, что данные распределены по Гауссу и стандартизированы, потому что это упрощает жизнь!
  3. Метод IQR — это более общая идея удаления выбросов, которая работает во всех случаях.

Спасибо за чтение, Ура 🍺.

СВЯЗАТЬСЯ СО МНОЙ:

ЭЛЕКТРОННАЯ ПОЧТА: [email protected]
LinkedIn: https://www.linkedin.com/in/sauravgupta20