"Начиная"
Обнаружение глубоких малоразмерных аномалий
Использование нескольких помеченных экземпляров аномалий для обнаружения аномалий с учетом аномалий
Существующие (глубокие или неглубокие) методы обнаружения аномалий обычно разрабатываются как неконтролируемое обучение (обучение на полностью немаркированных данных) или полу-контролируемое обучение (обучение исключительно на нормальных данных с метками) из-за отсутствия крупномасштабных данных размеченных аномалий. В результате им трудно использовать предварительные знания (например, несколько помеченных аномалий), когда такая информация доступна, как во многих реальных приложениях для обнаружения аномалий. Эти ограниченные помеченные аномалии могут происходить из развернутой системы обнаружения, например, нескольких успешно обнаруженных записей о вторжении в сеть, или они могут исходить от пользователей, таких как небольшое количество мошеннических транзакций по кредитным картам, о которых сообщают клиенты и которые подтверждены банками. Поскольку предполагается, что во время обучения доступно лишь очень небольшое количество помеченных аномалий, подходы в этом направлении исследований могут быть сгруппированы под общим названием «обнаружение аномалий с помощью нескольких выстрелов». Однако у них также есть некоторые фундаментальные отличия от общего обучения по принципу «несколько выстрелов». В конце я подробнее расскажу о различиях. В этом посте я поделюсь некоторыми из наших интересных работ по использованию методов глубокого обучения для решения этой проблемы.
Проблема исследования
Учитывая набор больших нормальных (или немаркированных) обучающих данных и очень ограниченное количество помеченных данных аномалий, мы стремимся правильно использовать эти небольшие помеченные данные аномалий и большие нормальные / немаркированные данные для изучения модели обнаружения аномалий.
Подход к обнаружению аномалий на основе больших расстояний
REPEN [1], вероятно, является первым методом обнаружения глубоких аномалий, который предназначен для использования нескольких помеченных аномалий для изучения моделей обнаружения с учетом аномалий. Ключевая идея REPEN состоит в том, чтобы изучить представления функций, при которых аномалии имеют большее расстояние до ближайшего соседа в подвыборке случайных данных, чем нормальные экземпляры данных. Это случайное расстояние до ближайшего соседа - одна из наиболее эффективных и действенных мер аномалии, как показано в [2, 3]. REPEN стремится изучить представления функций, адаптированные к этой современной системе измерения аномалий. Структура REPEN проиллюстрирована следующим образом.
REPEN применяется для определения большего расстояния до ближайшего соседа аномалии x-, чем нормальный экземпляр x + в подмножестве случайных данных x_i,…, x_ {i + n-1}. Общая цель представлена как
где Q - это поднабор случайных данных, выбранный из немаркированных / нормальных обучающих данных, f - функция обучения нейронной сети, nn_dist возвращает расстояние до ближайшего соседа x в подмножестве данных Q.
Как вы можете видеть выше, REPEN может работать, когда большие обучающие данные содержат либо только нормальные данные, либо полностью немаркированные данные. В последнем случае, и у нас также нет данных о помеченных аномалиях, REPEN использует некоторые существующие детекторы аномалий для получения некоторых псевдо-помеченных данных об аномалиях. Таким образом, REPEN также может работать в полностью неконтролируемой обстановке.
Хотя помеченные данные об аномалиях ограничены, REPEN может обеспечить очень высокую точность по сравнению с его версией без учителя. Некоторые из впечатляющих результатов можно найти ниже. Показатель AUC быстро увеличивается по мере увеличения количества помеченных аномалий с 1 до 80.
Исходный код REPEN доступен по адресу
Сеть глубокого отклонения: подход к оптимизации сквозного обнаружения аномалий
В отличие от REPEN, который фокусируется на обучении представлению признаков для дистанционной оценки аномалий, сеть отклонений - DevNet [4] - предназначена для использования ограниченных помеченных данных аномалий для выполнения сквозного обучения оценкам аномалий. Ключевое различие можно увидеть на рисунке ниже, где первое оптимизирует представления, а второе оптимизирует оценки аномалий.
В частности, как показано в приведенной ниже структуре, с учетом набора экземпляров обучающих данных, предлагаемая структура сначала использует обучающегося нейронной аномалии, чтобы присвоить ему оценку аномалии, а затем определяет среднее значение оценок аномалии некоторых нормальных экземпляров данных на основе априорная вероятность служить эталонным баллом для определения последующего изучения баллов аномалий. Наконец, структура определяет функцию потерь, называемую отклонением потерь, для обеспечения статистически значимых отклонений оценок аномалий аномалий от показателей нормальных объектов данных в верхнем хвосте. В реализации DevNet используется априор по Гауссу для выполнения прямой оптимизации оценок аномалий с использованием потерь отклонения на основе Z-Score.
Функция потерь DevNet представлена следующим образом
где dev - функция отклонения на основе Z-баллов, определяемая как
где phi - это функция отображения на основе нейронной сети, которая проецирует входной x на скалярный выход, mu и sigma взяты из гауссовского априорного значения. Эта потеря позволяет DevNet приближать оценки аномалий нормальных экземпляров как можно ближе к mu, в то же время обеспечивая отклонение по крайней мере на a между mu и оценками аномалий аномалий.
DevNet оценивается на широком спектре реальных наборов данных. Некоторые результаты приведены ниже. DevNet демонстрирует значительно улучшенную производительность по сравнению с несколькими современными конкурирующими методами, включая REPEN, глубокий одноклассификатор, классификатор с несколькими выстрелами и неконтролируемый метод iForest. Более интересные результаты можно найти в [4].
Исходный код DevNet и наборы данных выпущены на
Обнаружение аномалий по малому количеству выстрелов против классификации по малому количеству выстрелов
При обнаружении аномалий за несколько выстрелов ограниченные примеры аномалий могут происходить из разных классов аномалий и, таким образом, демонстрировать совершенно разные особенности многообразия / класса. Это кардинально отличается от общего обучения по принципу «несколько выстрелов» (в основном задач классификации), в котором ограниченные примеры относятся к классу и предполагается, что они разделяют одну и ту же структуру многообразия / классов. Таким образом, при обнаружении аномалий с помощью нескольких выстрелов следует проявлять осторожность, чтобы иметь дело с неизвестными аномалиями, которые относятся к некоторым новым типам классов аномалий. Две работы [5, 6] предназначены для решения этой проблемы. Я рассмотрю эти два исследования позже.
Помимо двух методов, представленных выше, есть еще несколько статей, посвященных той же проблеме. Подробности см. В обзорном документе [7].
использованная литература
[1] Панг, Г., Цао, Л., Чен, Л., и Лю, Х. (2018, июль). Изучение представлений сверхвысокоразмерных данных для обнаружения выбросов на основе случайных расстояний. В Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 2041–2050).
[2] Pang, G., Ting, KM, & Albrecht, D. . (2015, ноябрь). LeSiNN: обнаружение аномалий путем определения наименее похожих ближайших соседей. В семинаре по интеллектуальному анализу данных (ICDMW) на международной конференции IEEE 2015 г. (стр. 623–630). IEEE.
[3] Сугияма, М., и Боргвардт, К. (2013). Быстрое обнаружение выбросов с помощью выборки на основе расстояния. В книге Достижения в системах обработки нейронной информации (стр. 467–475).
[4] Панг, Г., Шен, К., и ван ден Хенгель, А. (2019, июль ). Обнаружение глубоких аномалий с помощью сетей отклонения. В Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 353–362).
[5] Pang, G., Shen, C., Jin, H ., & Hengel, AVD (2019). Обнаружение глубоких слабо контролируемых аномалий. Препринт arXiv: 1910.13601.
[6] Панг, Г., Хенгель, А. В. Д., Шен, К., и Цао, Л. (2020). Глубокое обучение с подкреплением для обнаружения неизвестных аномалий. Препринт arXiv: 2009.06847.
[7] Панг, Г., Шен, К., Цао, Л., и Хенгель, А. В. Д. (2020). Глубокое обучение для обнаружения аномалий: обзор. Препринт arXiv: 2007.02500.
