Различные результаты реализации LOF в ELKI и RapidMiner

Я на самом деле не удивлен, что они отличаются. Вы также можете добавить реализацию LOF от Weka, и вы, вероятно, получите еще один ответ.

Вот еще одно отличие, которое вы можете добавить к своим уравнениям: насколько мне известно, реализация Rapidminer объединяет точки с одинаковыми координатами. Но, может быть, они забыли учесть эти веса при вычислении ближайших соседей!

В контексте классической базы данных вы не должны объединять повторяющиеся координаты в одно наблюдение. Они по-прежнему являются действительными записями базы данных и должны учитываться как полные записи.

Я не знаю, выполняет ли какой-либо из них какую-либо автоматическую предварительную обработку данных, например масштабирование набора данных.

Реализация ELKI была проверена на примере ряда учебников, которые мы используем для обучения.

Однако в алгоритме есть крайние случаи, которые не зафиксированы на 100%, поэтому есть место для различий даже в «буквальных» реализациях алгоритма. Вы уже столкнулись с тремя из них:

1. Как обрабатывать повторяющиеся точки: А) агрегировать, Б) отбрасывать, В) рассматривать разные

   С точки зрения интеллектуального анализа данных, C является правильным, а A (при правильной реализации) является оптимизацией, которая может избавить вас от ненужных вычислений расстояния. B является общепринятым математическим представлением, но не имеет большого смысла для контекста базы данных. Если у меня есть два «Джона Доу», это один и тот же человек?

2. Определение k ближайших соседей и k-расстояния.

   Обычное определение k-расстояния: наименьшее расстояние, при котором содержится не менее k наблюдений. При исключении точки запроса это дает отклонение до 5,7457 от начальной точки: есть 10 других наблюдений в радиусе 5,7457 - 4,32323.

   K ближайших соседей обычно определяются как любые точки в пределах этого расстояния, которое может быть больше k. Но тогда все дополнительные объекты должны иметь то же расстояние, что и k-й! Кажется, что Rapidminer использует точно k, что не соответствует публикации LOF (см. определение 4 в публикации LOF!)

   На самом деле это k ближайших соседей (включая связи, но в остальном не более k объектов), а не k-е наименьшее различимое расстояние. Откуда вы взяли "отличное"?

   Определения 3 и 4 в публикации LOF довольно ясно показывают набор kNN, который использует LOF.

   Таким образом, ваше соседство с 48 объектами неверно.

3. Что делать, если повторяющихся точек больше, чем minPts (буквальная реализация даст деление на ноль, но по понятным причинам точка должна иметь LOF 1,0)

   Возможно, это то, что происходит с Rapidminer.

И еще есть расстояние досягаемости: это действительно сложно, потому что это не математическое расстояние. Он асимметричен.

Достижимость первого наблюдения от второго оказывается k-расстоянием второго, которое при беглом просмотре (не проверял дважды) reach-dist(x[0], x[1]) = max(5.97766 - 5.12595, 5.12595 - 4.32323) = 0.80272

См. мои обширные обучающие слайды по обнаружению выбросов для пошаговой пошаговая демонстрация того, как вычислить LOF. Насколько я могу судить, это буквальный LOF. Он не затрагивает всех крайних случаев, но мотивирует разработку алгоритма LOF и является довольно исчерпывающим.

Если вы используете расширение обнаружения аномалий для RapidMiner[1] (а не встроенный LOF), вы получите правильные результаты. Встроенный LOF сломан. Это те же результаты, что и ELKI. Эта реализация намного быстрее, чем ELKI, потому что она многопоточна и использует гораздо меньше памяти. Он также может обрабатывать дубликаты (даже больше, чем k+1), когда ELKI генерирует исключения. (на основе k-различных)

Лучший, Ханс

[1] http://marketplace.rapid-i.com/UpdateServer/faces/product_details.xhtml?productId=rmx_anomalydetection