Выбираете eps и minpts для DBSCAN (R)?

Общего способа выбора minPts не существует. Это зависит от того, что вы хотите найти. Низкое значение minPts означает, что он будет создавать больше кластеров из шума, поэтому не выбирайте его слишком маленьким.

Для эпсилон есть разные аспекты. Это снова сводится к выбору того, что работает с этим набором данных и this minPts и this функцией расстояния и this нормализацией. . Вы можете попробовать построить гистограмму расстояния между узлами и выбрать там «колено», но может быть не видно ни одного или нескольких.

OPTICS является преемником DBSCAN, которому не нужен параметр epsilon (за исключением соображений производительности с поддержкой индекса, см. Википедию). Это намного лучше, но я считаю, что реализовать его в R сложно, потому что для этого нужны расширенные структуры данных (в идеале дерево индексов данных для ускорения и обновляемая куча для очереди приоритетов) и R все о матричных операциях.

Наивно, можно представить, что OPTICS выполняет все значения Epsilon одновременно и помещает результаты в кластерную иерархию.

Однако первое, что вам нужно проверить - в значительной степени независимо от того, какой алгоритм кластеризации вы собираетесь использовать - это убедиться, что у вас есть полезная функция расстояния и соответствующая нормализация данных. Если расстояние уменьшается, никакой алгоритм кластеризации работать не будет.

Один из распространенных и популярных способов управления параметром эпсилон в DBSCAN - это вычисление графика k-расстояния для вашего набора данных. По сути, вы вычисляете k-ближайших соседей (k-NN) для каждой точки данных, чтобы понять, каково распределение плотности ваших данных для разных k. KNN удобен тем, что это непараметрический метод. Выбрав minPTS (который сильно зависит от ваших данных), вы фиксируете k на этом значении. Затем вы используете в качестве эпсилона k-расстояние, соответствующее площади графика k-расстояния (для вашего фиксированного k) с низким наклоном.

MinPts

Как объяснил Anony-Mousse, «низкий minPts означает, что он будет создавать больше кластеров из шума, поэтому не выберите его слишком маленьким. '.

minPts лучше всего настраивает эксперт в предметной области, который хорошо разбирается в данных. К сожалению, во многих случаях мы не знаем знания предметной области, особенно после нормализации данных. Один из эвристических подходов - использовать ln (n), где n - это общее количество точек, подлежащих кластеризации.

эпсилон

Определить его можно несколькими способами:

1) график k-расстояний

В кластеризации с minPts = k мы ожидаем, что точки ядра и k-расстояние между граничными точками находятся в пределах определенного диапазона, в то время как точки шума могут иметь гораздо большее k-расстояние, поэтому мы можем наблюдать изгиб точка на графике расстояния k. Однако иногда может не быть очевидного колена или может быть несколько колен, что затрудняет принятие решения

2) расширения DBSCAN, такие как OPTICS.

OPTICS создает иерархические кластеры, мы можем извлекать значительные плоские кластеры из иерархических кластеров путем визуального осмотра, реализация OPTICS доступна в модуле Python pyclustering. Один из первоначальных авторов DBSCAN и OPTICS также предложил автоматический способ извлечения плоских кластеров, при котором не требуется вмешательства человека. Для получения дополнительной информации вы можете прочитать этот документ.

3) анализ чувствительности

В основном мы хотим выбрать радиус, который может кластеризовать более правильные точки (точки, похожие на другие точки), и в то же время обнаруживать больше шума (точки с выбросами). Мы можем нарисовать процент регулярных точек (точки принадлежат кластеру) VS. Анализ epsilon, где мы устанавливаем различные значения epsilon в качестве оси x и соответствующий процент регулярных точек в качестве оси y, и, надеюсь, мы сможем определить сегмент, в котором процентное значение обычных точек больше чувствительны к значению epsilon, и мы выбираем значение epsilon верхней границы в качестве оптимального параметра.

Подробнее о выборе параметров см. Статью ниже на стр. 11:

Шуберт, Э., Сандер, Дж., Эстер, М., Кригель, Х. П., и Сюй, X. (2017). Еще раз о DBSCAN: почему и как вы должны (все еще) использовать DBSCAN. Транзакции ACM в системах баз данных (TODS), 42 (3), 19.

• Для двумерных данных: используйте значение по умолчанию minPts = 4 (Ester et al., 1996)
• Для более чем двух измерений: minPts = 2 * dim (Sander et al., 1998)

Как только вы узнаете, какие MinPts выбрать, вы можете определить Epsilon:

• Постройте k-расстояния с k = minPts (Эстер и др., 1996)
• Найдите «локоть» на графике -> Значение k-расстояния - это ваше значение Эпсилона.

См. Эту веб-страницу, раздел 5: http://www.sthda.com/english/wiki/dbscan-dedensity-based-clustering-for-discovering-clusters-in-large-datasets-with-noise-unsupervised-machine-learning

Он дает подробные инструкции о том, как найти эпсилон. МинПц ... не очень.

Если у вас есть ресурсы, вы также можете протестировать несколько значений epsilon и minPts и посмотреть, что работает. Я делаю это с помощью expand.grid и mapply.

# Establish search parameters.
k <- c(25, 50, 100, 200, 500, 1000)
eps <- c(0.001, 0.01, 0.02, 0.05, 0.1, 0.2)

# Perform grid search.
grid <- expand.grid(k = k, eps = eps)

results <- mapply(grid$k, grid$eps, FUN = function(k, eps) {
  cluster <- dbscan(data, minPts = k, eps = eps)$cluster
  sum <- table(cluster)
  cat(c("k =", k, "; eps =", eps, ";", sum, "\n"))
})