Scikit-Learn: прогнозирование новых точек с помощью DBSCAN

Кластеризация - это не классификация.

Кластеризация не помечена. Если вы хотите втиснуть это в мышление прогнозирования (что не лучшая идея), тогда оно, по сути, прогнозирует без обучения. Потому что для кластеризации нет помеченных обучающих данных. Он должен создать новые ярлыки для данных в зависимости от того, что он видит. Но вы не можете сделать это на одном экземпляре, вы можете только «групповое прогнозирование».

Но что-то не так с scipys DBSCAN:

random_state: numpy.RandomState, необязательно:

Генератор, используемый для инициализации центров. По умолчанию numpy.random.

DBSCAN не «инициализирует центры», потому что в DBSCAN нет центров.

В значительной степени алгоритм кластеризации only, где вы можете назначать новые точки старым кластерам, является k-средним (и его многочисленными вариациями). Поскольку он выполняет «классификацию 1NN», используя центры кластеров предыдущих итераций, затем обновляет центры. Но большинство алгоритмов не работают как k-средства, поэтому вы не можете скопировать это.

Если вы хотите классифицировать новые точки, лучше обучить классификатору результат кластеризации.

Возможно, версия R использует классификатор 1NN для прогнозирования; возможно, с дополнительным правилом, что точкам назначается метка шума, если их расстояние 1NN больше, чем эпсилон, mabye также использует только основные точки. Может быть нет.

Получите документ DBSCAN, он не обсуждает "предсказание" IIRC.

Хотя у Anony-Mousse есть несколько хороших моментов (кластеризация действительно не классифицирует), я думаю, что возможность назначать новые точки имеет свою полезность. ^*

На основе оригинальной статьи о DBSCAN и robertlaytons на github.com/scikit-learn, я предлагаю пройти через базовые точки и назначить кластеру первую базовую точку, которая находится в пределах eps от вашей новой точки. Тогда гарантируется, что ваша точка будет как минимум пограничной точкой назначенного кластера в соответствии с определениями, используемыми для кластеризации. (Имейте в виду, что ваша точка может рассматриваться как шум и не назначена кластеру)

Я сделал быструю реализацию:

import numpy as np
import scipy as sp

def dbscan_predict(dbscan_model, X_new, metric=sp.spatial.distance.cosine):
    # Result is noise by default
    y_new = np.ones(shape=len(X_new), dtype=int)*-1 

    # Iterate all input samples for a label
    for j, x_new in enumerate(X_new):
        # Find a core sample closer than EPS
        for i, x_core in enumerate(dbscan_model.components_): 
            if metric(x_new, x_core) < dbscan_model.eps:
                # Assign label of x_core to x_new
                y_new[j] = dbscan_model.labels_[dbscan_model.core_sample_indices_[i]]
                break

    return y_new

Метки, полученные путем кластеризации (dbscan_model = DBSCAN(...).fit(X) и метки, полученные из одной и той же модели для одних и тех же данных (dbscan_predict(dbscan_model, X)), иногда различаются. Я не совсем уверен, является ли это где-то ошибкой или результатом случайности.

РЕДАКТИРОВАТЬ: Я думаю, что вышеупомянутая проблема с разными результатами прогнозирования может быть связана с возможностью того, что граничная точка может быть близка к нескольким кластерам. Обновите, если вы проверите это и найдете ответ. Неопределенность может быть решена путем перетасовки основных точек каждый раз или путем выбора ближайшей точки вместо первой.

*) Рассматриваемый случай: я хотел бы оценить, подходят ли кластеры, полученные из подмножества моих данных, для другого подмножества или являются просто особым случаем. Если он обобщает, он поддерживает достоверность кластеров и примененных ранее этапов предварительной обработки.

Здесь немного другая и более эффективная реализация. Кроме того, вместо того, чтобы брать первую лучшую центральную точку, которая находится в пределах радиуса eps, берется центральная точка, ближайшая к образцу.

def dbscan_predict(model, X):

    nr_samples = X.shape[0]

    y_new = np.ones(shape=nr_samples, dtype=int) * -1

    for i in range(nr_samples):
        diff = model.components_ - X[i, :]  # NumPy broadcasting

        dist = np.linalg.norm(diff, axis=1)  # Euclidean distance

        shortest_dist_idx = np.argmin(dist)

        if dist[shortest_dist_idx] < model.eps:
            y_new[i] = model.labels_[model.core_sample_indices_[shortest_dist_idx]]

    return y_new

Хотя это не тот же самый алгоритм, вы можете предварительно сформировать приблизительные прогнозы для новых точек с помощью sklearn HDBSCAN. См. здесь.

Работает это так:

clusterer = hdbscan.HDBSCAN(min_cluster_size=15, prediction_data=True).fit(data)
test_labels, strengths = hdbscan.approximate_predict(clusterer, test_points)

Здесь уже есть отличные ответы на этот вопрос. Я предлагаю попробовать HDBSCAN. Он предоставляет approximate_predict() метод, который может быть тем, что вам нужно.