Я признаю, что этот раздел книги по НЛП немного сбивает с толку, потому что они не проводят полный расчет внешней меры энтропии кластера, вместо этого они сосредоточены на расчете расчета энтропии отдельного кластера. Вместо этого я попытаюсь использовать более интуитивный набор переменных и включу полный метод вычисления внешней меры полной энтропии.
Полная энтропия кластеризации равна:
куда:
- это набор кластеров
H(w) – энтропия отдельного кластера.
N_w — количество точек в кластере w.
N — общее количество баллов.
Энтропия кластера w
где: c — классификация в множестве C всех классификаций.
P(w_c) — это вероятность того, что точка данных будет классифицирована как c в кластере w.
Чтобы сделать это пригодным для использования, мы можем заменить вероятность на MLE (оценка максимального правдоподобия) этой вероятности для прибыть в:
куда:
|w_c| — количество баллов, классифицированных как c в кластере w.
n_w – количество точек в кластере w.
Итак, в приведенном примере у вас есть 3 кластера (w_1,w_2,w_3), и мы будем вычислять энтропию для каждого кластера отдельно, для каждой из 3 классификаций (x, круг, ромб).
H(w_1) = (5/6)log_2(5/6) + (1/6)log_2(1/6) + (0/6)log_2(0/6) = -0,650
H(w_2) = (1/6)log_2(1/6) + (4/6)log_2(4/6) + (1/6)log_2(1/6) = -1,252
H(w_3) = (2/5)log_2(2/5) + (0/5)log_2(0/5) + (3/5)log_2(3/5) = -0,971
Итак, чтобы найти общую энтропию для набора кластеров, вы берете сумму энтропий, умноженных на относительный вес каждого кластера.
H(Омега) = (-,650 * 6/17) + (-1,252 * 6/17) + (-,971 * 5/17)
H(Омега) = -0,956
Я надеюсь, что это поможет, пожалуйста, не стесняйтесь проверять и оставлять отзывы.
person
Snives
schedule
03.03.2016
