Это увлекательный вопрос — я думаю, вы правы, подозревая, что у них есть что-то общее.
Мне кажется, что основное сходство заключается в том, что как охват набора правил, так и повышение эффективности итеративно создают последовательные базовые модели, используя обратную связь от того, что предыдущие модели не смогли зафиксировать. Несложно представить набор правил чем-то вроде усиленного ансамбля базовых моделей правил. Что касается AdaBoost, его базовые модели — это пеньки — одиночные условные операторы, которые, по сути, то же самое, что и правила «базовой модели» с одним условием.
Пара отличий:
- Базовая часть: правила («базовые» ученики) обычно состоят из нескольких условных выражений вместо 1 (обычно 2–5, в зависимости от вашей области), и они увеличиваются как с получением информации, так и с точностью, а не просто с точностью. Кроме того, каждый раз, когда вы обучаете правило, вы удаляете данные, которые оно охватывает, из вашей выборки вместо случайной повторной выборки.
- Ансамблевая часть: AdaBoost сочетает предсказание каждой модели со взвешенным голосованием; Наборы правил объединяют правила с оператором ИЛИ. Это позволяет AdaBoost легко выводить вероятности для каждого прогноза — то, для чего эти алгоритмы набора правил изначально не предназначены. С другой стороны, поскольку Правила не сливаются воедино для создания окончательной модели, вы можете напрямую приписать любой положительный прогноз конкретным Правилам, которые его вызвали.
Спасибо за наводящий на размышления вопрос! Не стесняйтесь, дайте мне знать, если у вас есть другие мысли по этому поводу.
