Алгоритм дерева решений для смешанных числовых и номинальных данных

мой набор данных содержит ряд числовых и категориальных атрибутов

пример: numericAttr1, numericAttr2, categoricalAttr1, numericAttr3... где значения categoricalAttr: categoricalAttrValue1, categoricalAttrValue2, categoricalAttrValue3.

Я думал преобразовать числовые данные в категориальные данные (используя алгоритм биннинга) и применить алгоритм ID3 для создания дерева, потому что ID3 имеет дело только с дискретными данными. но как справиться с переоснащением? а также правильно ли классифицировать числовые данные и применять алгоритм ID3?


machine-learning artificial-intelligence id3 algorithm decision-tree
person bona912    schedule 17.01.2017    source источник
comment
Поскольку этот вопрос в первую очередь касается машинного обучения в целом, а не конкретной платформы или проблемы с кодированием, я предлагаю задать его на странице stats.stackexchange.com   -  person Sentry    schedule 22.01.2017

Ответы (2)


arrow_upward
1
arrow_downward

Если переоснащение является проблемой, и можно заменить вашу модель, я бы предложил использовать случайные леса, поскольку они очень невосприимчивы к переоснащению.

Также вам не следует беспокоиться о том, что процесс биннинга вызовет переоснащение, поскольку он создает обобщение имеющихся у вас данных и, скорее всего, уменьшит переоснащение.

person ginge    schedule 17.01.2017

arrow_upward
1
arrow_downward

Есть несколько обучаемых деревьев решений, которые могут обрабатывать числовые атрибуты, например. Алгоритм C4.5 (https://en.wikipedia.org/wiki/C4.5_algorithm).

Что касается переоснащения, я согласен с @ginge, тот факт, что вы преобразовываете числовые данные в категориальные с помощью такой техники, как биннинг, не должно вызывать переобучения.

person Eva Garcia    schedule 22.01.2017