Я хочу классифицировать новостную статью по категории, к которой она принадлежит. У меня есть 4 категории новостей, например "Технологии, спорт, политика и здоровье". И я собрал около 50 документов для каждой категории в качестве обучающего набора.
**Достаточно ли тренировочных данных для классификации??? И какой алгоритм я должен использовать для классификации?? SVM, случайный лес, Knn, ??
Я использую библиотеку Scikit-learn http://scikit-learn.org/ [python] для своей задачи.
Спасибо
Есть много способов решить эту проблему: от CRF до случайных лесов.
С вашими ограниченными обучающими данными я бы предложил использовать модель с высоким смещением, такую как линейный SVM. Начните с обучения моделей «один против всех» для каждого класса и прогнозирования класса с наибольшей вероятностью. Это даст вам базовую информацию о том, насколько сложна ваша проблема с данными обучения.
Я предпочитаю, чтобы вы использовали классификацию Наивного Байеса. Существует инструмент под названием Ling-pipe, в котором это уже реализовано. Что вы хотите сделать, это просто обратиться
http://alias-i.com/lingpipe/demos/tutorial/classify/read-me.html
Вот вам небольшой пример программы Classifynews.java. Запустите эту программу, обучив данные и применив тестирование. Образец обучающих данных представлен как «20 групп новостей».
http://qwone.com/~jason/20Newsgroups/
Обучение можно применять путем обучения данных, и при необходимости вы можете построить промежуточную модель, а затем применить тестовые данные к этой модели. Наивно-байесовский метод хорош для случаев, когда данные для обучения малы.
Но его точность увеличивается по мере увеличения размера обучающих данных. Поэтому постарайтесь включить больше новостных групп. Удачи. Попробуйте это и дайте мне знать
