Что является хорошей мерой для классификации текстовых документов?

Стандартным решением является применение наивного байесовского классификатора, который оценивает апостериорную вероятность класса C для данного документа D, обозначаемого как P(C=k|D ) (для задачи бинарной классификации k=0 и 1).

Это оценивается путем вычисления априорных значений из обучающего набора документов с пометкой класса, где для документа D мы знаем его класс C.

P(C|D) = P(D|C) * P(D)              (1)

Наивный Байес предполагает, что члены независимы, и в этом случае вы можете написать P (D | C) как

P(D|C) = \prod_{t \in D} P(t|C)     (2)

P(t|C) можно просто вычислить, подсчитав, сколько раз термин встречается в данном классе, например, вы ожидаете, что слово футбол будет встречаться большое количество раз в документах, относящихся к классу (категории) спорт.

Что касается другого фактора P(D), вы можете оценить его, подсчитав, сколько помеченных документов дано от каждого класса, возможно, у вас больше спортивных статей, чем финансовые, что заставляет вас поверить в то, что незнакомый документ с большей вероятностью будет отнесен к категории спортивные.

В уравнение (1) очень легко включить такие факторы, как важность термина (idf) или зависимость термина. Для idf вы добавляете его как событие выборки терминов из коллекции (независимо от класса). Для зависимости от термина вы должны добавить вероятности в форме P(u|C)*P(u|t), что означает, что вы выбираете другой термин u и изменить (преобразовать) его на t.

Стандартные реализации наивного байесовского классификатора можно найти в Пакет Stanford NLP, Weka и < href="http://scikit-learn.org/stable/modules/naive_bayes.html" rel="noreferrer">Scipy среди многих других.

Кажется, вы пытаетесь ответить на несколько связанных вопросов:

1. Как измерить сходство между документами A и B? (метрическое обучение)
2. Как измерить, насколько необычен документ C по сравнению с некоторой коллекцией документов? (Обнаружение аномалии)
3. Как разбить коллекцию документов на группы похожих? (кластеризация)
4. Как предсказать, к какому классу относится документ? (Классификация)

Все эти проблемы обычно решаются в 2 этапа:

1. Извлеките функции: Документ --> Представление (обычно числовой вектор)
2. Примените модель: Представление --> Результат (обычно одно число)

Существует множество вариантов как для разработки функций, так и для моделирования. Здесь только несколько.

Извлечение признаков

1. Пакет слов: документ --> количество вхождений каждого отдельного слова (то есть частота терминов). Это базовый вариант, но не единственный.
2. Сумка n-грамм (на уровне слов или символов): учитывается совместное появление нескольких токенов.
3. Набор слов + грамматические особенности (например, POS-теги)
4. Набор вложений слов (изучаемых внешней моделью, например word2vec). Вы можете использовать встраивание как последовательность или взять их средневзвешенное значение.
5. Все, что вы можете изобрести (например, правила, основанные на поиске по словарю)...

Объекты могут быть предварительно обработаны, чтобы уменьшить относительное количество шума в них. Некоторые варианты предварительной обработки:

• деление на IDF, если у вас нет жесткого списка стоп-слов или вы считаете, что слова могут быть более или менее «стоп-словами»
• нормализация каждого столбца (например, количество слов), чтобы иметь нулевое среднее значение и единичную дисперсию
• вести журналы подсчета слов, чтобы уменьшить шум
• нормализация каждой строки, чтобы иметь норму L2, равную 1

Вы не можете знать заранее, какой вариант (ы) лучше всего подходит для вашего конкретного приложения - вам нужно проводить эксперименты.

Теперь вы можете построить модель машинного обучения. Каждая из 4 проблем имеет свои хорошие решения.

Для классификации, наиболее изученной проблемы, вы можете использовать несколько типов моделей, включая наивную байесовскую модель, k-ближайших соседей, логистическую регрессию, SVM, деревья решений и нейронные сети. Опять же, вы не можете знать заранее, какой из них будет работать лучше всего.

Большинство этих моделей могут использовать практически любые функции. Однако KNN и SVM на основе ядра требуют, чтобы ваши функции имели особую структуру: представления документов одного класса должны быть близки друг к другу в смысле метрики евклидова расстояния. Иногда этого можно добиться простой линейной и/или логарифмической нормализацией (см. выше). Более сложные случаи требуют нелинейных преобразований, которые в принципе могут быть изучены нейронными сетями. Изучение этих преобразований это то, что люди называют метрическим обучением, и в целом это проблема, которая еще не решена.

Самая обычная метрика расстояния действительно евклидова. Однако возможны и другие метрики расстояния (например, манхэттенское расстояние) или другие подходы, не основанные на векторных представлениях текстов. Например, вы можете попытаться вычислить расстояние Левенштейна между текстами на основе подсчета количества операций, необходимых для преобразования одного текста в другой. Или вы можете рассчитать «расстояние перемещения слов» - сумму расстояний пар слов с ближайшими вложениями.

Для кластеризации основными параметрами являются K-средние и DBScan. Обе эти модели требуют, чтобы ваше функциональное пространство обладало этим евклидовым свойством.

Для обнаружения аномалий можно использовать оценки плотности, полученные с помощью различных вероятностных алгоритмов: классификации (например, наивного Байеса или нейронных сетей), кластеризации (например, смеси гауссовых моделей) или других неконтролируемых методов (например, вероятностных). СПС). Для текстов вы можете использовать последовательную языковую структуру, оценивая вероятность каждого слова в зависимости от предыдущих слов (используя n-граммы или сверточные/рекуррентные нейронные сети) — это называется языковыми моделями, и это обычно более эффективен, чем предположение Наивного Байеса о наборе слов, которое игнорирует порядок слов. Несколько языковых моделей (по одной на каждый класс) могут быть объединены в один классификатор.

Какую бы проблему вы ни решали, настоятельно рекомендуется иметь хороший набор тестов с известной «наземной истиной»: какие документы близки друг к другу, или относятся к одному классу, или (не) обычный. С помощью этого набора вы можете оценить различные подходы к проектированию признаков и моделированию и выбрать лучший из них.

Если у вас нет ресурсов или желания проводить несколько экспериментов, я бы рекомендовал выбрать один из следующих подходов для оценки сходства между текстами:

• количество слов + нормализация idf + нормализация L2 (эквивалентно решению @mcoav) + евклидово расстояние
• среднее вложение word2vec по всем словам в тексте (словарь встраивания можно найти в Google и скачать) + евклидово расстояние

На основе одного из этих представлений вы можете строить модели для других задач, например. KNN для классификаций или k-средних для кластеризации.

Я бы предложил tf-idf и подобие косинуса.

Вы по-прежнему можете использовать tf-idf, если не используете стоп-слова. Возможно даже, что то, включаете вы стоп-слова или нет, не будет иметь такого значения: мера обратной частоты документа автоматически занижает стоп-слова, поскольку они очень часты и появляются в большинстве документов.

Если ваш новый документ полностью состоит из неизвестных терминов, косинусное сходство будет равно 0 для каждого известного документа.

Когда я ищу по df-idf, я ничего не нахожу.

tf-idf с косинусное сходство является общепринятой и общепринятой практикой.

Фильтрация стоп-слов не нарушает его. Для общих слов idf в любом случае придает им низкий вес.

tf-idf используется Lucene< /а>.

Для классификации у вас есть какие-то предопределенные классы и образцы документов, на которых можно учиться? Если это так, можно использовать Наивный Байес. С tf-idf.

Если у вас нет предопределенных классов, вы можете использовать k означает кластеризацию. С tf-idf.

Это во многом зависит от ваших знаний о корпусе и цели классификации. В подобном судебном сопровождении документы, представленные вам, вы и не знаете. В Enron они использовали имена хищников для многих плохих вещей, и вы никогда не узнаете об этом заранее. k означает, что документы могут найти свои собственные кластеры.

Стемминг не всегда дает лучшую классификацию. Если позже вы захотите выделить хиты, это усложнит задачу, и основа не будет равна длине слова.

Вы оценили sent2vec или doc2vec подходы? Вы можете поиграть с векторами, чтобы увидеть, насколько близки предложения. Просто идея. Не проверенное решение вашего вопроса.

В то время как в английском языке может быть достаточно одного слова, в некоторых других более сложных языках это не так.

Слово имеет много значений и множество различных вариантов использования. В одном тексте можно говорить об одних и тех же вещах, используя при этом от нескольких до ни одного совпадающих слов.

Вам нужно найти самые важные слова в тексте. Затем нужно отловить их возможные синонимы.

В этом может помочь следующий api. Можно создать что-то подобное с некоторыми словарями.

synonyms("complex")

function synonyms(me){
  var url = 'https://api.datamuse.com/words?ml=' + me;
  fetch(url).then(v => v.json()).then((function(v){
    syn = JSON.stringify(v)
    syn = JSON.parse(syn)
    for(var k in syn){
      document.body.innerHTML += "<span>"+syn[k].word+"</span> "
      }
    })
  )
}

Оттуда сравнение массивов даст гораздо большую точность, гораздо меньше ложных срабатываний.

Достаточное решение, возможно, в аналогичной задаче:

• Использование подхода бинарного набора слов (BOW) для векторного представления (часто встречающиеся слова не имеют более высокого веса, чем редко встречающиеся слова), а не реальный подход TF.

• Подход встраивания "word2vec" чувствителен к эффектам последовательности и расстояний. В зависимости от ваших гиперпараметров это может привести к разнице между «охотник увидел лису» и «лиса увидел прыгающего охотника»… так что вы должны решить, означает ли это добавление шума к вашей задаче — или, в качестве альтернативы, чтобы использовать его только как усредненный вектор по всему вашему тексту

• Извлечение слов с высокой корреляцией внутри предложения (например, с помощью переменных-средних-нормализованных-косинусных сходств)

• Второй шаг: используйте этот список высококоррелированных слов в качестве положительного списка, то есть в качестве нового словаря для нового двоичного векторизатора.

Это изолированные значимые слова для 2-го шага косинусных сравнений - в моем случае даже для довольно небольших объемов обучающих текстов.