Spacy NER не идентифицирует строчные буквы

Я столкнулся с проблемой обнаружения именованных сущностей, которые начинаются со строчной буквы. Я пробовал решение, предоставленное по ссылке https://github.com/explosion/spaCy/issues/701. Кажется, у меня не работает.

===== Информация о spaCy =============

spaCy version    2.1.4
Platform         Darwin-16.7.0-x86_64-i386-64bit
Python version   3.6.5
Models           en

import spacy
from spacy import displacy
nlp = spacy.load('en_core_web_sm')
sk = nlp.vocab[u'south korea']
SK = nlp.vocab[u'South Korea']
sk.is_lower = SK.is_lower
sk.shape = SK.shape
sk.shape_ = SK.shape_
sk.is_upper =SK.is_upper
sk.cluster = SK.cluster
sk.is_title = SK.is_title
doc = nlp(u'south korea is a country in asia')
for word in doc:
    print(word.text, word.tag_, word.ent_type_)

Ожидаемый результат:

south NNP GPE
korea NNP GPE
is VBZ 
a DT 
country NN 
in IN 
asia NNP

Но вывод приведенного выше кода:

south JJ 
korea NN 
is VBZ 
a DT 
country NN 
in IN 
asia NNP

nlp spacy ner
person Khushbu    schedule 18.06.2019    source источник

Ответы (1)


arrow_upward
5
arrow_downward

Распознаватель NE получает машинное обучение и, таким образом, полагается на самые сильные особенности, которые он видит в обучающих данных.

Вы можете использовать truecaser / recaser, статическую модель, которая исправляет регистр в тексте с нижним регистром и передает вывод в spacy. Вы можете использовать:

  • sacremoses, инструмент предварительной обработки для машинного перевода
  • nreimers / truecaser, реализация truecaser с использованием NLTK

Кроме того, вы можете попробовать обучите свой распознаватель и измените свои обучающие данные, чтобы они также содержали сущности в нижнем регистре, но это довольно утомительный процесс.

person Jindřich    schedule 18.06.2019