Rasa NLU - Понимание тренировочных данных

Есть очень много разных способов сказать, что вы хотите что-то купить.

Вы можете быть удивлены:

• Могу я купить собаку?
• Я хочу купить собаку.
• Я очень хочу собаку.
• Мне бы очень понравилось, если бы у меня была собака.
• Я ищу домашнего питомца, может быть, собаку.
• купить собаку
• усыновить собаку
• завести собаку
• возьми собаку домой со мной

и я уверен, что этот список можно продолжить, насчитывая еще много примеров. При этом Rasa NLU должен уметь учиться и адаптироваться на нескольких примерах. За некоторыми исключениямиadopt может не иметь прочного отношения к buy, например, и может иметь важное значение в качестве примера.

Нужно ли мне повторять это для каждого вида животных, с которыми я собираюсь обращаться? Как ниже?

Нет, в этом нет необходимости. Каждая ценность животного является сущностью, и Rasa по умолчанию использует CRF для распознавания сущностей, о чем вы здесь говорите. CRF больше касается структуры предложения, чем значения слова. Вы можете увидеть функции, которые рассматривает CRF, в документах и код:

  # Available features are:
  # ``low``, ``title``, ``suffix5``, ``suffix3``, ``suffix2``,
  # ``suffix1``, ``pos``, ``pos2``, ``prefix5``, ``prefix2``,
  # ``bias``, ``upper`` and ``digit``
  features: [["low", "title"], ["bias", "suffix3"], ["upper", "pos", "pos2"]]

При этом использование разных значений для объекта может быть хорошим способом получить дополнительные данные для обучения. Вы можете использовать такой инструмент, как chatito, чтобы генерировать обучающие данные из шаблонов. Но будьте осторожны с повторяющимися шаблонами, так как вы можете переоборудовать модель так, чтобы она не могла быть обобщена за пределами шаблонов. вы тренируетесь.

они иногда повторяют один и тот же пример снова и снова

Вы видели это в наборе данных Rasa? Вот стандартные данные обучения ресторанного бота и я не вижу повторов.

Повторение одного предложения снова и снова подтвердит модель, что форматы / слова важны, это форма передискретизация. Это может быть хорошо, если у вас очень мало обучающих данных или они сильно несбалансированы. Это может быть плохо, если вы хотите использовать множество разных способов покупки питомца, поскольку оно может переобучиться модель, как я упоминал выше.

Нужно ли мне повторять это для каждого вида животных, с которыми я собираюсь обращаться? Как ниже?

Нет, указывать все виды животных необязательно. Но попробуйте добавить несколько типов животных для каждого намерения. Например, ваша обучающая выборка содержит такие вещи:

 - [cat](animal)
 - [dog](animal)
 - [parrot](animal)
 - buy [cat](animal)
 - I would like to buy a [parrot](animal)

Когда у вас есть некоторый контекст, например: I would like to buy a [animal], нет необходимости определять все типы животных. Алгоритм подобия находит элемент на основе других ключевых слов. Но когда контекст меньше (отдельные слова), необходимо определить другой тип пользовательского ввода.

Раса использует классификатор StarSpace. Рекомендуется использовать ~ 10-25 пользовательских образцов для каждого намерения, чтобы получить разумный ответ от ChatBot.

Вы также можете изменить классификатор Rasa, чтобы добавить слово- векторные функции (Word2vec или Glove). В этом случае к модели добавится некоторая общность. И подобные понятия, такие как собака-кошка, будут обнаруживаться легче.