Как протестировать модель RASA?

Я пытаюсь написать своего собственного чат-бота на основе RASA.
Сейчас я просто экспериментирую с ним, и у меня есть следующий фрагмент кода для учебных целей.

from rasa.nlu.training_data import load_data
from rasa.nlu.config import RasaNLUModelConfig
from rasa.nlu.model import Trainer
from rasa.nlu import config
training_data = load_data("./data/nlu.md")
trainer = Trainer(config.load("config.yml"))
interpreter = trainer.train(training_data)
model_directory = trainer.persist("./models/nlu",fixed_model_name="current")

Я прочитал, что если я хочу протестировать это, я должен сделать что-то вроде этого.

from rasa.nlu.evaluate import run_evaluation
run_evaluation("nlu.md", model_directory)

Но этот код больше не доступен ни в rasa.nlu.evaluate, ни в rasa.nlu.test!
Как же тогда можно протестировать модель RASA?


person Gianmarco F.    schedule 22.05.2019    source источник


Ответы (1)


Модуль был переименован. Пожалуйста, импортируйте

from rasa.nlu.test import run_evaluation

В качестве альтернативы вы теперь также делаете

from rasa.nlu import test
test_result = test(path_to_test_data, unpacked_model)

intent_evaluation_report = test_result["intent_evaluation"]["report"]
print(intent_evaluation_report)
person Tobias    schedule 24.05.2019
comment
С консоли iPython я могу распечатать только JSON прогнозов (+ метрики), в то время как я вижу по этой ссылке (todatascience.com/), который ранее создавал в качестве вывода матрицу путаницы. Это все еще возможно? - person Gianmarco F.; 28.05.2019
comment
Конечно. Самый простой способ - это, вероятно, просто запустить rasa test в командной строке (используя Rasa 1.0). Какую версию вы сейчас используете? Это действительно должно работать с командой сверху. - person Tobias; 29.05.2019
comment
Я использую V1.0. Что, если я хочу увидеть матрицу путаницы (через графику) с Python? Нет возможности это сделать? - person Gianmarco F.; 29.05.2019