Я обучил многозадачную модель с помощью allennlp 2.0 и теперь хочу делать прогнозы на новых примерах с помощью команды allennlp predict
.
Проблема / ошибка: я использую следующую команду: allennlp predict results/model.tar.gz new_instances.jsonl --include-package mtl_sd --predictor mtlsd_predictor --use-dataset-reader --dataset-reader-choice validation
Это дает мне следующую ошибку:
Traceback (most recent call last):
File ".../mtl_sd_venv/bin/allennlp", line 10, in <module>
sys.exit(run())
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/__main__.py", line 34, in run
main(prog="allennlp")
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/commands/__init__.py", line 119, in main
args.func(args)
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/commands/predict.py", line 220, in _predict
manager.run()
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/commands/predict.py", line 186, in run
for batch in lazy_groups_of(self._get_instance_data(), self._batch_size):
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/common/util.py", line 139, in lazy_groups_of
s = list(islice(iterator, group_size))
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/commands/predict.py", line 180, in _get_instance_data
yield from self._dataset_reader.read(self._input_file)
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/data/dataset_readers/multitask.py", line 31, in read
raise RuntimeError("This class is not designed to be called like this")
RuntimeError: This class is not designed to be called like this
Насколько я понимаю, вот что происходит:
Метод read () объекта MultiTaskDatasetReader вызывается потому, что в конфигурации jsonnet я указал DatasetsReaders следующим образом:
"dataset_reader": {
"type": "multitask",
"readers": {
"SemEval2016": {
"type": "SemEval2016",
"max_sequence_length": 509,
"token_indexers": {
"bert": {
"type": "pretrained_transformer",
"model_name": "bert-base-cased"
}
},
"tokenizer": {
"type": "pretrained_transformer",
"model_name": "bert-base-cased"
}
}, ...
}
}
Обычно type
в dataset_reader указывает класс средства чтения набора данных, который должен быть создан для прогнозирования. Но в этом случае type
просто указывает MultiTaskDatasetReader, в котором не реализован read()
-метод и который содержит несколько DatasetReader.
Насколько я понимаю, при использовании allennlp predict
мне нужно каким-то образом указать, какой из нескольких DatasetReaders следует использовать.
Вопрос:
Как я могу указать, какой конкретный DatasetReader (из нескольких DatasetReader в MultiTaskDatasetReader.readers
) должен использоваться при выполнении allennlp predict
? Или в более общем плане: как заставить allennlp predict
работать с MultiTaskDatasetReader?
Дополнительный код для полноты: Предиктор:
@Predictor.register('mtlsd_predictor')
class MTLSDPredictor(Predictor):
def predict(self, sentence: str) -> JsonDict:
return self.predict_json({'sentence': sentence})
@overrides
def _json_to_instance(self, json_dict: JsonDict) -> Instance:
target = json_dict['text1']
claim = json_dict['text2']
return self._dataset_reader.text_to_instance(target, claim)
default_predictor
в качестве атрибута класса головок моделей на"mtlsd_predictor"
. Теперь все работает! Спасибо! - person sinaj   schedule 26.02.2021