У меня есть контрольные точки модели на основе BERT, которые я обучил с нуля в Tensorflow. Как я могу использовать эти контрольные точки, чтобы предсказать замаскированное слово в данном предложении?
Например, допустим, предложение выглядит так: «[CLS] abc pqr [MASK] xyz [SEP]» И я хочу предсказать слово в позиции [MASK].
Как я могу это сделать? Я много искал в Интернете, но все используют BERT для своих задач классификации. Не использовать BERT для предсказания замаскированного слова.
Пожалуйста, помогите мне решить эту проблему с предсказаниями.
Я создал данные, используя create_pretraining_data.py и обученную модель с нуля, используя run_pretraining.py из официального репозитория BERT (https://github.com/google-research/bert)
Я искал выпуски в официальном репо Bert. Но решения не нашел.
Также посмотрел код в этом репо. Они используют Оценщик, который они тренируют, не используя веса контрольных точек.
Не удалось найти способ использовать контрольные точки Tensorflow базовой модели BERT (обученной с нуля) для прогнозирования токена с маской слова (например, [MASK]).
