Точная настройка модели BERT для встраивания с учетом контекста

Я пытаюсь найти информацию о том, как обучить модель BERT, возможно, из Huggingface Transformers библиотека, так что встраивание, которое она выводит, более тесно связано с контекстом текста, который я использую.

Однако все примеры, которые мне удалось найти, касаются точной настройки модели для другой задачи, например классификация.

Может ли у кого-нибудь быть пример модели тонкой настройки BERT для замаскированных токенов или предсказания следующего предложения, которая выводит другую необработанную модель BERT, точно настроенную для контекста?

Спасибо!


python nlp bert-language-model
person Daniel Díez    schedule 17.04.2021    source источник
comment
Вы можете точно настроить BERT для Masked Language Model, что является неконтролируемым способом тонкой настройки системы. huggingface.co/transformers/model_doc/bert.html#bertformaskedlm   -  person Ashwin Geet D'Sa    schedule 20.04.2021

Ответы (1)


arrow_upward
0
arrow_downward

Вот пример из библиотеки Transformers на Тонкая настройка языковой модели для прогнозирования замаскированного токена.

Используемая модель относится к семейству BERTForLM. Идея состоит в том, чтобы создать набор данных с помощью TextDataset, который токенизирует и разбивает текст на части. Затем используйте DataCollatorForling для случайного маскирования токенов в фрагментах при обучении и передачи модели, данных и сопоставителя в Trainer для обучения и оценки результатов.

person Daniel Díez    schedule 23.04.2021