Удаление токена SEP в Bert для классификации текста

Я не совсем уверен, почему BERT нужен токен разделения [SEP] в конце для задач с одним предложением, но я предполагаю, что BERT - это модель автокодирования, которая, как уже упоминалось, изначально была разработана для моделирования языка и прогнозирования следующего предложения. Таким образом, BERT был обучен таким образом, чтобы всегда ожидать токена [SEP], что означает, что токен участвует в базовых знаниях, которые BERT накопил во время обучения.

Последующие нижестоящие задачи, такие как варианты использования с одним предложением (например, классификация текста), оказались также работающими с BERT, однако [SEP] был оставлен в качестве реликта для правильной работы BERT и, следовательно, необходим даже для этих задач.

BERT может учиться быстрее, если [SEP] добавляется в конце одного предложения, потому что он кодирует в этом токене некоторую информацию, которая отмечает конец ввода. Без него BERT все равно будет знать, где заканчивается предложение (из-за маркеров заполнения), что объясняет, что ранее упомянутое исследование не учитывает токен, но это может немного замедлить обучение, поскольку BERT может быстрее учиться с добавленным токеном [SEP]. , особенно если в усеченном вводе нет маркеров заполнения.

Как упоминалось в статье BERT, BERT предварительно обучается с использованием двух новых задач прогнозирования без учителя: Маскированная языковая модель и прогнозирование следующего предложения. В задаче «Предсказание следующего предложения» модель принимает пару предложений в качестве входных данных и учится предсказывать, будет ли второе предложение следующей последовательностью в исходном документе или нет.

Соответственно, я думаю, что модель BERT использует отношения между двумя текстовыми предложениями в задаче классификации текста, а также в других задачах. Это отношение можно использовать, чтобы предсказать, принадлежат ли эти два предложения к одному классу или нет. Следовательно, токен [SEP] необходим для объединения этих двух предложений и определения отношения между ними.