Я использую BERT для извлечения признаков слова с учетом текста, в котором оно появляется, но, похоже, текущая реализация в официальном github bert (https://github.com/google-research/bert) может вычислять характеристики только всех слов в тексте, что требует слишком много ресурсов. Можно ли его приспособить для этих целей? Спасибо!!
Используйте BERT для извлечения признаков уникального слова
Ответы (1)
BERT не является контекстно-свободным преобразователем, а это означает, что вы не хотите использовать его для одного слова, как вы использовали бы word2vec. Дело в том, что вы хотите контекстуализировать свой вклад. Я имею в виду, что вы можете ввести предложение из одного слова, но тогда почему бы просто не использовать word2vec.
Вот что написано в README:
Предварительно обученные представления также могут быть контекстно-свободными или контекстными, а контекстные представления могут быть однонаправленными или двунаправленными. Контекстно-независимые модели, такие как word2vec или GloVe, генерируют единое представление «встраивания слова» для каждого слова в словаре, поэтому банк будет иметь одинаковое представление в банковском депозите и речном берегу. Вместо этого контекстные модели генерируют представление каждого слова на основе других слов в предложении.
Надеюсь, это имеет смысл :-)
person
Aleksandar Savkov
schedule
08.04.2019
Может быть, я не ясно выразился в своем вопросе. Я хочу получить характеристики одного слова с учетом слова и его контекста. Например, в предложении я пошел в банк, чтобы снять деньги, я хочу ввести все предложение в BERT, но я хочу получить только характеристики банка, а не другие слова.
- person Rodrigo Serna Pérez; 08.04.2019
