Вопросы по теме 'huggingface-tokenizers'

Python ImportError: из трансформаторов import BertTokenizer, BertConfig
Я пытаюсь выполнить распознавание именованных объектов в Python с помощью BERT и установил трансформаторы v 3.0.2 из huggingface, используя pip install transformers . Затем, когда я пытаюсь запустить этот код: import torch from torch.utils.data...
637 просмотров

HuggingFace Transformers: BertTokenizer меняет персонажей
Я загрузил норвежскую модель BERT с https://github.com/botxo/nordic_bert , и загрузил его с помощью: import transformers as t model_class = t.BertModel tokenizer_class = t.BertTokenizer tokenizer =...
1201 просмотров

Трансформаторы BertModel выводят строку вместо тензора
Я слежу за этим учебник, который кодирует классификатор анализа настроений с использованием BERT с библиотекой huggingface , и у меня очень странное поведение. При попытке использовать модель BERT с образцом текста я получаю строку вместо скрытого...
1668 просмотров

Разбор вывода трансформатора обнимающего лица
Я хочу использовать bert-english-uncased-finetuned-pos трансформатор, упомянутый здесь https://huggingface.co/vblagoje/bert-english-uncased-finetuned-pos?text=My+name+is+Clara+and+I+live+in+Berkeley%2C+California . Я так запрашиваю...
98 просмотров

Запуск токенизатора huggingface Bert на GPU
Я имею дело с огромным набором текстовых данных для классификации контента. Я реализовал модель distilbert и токенизатор distilberttokenizer.from_pretrained (). Этот токенизатор занимает невероятно много времени для токенизации моих текстовых данных,...
788 просмотров

в чем разница между len (tokenizer) и tokenizer.vocab_size
Я пытаюсь добавить несколько новых слов в словарь предварительно обученной модели HuggingFace Transformers. Я сделал следующее, чтобы изменить словарь токенизатора, а также увеличить размер встраивания модели: tokenizer.add_tokens(['word1',...
50 просмотров