Вопросы по теме 'huggingface-tokenizers'
Python ImportError: из трансформаторов import BertTokenizer, BertConfig
Я пытаюсь выполнить распознавание именованных объектов в Python с помощью BERT и установил трансформаторы v 3.0.2 из huggingface, используя pip install transformers . Затем, когда я пытаюсь запустить этот код:
import torch
from torch.utils.data...
637 просмотров
schedule
23.11.2022
HuggingFace Transformers: BertTokenizer меняет персонажей
Я загрузил норвежскую модель BERT с https://github.com/botxo/nordic_bert , и загрузил его с помощью:
import transformers as t
model_class = t.BertModel
tokenizer_class = t.BertTokenizer
tokenizer =...
1201 просмотров
schedule
18.02.2022
Трансформаторы BertModel выводят строку вместо тензора
Я слежу за этим учебник, который кодирует классификатор анализа настроений с использованием BERT с библиотекой huggingface , и у меня очень странное поведение. При попытке использовать модель BERT с образцом текста я получаю строку вместо скрытого...
1668 просмотров
schedule
12.10.2022
Разбор вывода трансформатора обнимающего лица
Я хочу использовать bert-english-uncased-finetuned-pos трансформатор, упомянутый здесь
https://huggingface.co/vblagoje/bert-english-uncased-finetuned-pos?text=My+name+is+Clara+and+I+live+in+Berkeley%2C+California .
Я так запрашиваю...
98 просмотров
schedule
18.03.2022
Запуск токенизатора huggingface Bert на GPU
Я имею дело с огромным набором текстовых данных для классификации контента. Я реализовал модель distilbert и токенизатор distilberttokenizer.from_pretrained (). Этот токенизатор занимает невероятно много времени для токенизации моих текстовых данных,...
788 просмотров
schedule
21.02.2023
в чем разница между len (tokenizer) и tokenizer.vocab_size
Я пытаюсь добавить несколько новых слов в словарь предварительно обученной модели HuggingFace Transformers. Я сделал следующее, чтобы изменить словарь токенизатора, а также увеличить размер встраивания модели:
tokenizer.add_tokens(['word1',...
50 просмотров
schedule
18.11.2022