Вопросы по теме 'huggingface-transformers'
Пример кода в документации по быстрому запуску Hugging Face Pytorch-Transformers
Я следую краткому руководству здесь . Проблема в том, что они предоставили код для компьютера с графическим процессором, а я запускаю код на компьютере с Ubuntu на базе процессора. Я прокомментировал строки, которые помещают все в CUDA. Код теперь...
575 просмотров
schedule
21.07.2022
Windows spyder недопустимая синтаксическая ошибка при запуске файла py
Я пытаюсь запустить последний пример из страница . Я клонировал репозиторий в каталоге C:/Users/nn/Desktop/BERT/transformers-master . Я нахожусь на машине с Windows и использую IDE spyder. Почему я получаю ошибку ниже и как я могу ее решить? Как...
550 просмотров
schedule
26.10.2022
Как использовать библиотеку Hugging Face Transformers в Tensorflow для классификации текста в пользовательских данных?
Я пытаюсь выполнить классификацию двоичного текста для пользовательских данных (которые находятся в формате csv) с использованием различных архитектур трансформаторов, которые предлагает библиотека Hugging Face 'Transformers'. Я использую это...
2351 просмотров
schedule
03.03.2022
Лучший способ использовать заполнение маски обнимающего лица для более чем 1 маскируемого токена за раз
Я могу использовать конвейер заполнения маски обнимающего лица, чтобы предсказать 1 замаскированный токен в предложении, используя следующее:
!pip install -q transformers
from __future__ import print_function
import ipywidgets as widgets
from...
673 просмотров
schedule
22.04.2023
Классификация текста с помощью BERT - как обрабатывать слова с ошибками
Я не уверен, что это лучшее место, чтобы задать такой вопрос, возможно, CrossValdation будет лучшим местом.
Я работаю над проблемой классификации текстовых мультиклассов. Я построил модель на основе концепции BERT, реализованной в PyTorch...
1248 просмотров
schedule
22.04.2023
Использование конвейера заливки-маски huggingface, чтобы получить более 5 предложений
Приведенное ниже позволяет мне получить 5 предложений для замаскированного токена, но я хотел бы получить 10 предложений - кто-нибудь знает, возможно ли это с обнимающим лицом?
!pip install -q transformers
from __future__ import print_function...
1567 просмотров
schedule
17.01.2022
Как можно декодировать выходные последовательности из TFGPT2Model?
Я пытаюсь получить сгенерированный текст из TFGPT2Model в библиотеке Transformers. Я вижу выходной тензор, но не могу его декодировать. Токенизатор несовместим с моделью TF для декодирования?
Код:
import tensorflow as tf
from transformers...
207 просмотров
schedule
29.04.2024
Как я могу продолжить точную настройку с контрольной точки с помощью сценария NER?
Я пытаюсь выполнить этот сценарий , используя run_ner.py , но все, что я пробовал продолжить тонкую настройку с КПП не удалось. Любые идеи?
Я запускаю его с помощью Google Colab. Далее содержимое ячейки, которое я запускаю:
%cd...
253 просмотров
schedule
29.10.2022
Невозможно импортировать трубопровод от трансформаторов
Я установил pytorch с conda и transformers с pip .
Я могу import transformers без проблем, но когда я пытаюсь import pipeline from transformers , я получаю исключение:
from transformers import pipeline...
5906 просмотров
schedule
24.05.2022
Оцените вероятность токена / логиты для данного предложения, не вычисляя все предложение
У меня есть такое предложение: "I like sitting in my new chair and _____ about life" .
И у меня есть КОНКРЕТНЫЙ набор токенов, например ["watch", "run", "think", "apple", "light"]
Я...
854 просмотров
schedule
22.03.2023
Как получить немедленную вероятность следующего слова с помощью модели GPT2?
Пробовал модель gpt2 с обнимающим лицом. Я видел run_generation.py script , который генерирует последовательность жетонов с подсказкой. Я знаю, что мы можем использовать GPT2 для NLG.
В моем случае использования я хочу определить распределение...
1357 просмотров
schedule
15.06.2022
Python ImportError: из трансформаторов import BertTokenizer, BertConfig
Я пытаюсь выполнить распознавание именованных объектов в Python с помощью BERT и установил трансформаторы v 3.0.2 из huggingface, используя pip install transformers . Затем, когда я пытаюсь запустить этот код:
import torch
from torch.utils.data...
637 просмотров
schedule
23.11.2022
HuggingFace Transformers: BertTokenizer меняет персонажей
Я загрузил норвежскую модель BERT с https://github.com/botxo/nordic_bert , и загрузил его с помощью:
import transformers as t
model_class = t.BertModel
tokenizer_class = t.BertTokenizer
tokenizer =...
1201 просмотров
schedule
18.02.2022
Распознавание именованных сущностей с помощью преобразователей Huggingface, отображение на полные сущности
Я просматриваю документацию по конвейеру Huggingface для распознавания именованных сущностей , и мне не ясно, как эти результаты должны использоваться в реальной модели распознавания сущностей.
Например, учитывая пример в документации:...
2240 просмотров
schedule
26.03.2024
Как использовать прошлое с HuggingFace Transformers GPT-2?
У меня есть:
context = torch.tensor(context, dtype=torch.long, device=self.device)
context = context.unsqueeze(0)
generated = context
with torch.no_grad():
past_outputs = None
for i in...
546 просмотров
schedule
20.04.2022
Как мне бороться с нехваткой памяти CUDA при точной настройке BART
Я пытаюсь точно настроить BART для наборов данных XSum с помощью скрипта точной настройки в Readme, и я продолжаю получать эту ошибку:
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB
(GPU 0; 14.73 GiB total capacity; 13.67 GiB...
696 просмотров
schedule
04.04.2022
Тензор факела и конфликт ввода: объект тензора не может быть вызван
Из-за кода torch.tensor я получаю сообщение об ошибке Tensor object is not callable при добавлении ввода. Кто-нибудь знает, как я могу это исправить?
import torch
from torch.nn import functional as F
from transformers import GPT2Tokenizer,...
303 просмотров
schedule
08.02.2023
Обнимающее лицо - RuntimeError: обнаружена RuntimeError в реплике 0 на устройстве 0 в Azure Databricks
Как запустить сценарий run_language_modeling.py из обнимающего лица с использованием предварительно обученной модели случая Роберты для точной настройки с использованием моих собственных данных в блоках данных Azure с кластером графического...
1246 просмотров
schedule
20.05.2023
Загрузите предварительно обученную модель с диска с помощью Huggingface Transformers
Из документации для from_pretrained , насколько я понимаю, у меня нет чтобы каждый раз загружать предварительно обученные векторы, я могу сохранить их и загрузить с диска с помощью этого синтаксиса:
- a path to a `directory` containing...
14954 просмотров
schedule
28.08.2023
Локальное открытие сохраненной модели трансформаторов
У меня есть сохраненная модель трансформаторов с использованием BertModel.from_pretrained('test_model')
Я обучил эту модель с помощью графических процессоров Google Colab.
Затем я хочу открыть его с помощью...
258 просмотров
schedule
09.02.2023
