Вопросы по теме 'bert-language-model'

BERT Мультиклассовая классификация текста в Google Colab
Я работаю над набором данных комментариев в социальных сетях (включая ссылки на YouTube) в качестве входных функций и личным профилем Майерс-Биггс в качестве целевой метки: type posts 0 INFJ...
5278 просмотров
python pytorch data-science google-colaboratory bert-language-model
schedule 27.01.2023
Получение ошибки модуля BERT при попытке доступа к bert.variables
Я пытаюсь заставить BERT выполнить анализ настроений из кода, полученного отсюда: https://github.com/strongio/keras-bert Но когда я пытаюсь построить модель, я получаю сообщение об ошибке: 'Module' object has no attribute 'variables' Это...
100 просмотров
python tensorflow bert-language-model
schedule 17.09.2022
Как предсказать замаскированное слово в предложении в BERT-базе из файлов контрольной точки Tensorflow (ckpt)?
У меня есть контрольные точки модели на основе BERT, которые я обучил с нуля в Tensorflow. Как я могу использовать эти контрольные точки, чтобы предсказать замаскированное слово в данном предложении? Например, допустим, предложение выглядит так:...
1567 просмотров
python tensorflow deep-learning bert-language-model predict
schedule 18.09.2022
Удаление токена SEP в Bert для классификации текста
Учитывая набор данных классификации настроений, я хочу уточнить Берта. Как вы знаете, BERT создан для предсказания следующего предложения с учетом текущего предложения. Таким образом, чтобы сеть знала об этом, они вставили токен [CLS] в начало...
1220 просмотров
python bert-language-model
schedule 28.09.2022
BERT с 256 скрытыми вложениями
Я пытаюсь использовать BERT, чтобы получить вложения слов из разных наборов данных для моей задачи NLP. Я использовал bert_base_uncased с 768 вложениями слов, но ему не хватает памяти. Вышла версия с встраиванием 256 слов? Или есть способ сжать 768...
46 просмотров
python pytorch tensorflow bert-language-model
schedule 15.07.2022
Классификация текста с помощью BERT - как обрабатывать слова с ошибками
Я не уверен, что это лучшее место, чтобы задать такой вопрос, возможно, CrossValdation будет лучшим местом. Я работаю над проблемой классификации текстовых мультиклассов. Я построил модель на основе концепции BERT, реализованной в PyTorch...
1248 просмотров
pytorch huggingface-transformers bert-language-model text-classification misspelling
schedule 22.04.2023
Тонкая настройка BERT с моими собственными сущностями / метками
Я хотел бы точно настроить модель BERT с моими собственными ярлыками, такими как [ЦВЕТ, МАТЕРИАЛ], а не обычными «ИМЯ», «ОРГАНИЗАЦИЯ». Я слежу за этим Colab: https://colab.research.google.com/drive/14rYdqGAXJhwVzslXT4XIwNFBwkmBWdVV Я...
294 просмотров
neural-network transformer bert-language-model
schedule 25.04.2022
TFBertMainLayer получает меньшую точность по сравнению с TFBertModel
У меня возникла проблема с сохранением веса TFBertModel , завернутого в Keras . проблема описана здесь, в выпуске GitHub и здесь, в Stack Overflow . Решение, предлагаемое в обоих случаях, заключается в использовании config =...
470 просмотров
keras transformer bert-language-model
schedule 19.04.2023
Как использовать вложения слов (например, Word2vec, GloVe или BERT) для вычисления наибольшего сходства слов в наборе из N слов?
Я пытаюсь рассчитать семантическое сходство, вводя список слов и выводя слово, которое является самым сходным словом в списке. E.g. Если я передам список слов words = ['portugal', 'spain', 'belgium', 'country', 'netherlands', 'italy'] Это...
2793 просмотров
python stanford-nlp word2vec bert-language-model cosine-similarity
schedule 13.08.2022
Кластеризация неоднородных журналов без метки с использованием BERT (неконтролируемое обучение)
У меня есть файл журнала, который содержит журналы различных служб, таких как apache, Hadoop, spark, ssh, HDFS, HPC и многие другие типы журналов в одном файле. Я токенизирую журналы с помощью BERT FullTokenizer. Я также вижу этот вопрос, но не...
65 просмотров
python tensorflow2.0 bert-language-model anomaly-detection
schedule 16.02.2022
как использовать bert для длинных предложений?
Я пытаюсь разделить данный текст на новости, кликбейт и другие. Тексты, которые у меня есть для обучения, длинные. Здесь показано распределение длин. , вопрос в том, нужно ли обрезать текст посередине и сделать его длиной 512 токенов? Но у меня...
2589 просмотров
nlp deep-learning bert-language-model
schedule 24.07.2022
Обнимающее лицо - RuntimeError: обнаружена RuntimeError в реплике 0 на устройстве 0 в Azure Databricks
Как запустить сценарий run_language_modeling.py из обнимающего лица с использованием предварительно обученной модели случая Роберты для точной настройки с использованием моих собственных данных в блоках данных Azure с кластером графического...
1246 просмотров
pytorch azure-databricks databricks huggingface-transformers bert-language-model
schedule 20.05.2023
Ошибка токенизации Берта ValueError: ввод nan недействителен. Должна быть строка, список/кортеж строк или список/кортеж целых чисел
Я использую Bert для задачи классификации текста, когда пытаюсь токенизировать один образец данных, используя код: encoded_sent = tokenizer.encode( sentences[7],...
1320 просмотров
python nlp tokenize classification bert-language-model
schedule 06.11.2022
модели трансформаторов huggingface: KeyError: сообщение 'input_ids' в начале обучения модели BERT
Используя библиотеку преобразователя Huggingface, я обнаружил ошибку на последнем этапе, когда перехожу к точной настройке языковой модели BERT для задачи моделирования языка с масками. Я ищу, чтобы настроить его для финансового корпуса в предметной...
1240 просмотров
python nlp bert-language-model
schedule 17.01.2023
Трансформаторы BertModel выводят строку вместо тензора
Я слежу за этим учебник, который кодирует классификатор анализа настроений с использованием BERT с библиотекой huggingface , и у меня очень странное поведение. При попытке использовать модель BERT с образцом текста я получаю строку вместо скрытого...
1668 просмотров
huggingface-transformers bert-language-model huggingface-tokenizers
schedule 12.10.2022
Список индекса вне диапазона при сохранении точно настроенной модели Tensorflow
Я пытаюсь настроить предварительно обученную модель BERT из Huggingface с помощью Tensorflow. Все работает гладко, модель строится и обучается без ошибок. Но когда я пытаюсь сохранить модель, она останавливается с ошибкой IndexError: list index out...
293 просмотров
python tensorflow google-colaboratory huggingface-transformers bert-language-model
schedule 29.04.2022
Как настроить модель BERT?
class BertClassifier(nn.Module): #Bert Model for Classification Tasks. def __init__(self, freeze_bert=False): """ @param bert: a BertModel object @param classifier: a torch.nn.Module...
183 просмотров
pytorch deep-learning bert-language-model
schedule 12.07.2022
Попытка обучить модель разрешения кореференции AllenNLP на онтонах: выводит CUDA из памяти
Я пытаюсь обучить модель Coreference AllenNLP на графическом процессоре 16 ГБ, используя этот файл конфигурации: https://github.com/allenai/allennlp-models/blob/main/training_config/coref/coref_spanbert_large.jsonnet Я создал файлы для обучения,...
119 просмотров
bert-language-model allennlp coreference-resolution
schedule 05.03.2022
Точная настройка модели BERT для встраивания с учетом контекста
Я пытаюсь найти информацию о том, как обучить модель BERT, возможно, из Huggingface Transformers библиотека, так что встраивание, которое она выводит, более тесно связано с контекстом текста, который я использую. Однако все примеры, которые мне...
108 просмотров
python nlp bert-language-model
schedule 14.09.2023
AttributeError: объект «KerasTensor» не имеет размера атрибута с обнимающим лицом bert. Модель AutoModel с тензорным потоком
Я работаю над tensorflow 2, и я использовал предварительно обученный BERT Hugface с Tensorflow 2, чтобы выполнить с ним классификацию текста, здесь я хочу создать с ним нейронную сеть: из слоев импорта tensorflow.keras from transformers import...
190 просмотров
python tensorflow huggingface-transformers bert-language-model
schedule 24.09.2022