Публикации по теме 'rnn'


Использование повторяющихся нейронных сетей для прогнозирования значений временных рядов
С июня 2020 г. я больше не буду использовать Medium для публикации новых историй. Пожалуйста, посетите мой личный блог, если вы хотите продолжить читать мои статьи: https://vallant.in . Повторяющиеся нейронные сети или RNN являются одним из самых продвинутых типов нейронных сетей. Они являются частью категории контролируемого обучения и очень часто используются для временных рядов. В сетях такого типа информация, проходящая через скрытые слои, одновременно используется в качестве..
Рекуррентные нейронные сети (RNN)
Узнав о сверточных нейронных сетях (CNN), сегодня мы сосредоточимся на RNN. Что такое RNN? Рекуррентная нейронная сеть — это тип NN с петлями, что позволяет сети иметь своего рода память. Это важно, если шаблоны данных, которые вы пытаетесь использовать, меняются со временем. Структура Структура RNN отличается от нейронных сетей с прямой связью, что мы и видели до сих пор. Здесь выход слоя добавляется к следующему входу и возвращается на тот же уровень, часто единственный..
Понимание RNN и LSTM
Введение: Чтобы понять этот блог и получить как можно больше знаний, я хочу предположить, что у вас есть хотя бы базовое представление о DNN (Глубокие нейронные сети), и если вы не знакомы с этими терминами, я настоятельно рекомендую вам посмотреть это видео . » сначала из Лекс Фридман . Хорошо, давайте начнем с простого примера, представьте, что вы присоединились к своим друзьям, чтобы вместе посмотреть фильм, и как всегда опоздали! около 20 минут. Сколько вам потребуется..
Изучение механизма внимания с нуля!
потому что Внимание - все, что вам нужно , буквально! Одним из важных свойств человеческого восприятия является то, что человек не стремится обрабатывать всю сцену сразу целиком. Вместо этого люди выборочно фокусируют внимание на частях визуального пространства для получения информации, когда и где это необходимо, и объединяют информацию от различных фиксаций с течением времени, чтобы создать внутреннее представление сцены, управляя будущими движениями глаз и принятием решений -..
Расчет количества параметров в модуле и слое LSTM
Расчет количества параметров в модуле и слое LSTM LSTM - это тип рекуррентной нейронной сети, которая широко используется в задачах обработки естественного языка. Архитектура модуля LSTM сложна для освоения. Было бы больше уверенности в понимании параметров слоя, который мы используем в нашей модели. Итак, в этом блоге мы рассмотрим, как рассчитываются параметры для слоя LSTM. В приведенном ниже примере мы использовали уровень LSTM из 100 единиц, и мы видим, что ниже на бэкэнде..
Понимание стробированных рекуррентных нейронных сетей
Чем закрытые RNN лучше, чем RNN? Предпосылки Я настоятельно рекомендую сначала узнать, как работает алгоритм рекуррентной нейронной сети, чтобы уживаться с этим постом о Gated RNN. Gated RNN Прежде чем вдаваться в подробности, давайте сначала обсудим необходимость перехода от RNN к чему-то вроде Gated RNN. При настройке основного алгоритма RNN существует препятствие, с которым сталкивается более или менее каждая нейронная сеть, то есть проблема исчезающих градиентов ...

Вопросы по теме 'rnn'

Tensorflow RNN: ввод двух разных типов
Я хочу ввести два типа данных в свои ячейки LSTM RNN. Мой ввод состоит из списка целых чисел (т.е. [5,2,3,4,6,1,0, ...] ). Однако каждое целое число подразделяется на 2 разные группы, поэтому я хочу пометить каждое целое число, например,...
938 просмотров
tensorflow lstm rnn
schedule 28.08.2022
LSTM «многие к одному», многоклассовая классификация
Я пытаюсь обучить LSTM-RNN с 64 скрытыми единицами. Мои данные следующие: ввод: пустой массив с размерами (170000, 50, 500) -> (примеры, временные шаги, количество функций) выход: пустой массив с размерами (170000 , 10) Выход представляет...
1895 просмотров
keras lstm many-to-one rnn
schedule 16.10.2023
Как тренироваться с входами переменного размера?
Этот вопрос довольно абстрактен и не обязательно связан с тензорным потоком или керасом. Скажем, вы хотите обучить языковую модель и хотите использовать входные данные разного размера для своих LSTM. В частности, я слежу за этой статьей:...
2486 просмотров
keras tensorflow deep-learning lstm rnn
schedule 12.07.2022
Потеря и оценка многомерного прогноза LSTM
У меня есть архитектура модели CNN-RNN с двунаправленной LSTMS для проблемы регрессии временных рядов. Моя потеря не сходится более чем за 50 эпох. Каждая эпоха насчитывает 20 тысяч образцов. Убыток продолжает колебаться в диапазоне 0,001–0,01 ....
1311 просмотров
keras lstm regression rnn
schedule 20.01.2023
Использование предварительно обученных встраиваний предложений в PyTorch
[Исходное сообщение, см. отредактированное ниже] Я новичок в PyTorch и пытаюсь выполнить в нем задачу классификации предложений. Я усреднил вложения слов в каждом предложении (вложения перчаток), чтобы сформировать вложение предложения....
2981 просмотров
pytorch lstm rnn
schedule 18.05.2022
Keras LSTM для прогнозирования временных рядов: прогнозирование векторов признаков
У меня есть набор данных временных рядов с N наблюдениями и F функциями. Каждая функция может либо проявляться (1), либо не проявляться (0). Таким образом, набор данных будет выглядеть так: T F1 F2 F3 F4 F5 ... F 0 1 0...
699 просмотров
python keras lstm time-series rnn
schedule 23.03.2023
Обучение последовательности RNN
Я новичок в прогнозировании TensorFlow RNN. Я пытаюсь использовать RNN с BasicLSTMCell для прогнозирования последовательности, например 1,2,3,4,5 ->6 3,4,5,6,7 ->8 35,36,37,38,39 ->40 Мой код не сообщает об ошибке, но результаты для...
118 просмотров
tensorflow deep-learning rnn
schedule 19.06.2023
Как использовать модель Keras для прогнозирования вывода после распаковки модели
Я могу распаковать свою модель RNN на свой веб-сайт, но у меня возникают проблемы с тем, чтобы она предсказывала пустой массив прогнозов, используя список в качестве входных данных (содержит только одну строку с именем text , но должен быть list...
388 просмотров
machine-learning keras lstm rnn
schedule 31.03.2023
Какова связь между размером пакета, длиной последовательности и скрытым_размером?
При чтении документа API dynamic_rnn у меня возник следующий вопрос: Существуют ли ограничения на взаимосвязь между размером пакета, длиной последовательности и скрытым_размером (ячейки)? Я думаю, что: длина последовательности ‹=...
609 просмотров
dynamic tensorflow rnn
schedule 11.02.2024
LSTM Numpy, Loss, Cell State, Gradients, Weights переходят в NAN после ~ 250 итераций обучения
Я делаю реализацию LSTM с numpy, и после нескольких итераций обучения я столкнулся со значениями nan. Я следую этому руководству. https://wiseodd.github.io/techblog/2016/08/12/lstm-backprop/ Определение модели: import numpy as np H =...
259 просмотров
python numpy lstm rnn
schedule 20.03.2022
Размер lstm не соответствует тензорному потоку
Я создаю сеть LSTM, и размер моего ввода равен 100*100*83 ( batch_size=100, steps = 100, char_vector = 83) . Я создаю два слоя LSTM, которые имеют 512 скрытых единиц. # coding: utf-8 from __future__ import print_function import tensorflow as...
315 просмотров
python machine-learning tensorflow lstm rnn
schedule 08.12.2022
Набор данных для RNN-LSTM как средство проверки орфографии в python
У меня есть набор данных из более чем 5 миллионов записей, в котором есть много шумовых функций (слов), поэтому я подумал об исправлении орфографии и обработке аббревиатур. Когда я погуглил пакеты исправления орфографии в python, я получил такие...
2097 просмотров
python-3.x lstm spell-checking rnn
schedule 01.01.2023
Керас: неправильная форма ввода в нейронной сети LSTM
Я пытаюсь обучить рекуррентную нейронную сеть LSTM для классификации последовательностей. Мои данные имеют следующий вид: Input: [1,5,2,3,6,2, ...] -> Output: 1 Input: [2,10,4,6,12,4, ...] -> Output: 1 Input: [4,1,7,1,9,2, ...] ->...
1169 просмотров
python keras lstm neural-network rnn
schedule 21.02.2023
Должен ли я делать маскировку потерь при использовании переменной длины последовательности в Dynamic_RNN
В настоящее время я создаю модель для классификации текста, используя Dynamic RNN в tf. Мои входы имеют разную длину, поэтому я дополнил входы одинаковой (максимальной) длиной. Я использовал аргумент sequence_length в tf.nn.dynamic_rnn для подачи...
456 просмотров
python tensorflow neural-network text-classification rnn
schedule 25.12.2022
Обслуживание Tensorflow: как перебирать заполнитель ввода
Я использую Tensorflow для создания модели RNN (GRU), теперь модель обучена, и мне нужно развернуть ее с помощью Tensorflow Serving для службы прогнозирования. Итак, я создаю функцию signature_def, как показано ниже, функция должна получать...
385 просмотров
python tensorflow tensorflow-serving rnn
schedule 25.10.2023
Tensorflow: прогноз классификации нескольких меток одинаков для всех тестовых данных.
Я пытаюсь работать с проблемой классификации с несколькими метками, здесь доступен набор данных Поэтому я преобразовал свой ввод для LSTM RNN как: Исходные данные были: [-0.106902 -0.111342 0.104265 0.114448 0.067026 0.040118...
360 просмотров
python tensorflow deep-learning lstm rnn
schedule 10.04.2022
RNN не обучается, когда размер пакета > 1 с данными переменной длины
Я реализую простую сеть RNN, которая предсказывает 1/0 для некоторых данных временного ряда переменной длины. Сеть сначала передаст обучающие данные в ячейку LSTM, а затем будет использовать линейный слой для классификации. Обычно мы использовали...
538 просмотров
pytorch machine-learning nlp rnn
schedule 22.12.2022
Как классифицировать данные акселерометра из текстового файла?
У меня есть текстовый файл (x_train) из данных датчиков, таких как акселерометры: # (patient number, time in ms, normalization of X Y and Z, # kurtosis, skewness, pitch, roll and yaw, label) respectively....
394 просмотров
python-3.x keras detection rnn
schedule 20.11.2022
Tensorflow: вывод внимания объединяется со следующим вводом декодера, что приводит к несоответствию размеров в модели seq2seq
[TF 1.8] Я пытаюсь построить модель seq2seq для игрушечного чат-бота, чтобы узнать о тензорном потоке и глубоком обучении. Мне удалось обучить и запустить модель с выборкой softmax и поиском лучей, но затем я пытаюсь применить...
396 просмотров
python tensorflow nlp seq2seq rnn
schedule 02.06.2023
API Tensorflow RNN static_rnn
В настоящее время я изучаю API-интерфейсы RNN и Tensorflow RNN. Для tf.contrib.rnn.static_rnn у него есть один аргумент initial_state , который является необязательным аргументом. В чем разница между переходом в начальное состояние и без...
79 просмотров
tensorflow rnn
schedule 16.06.2023