Публикации по теме 'dropout'


Dropout: простой способ предотвратить переобучение нейронных сетей
Переобучение: Переоснащение происходит, когда модель машинного обучения дает хорошие результаты на наборе поездов, но плохо работает на тестовом наборе. Мы склонны говорить, что в таких случаях потери обобщения высоки или, другими словами, алгоритм не может хорошо обобщать. Переобучение происходит из-за того, что аналогичная ошибка присутствует в многочисленных обучающих данных, что приводит к тому, что алгоритм изучает и эти ошибки. Нейронные сети, являющиеся плотными моделями с..

Нейронная сеть и отсевы
Объясняет отсевы в нейронных сетях, когда их использовать и как это реализовано. В этом посте мы поймем, что такое «выпадение» в нейронных сетях, когда мы должны использовать «выпадение» и как это реализовано в нейронных сетях. Глубокие нейронные сети с ограниченными данными и несколькими нелинейными скрытыми слоями становятся сложными. По мере увеличения сложности модели она начинает изучать шум, присутствующий в обучающем наборе данных. Это приводит к переобучению модели...

Улучшение нейронных сетей за счет предотвращения совместной адаптации детекторов признаков
Это сообщение в блоге направлено на то, чтобы дать читателям некоторое представление о глубоких нейронных сетях и интуитивном понимании техники отсева. Глубокие нейронные сети Глубокие нейронные сети - это модели, состоящие из нескольких слоев простых нелинейных нейронов. С составом достаточного количества нейронов модель может изучать чрезвычайно сложные функции, которые могут точно выполнять сложные задачи, которые невозможно жестко запрограммировать, такие как классификация..

Вопросы по теме 'dropout'

Реализация Tensorflow LSTM Dropout
Как конкретно тензорный поток применяет dropout при вызове tf.nn.rnn_cell.DropoutWrapper ()? Все, что я читал о применении отсева к ссылкам rnn в этой статье Zaremba et. al , в котором говорится, что не применяйте прерывание между...
5554 просмотров
schedule 18.04.2022

Передовой пас Кераса с выпадением
Я пытаюсь использовать отсев, чтобы получить оценки ошибок для нейронной сети. Это включает в себя запуск нескольких прямых проходов моей сети после обучения с активированным отсевом. Однако Dropout, похоже, не активируется при вызове...
1266 просмотров

Dropout в R: случайным образом удалить элементы и заменить их на NA
Я хочу реализовать отсев, т.е. случайным образом заменить элементы на NA и вернуть вектор/список обратно со значениями NA. Желаемый результат состоит в том, чтобы уменьшить переоснащение, поэтому для этого могут быть более удобные функции....
99 просмотров
schedule 21.12.2022

Добавление исключения к фазе тестирования / вывода
Я обучил следующую модель для некоторых таймсерий в Керасе: input_layer = Input(batch_shape=(56, 3864)) first_layer = Dense(24, input_dim=28, activation='relu', activity_regularizer=None,...
4219 просмотров

Как я могу использовать отсев в keras
Произошла ошибка при моделировании cnn. При использовании отсева появляется следующее сообщение об ошибке. это сообщение об ошибке UnboundLocalError: local variable 'a' referenced before assignment модель def...
265 просмотров
schedule 22.12.2022

Почему мы хотим масштабировать результаты при использовании отсева?
Из статьи об исключении : «Идея состоит в том, чтобы использовать одну нейронную сеть во время тестирования без отсева. Веса этой сети являются уменьшенными версиями обученных весов. Если единица сохраняется с вероятностью p во время обучения,...
599 просмотров

Как правильно реализовать слой обратного отсева в керасе?
Я прочитал здесь много математических объяснений, которые я ничего не понял. Может ли кто-нибудь предоставить простой пример кода? Я ищу пример последовательной модели keras. Спасибо за ответы на все вопросы.
39 просмотров
schedule 26.02.2022

Использование исключения на сверточных слоях в Keras
Я реализовал сверточную нейронную сеть с пакетной нормализацией входного одномерного сигнала. Моя модель имеет довольно хорошую точность ~ 80%. Вот порядок моих слоев: (Conv1D, Batch, ReLU, MaxPooling) повторять 6 раз, Conv1D, Batch, ReLU, Dense,...
2639 просмотров
schedule 08.12.2021

Слой исключения все еще активен в замороженной модели Keras (т.е. обучаемый = False)?
У меня есть две обученные модели ( model_A и model_B ), и у обеих есть слои исключения. Я заморозил model_A и model_B и объединил их с новым плотным слоем, чтобы получить model_AB (но я не удалял выпадающие слои model_A и model_B ). Вес...
592 просмотров

Не разрушит ли выпадающий слой сеть?
Представьте, что у вас есть глубокая нейронная сеть для решения задачи регрессии, чтобы предсказать вес человека. Ваша нейронная сеть выглядит так: Dense(112, activation='relu') Dense(512, activation='relu) Dropout(0.5) Dense(1,...
40 просмотров
schedule 26.03.2023

На какие слои влияет выпадающий слой в Tensorflow?
Рассмотрим трансферное обучение, чтобы использовать предварительно обученную модель в keras / tensorflow. Для каждого старого слоя параметр trained установлен в false , чтобы его веса не обновлялись во время обучения, тогда как последний слой (и)...
614 просмотров

Dropout Layer с нулевой скоростью отбрасывания
У меня возникли проблемы с пониманием определенного аспекта выпадающих слоев в PyTorch. Как указано в документации Pytorch , сигнатура метода torch.nn.Dropout(p=0.5, inplace=False) , где p — процент отсева. Что делает этот слой при выборе...
111 просмотров
schedule 04.12.2023