Вопросы по теме 'softmax'

Зачем использовать softmax вместо стандартной нормализации?
В выходном слое нейронной сети обычно используется функция softmax для аппроксимации распределения вероятностей: Это дорого для вычисления из-за экспонент. Почему бы просто не выполнить Z-преобразование, чтобы все выходы были положительными,...
47635 просмотров
neural-network softmax math
schedule 14.07.2023
Как отлаживать и векторизовать частные производные сети радиальных базисных функций при использовании softmax loss?
Я пытаюсь запустить (стохастический или пакетный) градиентный спуск, когда используется стандартная перекрестная энтропия (softmax loss): при использовании в качестве модели сети Radial Basis Function (RBF) (вы можете посмотреть форму...
207 просмотров
machine-learning matlab softmax gradient-descent
schedule 17.08.2023
Регрессия softmax Tensor Flow всегда предсказывает 1
У меня есть следующий код, основанный на примере MNIST. Модифицируется двумя способами: 1) Я не использую один горячий вектор, поэтому я просто использую tf.equal(y, y_) 2) Мои результаты двоичные: либо 0, либо 1 import tensorflow as tf...
1533 просмотров
python numpy tensorflow softmax
schedule 29.07.2022
Нейронная сеть с выводом softmax не может сходиться
Я работал над Учебником по глубокому обучению Стэмфорда, и у меня возникла проблема с одним из упражнений, нейронной сетью с выходным слоем softmax. Вот моя реализация на R: train <- function(training.set, labels, costFunc, activationFunc,...
752 просмотров
r machine-learning artificial-intelligence neural-network softmax
schedule 28.06.2023
Два вектора каждого слова в базовой модели Skip-bigram word2vec с функцией softmax
Я читаю необработанную статью word2vec: http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf Согласно приведенному ниже уравнению, каждое слово имеет два вектора, один из которых...
772 просмотров
machine-learning softmax word2vec
schedule 15.07.2023
Tensorflow – ValueError: невозможно передать значение формы
У меня есть 19 входных целочисленных функций. Вывод и метки равны 1 или 0. Я изучаю пример MNIST из сайт тензорного потока . Мой код здесь: validation_images, validation_labels, train_images, train_labels = ld.read_data_set() print "\n" print...
5587 просмотров
tensorflow deep-learning softmax
schedule 24.10.2022
Реализация базовой модели softmax на изображениях размером 150x150
Изучая тензорный поток, я пытался адаптировать базовый пример softmax MNIST для работы с моим собственным набором изображений. Это аэрофотоснимки зданий, и я хочу классифицировать их по типу крыши. Можно сделать 4 такие классификации. Простая...
219 просмотров
python machine-learning tensorflow softmax
schedule 04.07.2023
Обучение языковой модели TensorFlow с помощью NCE или выборки softmax
Я адаптирую учебник TensorFlow RNN для обучения языковой модели с потерей NCE или сэмплированным softmax, но я все еще хочу сообщить о недоумениях. Однако недоумения, которые я получаю, очень странные: за NCE я получаю несколько миллионов (ужасно!),...
1165 просмотров
tensorflow lstm softmax language-model
schedule 01.02.2023
Преобразование активации вывода с помощью Softmax дает аналогичные значения.
Я обучил простую рекуррентную сеть (62 единицы ввода, 124 скрытых/контекстных единицы, 62 единицы вывода) предсказывать следующее слово в предложении. Я использовал сигмовидную функцию активации. По каким-то разным и странным причинам применять...
1004 просмотров
r machine-learning neural-network recurrent-neural-network softmax
schedule 14.07.2022
MLP дает неточные результаты
Я попытался построить простой MLP с 2 скрытыми слоями и 3 выходными классами. В модели я сделал следующее: Входные изображения - это изображения размером 120x120 rgb. Уплощенный размер (3 * 120 * 120) 2 скрытых слоя размером 100....
58 просмотров
machine-learning tensorflow neural-network softmax
schedule 12.10.2022
Масштабируемый, эффективный иерархический Softmax в Tensorflow?
Я заинтересован в реализации иерархической модели softmax, которая может обрабатывать большие словари, скажем, порядка 10 миллионов классов. Каков наилучший способ сделать это, чтобы быть масштабируемым до большого количества классов и эффективным?...
3310 просмотров
tensorflow softmax
schedule 09.09.2022
Почему softmax не используется в скрытых слоях
Я прочитал ответ, данный здесь . Мой точный вопрос относится к принятому ответу: Независимость от переменных: много регуляризации и усилий приложено, чтобы ваши переменные были независимыми, некоррелированными и довольно разреженными. Если вы...
764 просмотров
neural-network softmax activation-function
schedule 16.03.2023
Tensorflow CNN — плотный слой в качестве входных данных слоя Softmax
Я пытаюсь воспроизвести CNN, описанный в https://pdfs.semanticscholar.org/3b57/85ca3c29c963ae396c2f94ba1a805c787cc8.pdf и я застрял на последнем слое. Я смоделировал cnn следующим образом # Model function for CNN def cnn_model_fn(features,...
5226 просмотров
python tensorflow softmax convolution
schedule 23.04.2023
Argmax на тензоре и потолке в Tensorflow
Предположим, у меня есть тензор в Tensorflow, его значения такие: A = [[0.7, 0.2, 0.1],[0.1, 0.4, 0.5]] Как я могу изменить этот тензор на следующее: B = [[1, 0, 0],[0, 0, 1]] Другими словами, я хочу просто сохранить максимум и...
482 просмотров
keras tensorflow neural-network softmax argmax
schedule 24.05.2023
Нейронные сети - уменьшение потери кросс-энтропии Softmax соответствует снижению точности
Обучаю нейронную сеть и использую Tensorflow. Моя функция стоимости: cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=prediction, labels=y)) Обучение моей нейронной сети привело к снижению перекрестной энтропии потерь с ~...
807 просмотров
machine-learning tensorflow neural-network softmax
schedule 14.12.2022
Зачем нужна функция softmax? Почему не простая нормализация?
Я не знаком с глубоким обучением, поэтому это может быть вопрос для новичков. Насколько я понимаю, функция softmax в многослойных персептронах отвечает за нормализацию и распределение вероятностей для каждого класса. Если да, то почему бы нам не...
1310 просмотров
deep-learning neural-network softmax
schedule 25.07.2023
Должен ли я использовать вывод Softmax для обратного распространения?
Я смог внедрить Softmax, чтобы использовать это для функции стоимости Cross Entropy, но мой вопрос в том, должен ли я использовать вывод Softmax (т.е. вероятности) для обратного распространения и обновления весов? Для меня это не совсем правильно,...
715 просмотров
machine-learning neural-network softmax
schedule 15.06.2023
Использование softmax в нейронных сетях для определения метки ввода
Я использую модель keras со следующими слоями, чтобы предсказать метку ввода (из 4 меток) embedding_layer = keras.layers.Embedding(MAX_NB_WORDS, EMBEDDING_DIM,...
813 просмотров
machine-learning keras neural-network softmax
schedule 15.07.2022
чем softmax отличается от нахождения среднего значения каждого значения из общего значения?
Я пытался понять softmax и придумал простой пример ниже. def simpleSoftmax(allValues): return np.exp(allValues) / np.sum(np.exp(allValues), axis=0) Вызов simpleSoftmax([3,2,4]) array([ 0.24472847, 0.09003057, 0.66524096]) В...
136 просмотров
machine-learning softmax
schedule 13.04.2022
Проблемы с реализацией активации softmax и потери кросс-энтропии и их производных в нейронной сети
Я реализовал простой многослойный перцептрон (всего с 1 скрытым слоем), который может изучать проблемы регрессии. Я написал это так, чтобы можно было указать выбор между активациями сигмовидной, тангенциальной и реактивной формы. Квадрат ошибки...
869 просмотров
python machine-learning deep-learning neural-network softmax
schedule 14.09.2022