Вопросы по теме 'autograd'

Частная производная с использованием Autograd
У меня есть функция, которая принимает многомерный аргумент x. Здесь x = [x1,x2,x3]. Допустим, моя функция выглядит так: f(x,T) = np.dot(x,T) + np.exp(np.dot(x,T), где T — константа. Меня интересуют функции df/dx1, df/dx2 и df/dx3. Я добился...
2864 просмотров

Про автоград в пёрч, Добавление новых пользовательских слоев, как сделать чтобы его параметры обновлялись?
каждый ! Мое требование — проблема генерации оптического потока. У меня есть два необработанных изображения и данные оптического потока в качестве наземной истины, теперь мой алгоритм состоит в том, чтобы генерировать оптический поток с...
86 просмотров
schedule 30.03.2023

Штраф за градиент активации
Вот простая нейронная сеть, в которой я пытаюсь наказать норму градиентов активации: class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 32, kernel_size=5) self.conv2 =...
548 просмотров
schedule 17.09.2022

Pytorch: обратное распространение от суммы матричных элементов к листовой переменной
Я пытаюсь немного лучше понять обратное распространение в pytorch. У меня есть фрагмент кода, который успешно выполняет обратное распространение от выхода d к листовой переменной a, но затем, если я добавлю шаг изменения формы, обратное...
1348 просмотров
schedule 17.05.2022

Градиент с использованием ошибки функции autograd python
Я пытаюсь вычислить градиент некоторой функции с помощью autograd, но терпит неудачу и показывает следующую ошибку. from autograd import grad def f(a): return a[0]*np.sin(2*np.pi*a[1]) + a[2]*np.sin(2*np.pi*a[3]) a=[1.0,1.0,1.0,1.0] gr =...
243 просмотров
schedule 14.07.2023

Зачем нам нужно клонировать grad_output и назначать его grad_input при определении функции автоградации ReLU?
Я просматриваю автоградную часть учебников по pytorch. У меня есть два вопроса: Зачем нам нужно клонировать grad_output и назначать его grad_input , кроме простого назначения во время обратного распространения? Какова цель grad_input[input...
504 просмотров
schedule 09.01.2023

Почему в этом случае torch.autograd не вычисляет градиент?
Почему в этом случае torch.autograd не вычисляет градиент? import torch x = torch.tensor([1., 2., ], requires_grad=True) y = torch.tensor([x[0] + x[1], x[1] - x[0], ], requires_grad=True) z = y[0] + y[1] z.backward() x.grad Вывод - пустая...
64 просмотров

дамп ядра mxnet при попытке простой программы
mxnet 1.6.0 выдает дамп ядра, когда я пробую следующую программу from mxnet import np, autograd x = np.arange(4.0) x.attach_grad() print(x.grad) with autograd.record(): y = 2 * np.dot(x, x) print("y = ", y) y.backward()...
133 просмотров
schedule 12.07.2022

Реализация простого алгоритма оптимизации в PyTorch
В настоящее время я изучаю PyTorch, чтобы использовать его функцию автоградации с открытым исходным кодом, и в качестве упражнения для себя я хочу реализовать простой алгоритм оптимизации, который я уже реализовал в MATLAB. В качестве простого...
170 просмотров

Обратное распространение y = x / sum(x, dim=0), где размер тензора x равен (H,W)
Q1. Я пытаюсь сделать свою пользовательскую функцию autograd с помощью pytorch. Но у меня возникла проблема с аналитическим обратным распространением с y = x/sum(x, dim=0) где размер тензора x равен (высота, ширина) (x двумерный). Вот мой код...
98 просмотров
schedule 14.05.2023

PyTorch Backwards Automatic Diff. со взвешенным убытком
В настоящее время я пытаюсь реализовать метод, в котором я выполняю градиентный спуск с использованием взвешенных потерь, и мне было интересно, может ли кто-нибудь помочь мне с реализацией этого метода в pytorch, поскольку мой текущий метод ошибка ....
67 просмотров
schedule 30.12.2021

Вычисление потери функции предсказаний с помощью pytorch
У меня есть сверточная нейронная сеть, которая предсказывает 3 величины: Ux, Uy и P. Это скорость x, скорость y и поле давления. Все они представляют собой 2D-массивы размером [100,60], а размер моего пакета - 10. Я хочу вычислить потери и обновить...
81 просмотров