ValueError: ошибка несоответствия размеров в Theano

Я пытаюсь реализовать операцию AND через нейронную сеть, используя библиотеку Theano в python. Вот мой код:

import theano
import theano.tensor as T
import numpy as np
import matplotlib.pyplot as plt

#Define variables:
x = T.matrix('x')
w1 = theano.shared(np.random.uniform(0,1,(3,3)))
w2 = theano.shared(np.random.uniform(0,1,(1,3)))

learning_rate = 0.01

#Define mathematical expression:c for forward pass
z1 = T.dot(x,w1)
a1 = 1/(1+T.exp(-z1))
z2 = T.dot(a1,w2.T)
a2 = 1/(1 + T.exp(-z2))
#Let’s determine the cost as follows:
a_hat = T.vector('a_hat') #Actual output
cost = -(a_hat*T.log(a2) + (1-a_hat)*T.log(1-a2)).sum()
dw2,dw1 = T.grad(cost,[w2,w1])

train = theano.function(
inputs = [x,a_hat],
outputs = [a2,cost],
updates = [
    [w1, w1-learning_rate*dw1],
    [w2, w2-learning_rate*dw2]
]
)

#Define inputs and weights
inputs = np.array([
 [0, 0],
 [0, 1],
 [1, 0],
 [1, 1]
])

inputs = np.append( np.ones((inputs.shape[0],1)), inputs, axis=1)

outputs = np.array([0,0,0,1]).T

#Iterate through all inputs and find outputs:
cost = []
for iteration in range(30000):
    pred, cost_iter = train(inputs, outputs)
    cost.append(cost_iter)

Я не могу отследить ошибку ValueError: Dimension mismatch; shapes are (*, *), (*, 4), (4, 1), (*, *), (*, 4), (4, 1) Apply node that caused the error:. Даже если я изменю размерность векторов весов w1 и w2, ошибка останется прежней. Я новичок в Theano и мало что знаю об отладке. Кто-нибудь может мне помочь? Спасибо.


python neural-network valueerror theano
person CKM    schedule 17.04.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

У вас есть несоответствие входного размера, как вы можете видеть в сообщении об ошибке:

ValueError: Input dimension mis-match. (input[1].shape[1] = 4, input[2].shape[1] = 1)

Точнее здесь:

Inputs values: [array([[-1.]]), array([[ 0.,  0.,  0.,  1.]]), array([[-1.13961476],
       [-1.28500784],
       [-1.3082276 ],
       [-1.4312266 ]]), array([[-1.]]), array([[ 1.,  1.,  1.,  0.]]), array([[ 1.13961476],
       [ 1.28500784],
       [ 1.3082276 ],
       [ 1.4312266 ]])]

Вы можете черпать вдохновение в нейронной сети XOR, этот пример рассматривался здесь, и этот учебник поможет вам понять theano.

У меня также были трудные времена, когда я впервые попробовал использовать theano. Очень мало примеров и руководств. Может быть, вы также можете проверить лазанью, это — это библиотека, основанная на Theano, однако мне показалось, что ее легче взять в руки.

Я надеюсь, что это поможет вам.

[РЕДАКТИРОВАТЬ]

Используйте следующие флаги, чтобы помочь вам найти источник ошибки

theano.config.exception_verbosity='high'
theano.config.optimizer='None'

В вашем случае мы можем найти эти интересные строки в выводе:

Backtrace when the node is created(use Theano flag traceback.limit=N to make it longer):
  File "SO.py", line 30, in <module>
    cost = -(a_hat*T.log(a2) + (1-a_hat)*T.log(1-a2)).T.sum()

Итак, вот какие веса нам нужны:

w1 = theano.shared(np.random.uniform(0,1,(3,3)))
w2 = theano.shared(np.random.uniform(0,1,(3,1)))

С этой функцией стоимости:

cost = -(a_hat*T.log(a2.T) + (1-a_hat)*T.log(1-a2.T)).sum()

Таким образом, мы получаем a1 формы (4,3) (такой же, как вход 1-го слоя) и a2 (4,1) как ожидаемый результат.

х * w1 = (4,3) * (3,3) = (4,3) = a1.shape

a1 * w2 = (4,3) * (3,1) = (4,1) = a2.shape

Вам также нужно будет добавить эту строку:

from random import random

Это даст вам с 30000 итераций:

The outputs of the NN are:
The output for x1=0 | x2=0 is 0.0001
The output for x1=0 | x2=1 is 0.0029
The output for x1=1 | x2=0 is 0.0031
The output for x1=1 | x2=1 is 0.9932
person Axel    schedule 17.04.2017
comment
Спасибо за ваш ответ. Я прошел outlace учебник. Я нашел этот очень полезным для теано понимание. Я знаю, что проблема dim mismatch существует, но which line in the code is causing the problem поможет. - person CKM; 17.04.2017
comment
Я постараюсь поработать над этим завтра, когда у меня будет время, и я вернусь к вам с ответом, надеюсь. - person Axel; 17.04.2017
comment
Спасибо, Аксель. Вот что я сделал, чтобы избавиться от этой ошибки. Я изменил z2 = T.dot(a1,w2.T) на z2 = T.dot(w2, a1.T). Это сработало. Я не знаю, как это решает проблему dimension mismatch с учетом умножения матрицы на вектор. - person CKM; 19.04.2017
comment
Пожалуйста, я немного ошибся в весе, поэтому я снова отредактировал. Я думаю, что это эквивалентно вашей поправке на самом деле. - person Axel; 20.04.2017