Как передать данные обучения .csv сверточной нейронной сети в mxnet?

Недавно я установил mxnet (пакет python) с поддержкой графического процессора в Windows 10 и Python 3.5. Я просмотрел пару примеров, и они, кажется, работают нормально.

Я привык к пакетам машинного обучения в стиле scikit-learn и очень новичок в пакетах глубокого обучения Python, таких как Mxnet, хотя я уже использовал Mxnet в R. Мне трудно понять, как передавать данные обучения .csv в модель.

Я хотел бы скормить простому CNN несколько изображений. Изображения имеют размер 28x28 пикселей и хранятся в виде плоских массивов в формате .csv. У меня есть два файла .csv, один для обучения, а другой для тестирования. Каждый файл .csv имеет следующую структуру:

label, pixel1, pixel2, ..., pixel784
0,...
1,...

Всего 10 этикеток и около 1000/300 изображений в обучающем наборе / тестовом наборе.

Я использую следующий код для загрузки данных и обучения модели:

import mxnet as mx
import pandas as pd
import numpy as np
import os

path = "C://users//me//data"
os.chdir(path)

df_train = pd.read_csv("train_28.csv")
df_test = pd.read_csv("test_28.csv")

keys = ['pixel.'+str(i) for i in range(1,785)]

X_train = df_train[keys].get_values().T
X_train = X_train.reshape((1200,28,28,1))
y_train = df_train['label'].get_values().reshape((1200,1))
#y_train = y_train.reshape((28,28,1,1200))



data = mx.symbol.Variable('data')

# First conv layer
conv1 = mx.symbol.Convolution(data=data, kernel=(5,5), num_filter=20)
tanh1 = mx.symbol.Activation(data=conv1, act_type="tanh")
pool1 = mx.symbol.Pooling(data=tanh1, pool_type="max",
                              kernel=(2,2), stride=(2,2))

# Second conv layer
conv2 = mx.symbol.Convolution(data=pool1, kernel=(5,5), num_filter=50)
tanh2 = mx.symbol.Activation(data=conv2, act_type="tanh")
pool2 = mx.symbol.Pooling(data=tanh2, pool_type="max",
                              kernel=(2,2), stride=(2,2))

# First fully connected
flatten = mx.symbol.Flatten(data=pool2)
fc1 = mx.symbol.FullyConnected(data=flatten, num_hidden=500)
tanh3 = mx.symbol.Activation(data=fc1, act_type="tanh")
# second fullc
fc2 = mx.symbol.FullyConnected(data=tanh3, num_hidden=10)
# loss
lenet = mx.symbol.SoftmaxOutput(data=fc2, name='softmax')                              

device = mx.gpu()                              

model = mx.model.FeedForward.create(lenet,
                                    X = X_train,
                                    y = y_train,
                                    ctx = device,
                                    num_epoch = 30)

Я использую этот подход, который похож на тот, который я использовал с mxnet в R (кстати, на R он работает отлично, однако я не могу использовать графический процессор на R, поэтому мне нужно использовать Python для повышения производительности ...), однако я я получаю следующую ошибку:

[16:54:11] D:\chhong\mxnet\dmlc-core\include\dmlc/logging.h:235: [16:54:11] d:\chhong\mxnet\src\operator\./convolution-inl.h:347: Check failed: ksize_x <= dshape[3] && ksize_y <= dshape[2] kernel size exceed input
Traceback (most recent call last):
  File "C:\Users\Me\Desktop\esempio_lenet.py", line 57, in <module>
    num_epoch = 30)
  File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 901, in create
    eval_batch_end_callback=eval_batch_end_callback)
  File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 745, in fit
    self._init_params(dict(data.provide_data+data.provide_label))
  File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 485, in _init_params
    arg_shapes, _, aux_shapes = self.symbol.infer_shape(**input_shapes)
  File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\symbol.py", line 453, in infer_shape
    return self._infer_shape_impl(False, *args, **kwargs)
  File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\symbol.py", line 513, in _infer_shape_impl
    ctypes.byref(complete)))
  File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\base.py", line 77, in check_call
    raise MXNetError(py_str(_LIB.MXGetLastError()))
mxnet.base.MXNetError: InferShape Error in convolution0: [16:54:11] d:\chhong\mxnet\src\operator\./convolution-inl.h:347: Check failed: ksize_x <= dshape[3] && ksize_y <= dshape[2] kernel size exceed input

И я не могу понять, что делаю не так. Не могли бы вы сказать мне, в чем эта ошибка, и предоставить мне четкий набор инструкций о том, как загружать файлы .csv с той же структурой, что и выше, и обучать модель mxnet? Я просмотрел документацию, но сам не мог понять, как правильно загружать файлы .csv ...

Причина, по которой я прошу процедуру загрузки таких файлов .csv, заключается в том, что я в основном имею дело с данными в этом формате, и для меня было бы очень ценно иметь возможность запускать сценарий для папки с этими файлами .csv и иметь они готовы к использованию для обучения глубокой сверточной нейронной сети.

Набор обучающих и тестовых файлов .csv доступны здесь. они нужны вам для воспроизведения кода, который я написал.

Спасибо


person mickkk    schedule 17.07.2016    source источник


Ответы (1)


Проблемы в этой строке:

X_train = X_train.reshape((1200,28,28,1))

В mxnet второе измерение - это карты функций, а третье и четвертое измерения - это ширина и высота, поэтому они должны быть:

X_train = X_train.reshape((1200,1,28,28))
person Ishamael    schedule 19.07.2016
comment
Спасибо, это устранило проблему, с которой я столкнулся. Однако я все еще сталкивался с другими проблемами с MXnet и решил перейти на tenorflow с Python, так как я считаю его документацию более простой по сравнению с MXnet. Сказав это, если вы или кто-либо другой могли бы предложить какой-либо учебник или ресурс, который мог бы пролить немного больше света на MXnet, я был бы счастлив прочитать. - person mickkk; 20.07.2016