Как загрузить цифры MNIST и данные меток в MATLAB?

Я являюсь первоначальным автором Метода №1, о котором вы говорили. Процесс чтения обучающих данных и тестовых меток довольно прост. Что касается чтения изображений, код, который вы показали выше, отлично читает файлы и имеет формат массива ячеек. Однако вы пропустили чтение количества изображений, строк и столбцов внутри файла. Обратите внимание, что формат MNIST для этого файла выглядит следующим образом. Левый столбец — это смещение в байтах, на которое вы ссылаетесь, относительно начала:

[offset] [type]          [value]          [description]
0000     32 bit integer  0x00000803(2051) magic number
0004     32 bit integer  60000            number of images
0008     32 bit integer  28               number of rows
0012     32 bit integer  28               number of columns
0016     unsigned byte   ??               pixel
0017     unsigned byte   ??               pixel
........
xxxx     unsigned byte   ??               pixel

Первые четыре байта — это магическое число: 2051, чтобы убедиться, что вы правильно читаете файл. Следующие четыре байта обозначают общее количество изображений, затем следующие четыре байта — строки и, наконец, следующие четыре байта — столбцы. Должно быть 60000 изображений размером 28 строк по 28 столбцов. После этого пиксели чередуются в основном формате строки, поэтому вам нужно перебрать серию 28 x 28 пикселей и сохранить их. В этом случае я сохранил их в массиве ячеек, и каждый элемент в этом массиве ячеек будет одной цифрой. Такой же формат и для тестовых данных, но вместо них 10000 изображений.

Что касается собственно этикеток, то это примерно тот же формат, но есть небольшие отличия:

[offset] [type]          [value]          [description]
0000     32 bit integer  0x00000801(2049) magic number (MSB first)
0004     32 bit integer  60000            number of items
0008     unsigned byte   ??               label
0009     unsigned byte   ??               label
........
xxxx     unsigned byte   ??               label

Первые четыре байта — это магическое число: 2049, затем второй набор из четырех байтов сообщает вам, сколько существует меток, и, наконец, для каждой соответствующей цифры в наборе данных имеется ровно 1 байт. Тестовые данные также имеют тот же формат, но имеют 10000 меток. Таким образом, как только вы прочитаете необходимые данные в наборе меток, вам потребуется всего один вызов fread и убедитесь, что данные представляют собой 8-битное целое число без знака для чтения в остальных метках.

Теперь причина, по которой вы должны использовать swapbytes, заключается в том, что MATLAB будет считывать данные в формате с прямым порядком байтов, что означает, что младший байт из набора байтов читается первым. Вы используете swapbytes, чтобы изменить этот порядок, когда закончите.

Таким образом, я изменил этот код для вас, чтобы он представлял собой реальную функцию, которая принимает набор из двух строк: полный путь к файлу изображения цифр и полный путь к цифрам. Я также изменил код, чтобы изображения представляли собой трехмерную числовую матрицу, а не массив ячеек для более быстрой обработки. Обратите внимание, что когда вы начинаете считывать фактические данные изображения, каждый пиксель представляет собой 8-битное целое число без знака, поэтому нет необходимости менять местами байты. Это требовалось только при чтении нескольких байтов в одном вызове fread:

function [images, labels] = mnist_parse(path_to_digits, path_to_labels)

% Open files
fid1 = fopen(path_to_digits, 'r');

% The labels file
fid2 = fopen(path_to_labels, 'r');

% Read in magic numbers for both files
A = fread(fid1, 1, 'uint32');
magicNumber1 = swapbytes(uint32(A)); % Should be 2051
fprintf('Magic Number - Images: %d\n', magicNumber1);

A = fread(fid2, 1, 'uint32');
magicNumber2 = swapbytes(uint32(A)); % Should be 2049
fprintf('Magic Number - Labels: %d\n', magicNumber2);

% Read in total number of images
% Ensure that this number matches with the labels file
A = fread(fid1, 1, 'uint32');
totalImages = swapbytes(uint32(A));
A = fread(fid2, 1, 'uint32');
if totalImages ~= swapbytes(uint32(A))
    error('Total number of images read from images and labels files are not the same');
end
fprintf('Total number of images: %d\n', totalImages);

% Read in number of rows
A = fread(fid1, 1, 'uint32');
numRows = swapbytes(uint32(A));

% Read in number of columns
A = fread(fid1, 1, 'uint32');
numCols = swapbytes(uint32(A));

fprintf('Dimensions of each digit: %d x %d\n', numRows, numCols);

% For each image, store into an individual slice
images = zeros(numRows, numCols, totalImages, 'uint8');
for k = 1 : totalImages
    % Read in numRows*numCols pixels at a time
    A = fread(fid1, numRows*numCols, 'uint8');

    % Reshape so that it becomes a matrix
    % We are actually reading this in column major format
    % so we need to transpose this at the end
    images(:,:,k) = reshape(uint8(A), numCols, numRows).';
end

% Read in the labels
labels = fread(fid2, totalImages, 'uint8');

% Close the files
fclose(fid1);
fclose(fid2);

end

Чтобы вызвать эту функцию, просто укажите путь как к файлу изображения, так и к файлу этикеток. Предполагая, что вы запускаете этот файл в том же каталоге, где расположены файлы, вы должны выполнить одно из следующих действий для обучающих изображений:

[images, labels] = mnist_parse('train-images-idx3-ubyte', 'train-labels-idx1-ubyte');

Кроме того, вы должны сделать следующее для тестовых изображений:

[images, labels] = mnist_parse('t10k-images-idx3-ubyte', 't10k-labels-idx1-ubyte');

Чтобы получить доступ к kth цифре, вы должны просто сделать:

digit = images(:,:,k);

Соответствующая метка для kth цифры будет:

lbl = label(k);

Чтобы наконец привести эти данные в формат, приемлемый для того кода, который я видел на Github, они предполагают, что строки соответствуют обучающим примерам, а столбцы — фичам. Если вы хотите использовать этот формат, просто измените данные, чтобы пиксели изображения были распределены по столбцам.

Поэтому просто сделайте это:

[trainingdata, traingnd] = mnist_parse('train-images-idx3-ubyte', 'train-labels-idx1-ubyte');
trainingdata = double(reshape(trainingdata, size(trainingdata,1)*size(trainingdata,2), []).');
traingnd = double(traingnd);

[testdata, testgnd] = mnist_parse('t10k-images-idx3-ubyte', 't10k-labels-idx1-ubyte');
testdata = double(reshape(testdata, size(testdata,1)*size(testdata_data,2), []).');
testgnd = double(testgnd);

В приведенном выше примере используются те же переменные, что и в сценарии, поэтому вы сможете подключить их, и все должно работать. Вторая строка изменяет форму матрицы так, чтобы каждая цифра находилась в столбце, но нам нужно транспонировать это так, чтобы каждая цифра находилась в столбце. Нам также нужно выполнить приведение к double, так как именно это делает код Github. Та же логика применяется к тестовым данным. Также обратите внимание, что я явно присвоил меткам обучения и тестирования значение double, чтобы обеспечить максимальную совместимость с любыми алгоритмами, которые вы решите использовать с этими данными.

Удачного взлома цифр!