Низкая точность данных mnist csv в тензорном потоке

Вот ваш код с необходимыми изменениями. В частности, вы можете использовать tf.nn.softmax_cross_entropy_with_logits, чтобы выполнить тяжелую работу по вычислению перекрестной энтропии за вас. Другое улучшение заключается в использовании loss = tf.reduce_mean... вместо loss = tf.reduce_sum...*. Таким образом, ваша тренировочная коррекция будет представлять собой среднее значение всех допущенных ошибок, а не сумму. Вы получите дикие и неконтролируемые тренировочные колебания, если будете использовать сумму, и вам придется компенсировать это, используя очень маленький коэффициент градиентного спуска. Если вы обнаружите, что вам нужно использовать что-то в градиентном спуске выше 1 или ниже 0,1, вы, вероятно, могли бы решить проблему, используя reduce_mean для потерь.

Вот ваш код.

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import argparse
import sys

import tensorflow as tf
import numpy      as np

FLAGS = None

def main(_):
  # Import data
  def csv_to_numpy_array(filepath, delimiter):
      return np.genfromtxt(filepath,delimiter=delimiter, dtype=None)

  def import_data():
      print("loading training data")
      traindata = csv_to_numpy_array("data/mnist_train_onehot.csv",delimiter=",")
      [trainY, trainX] = np.hsplit(traindata,[10]);
      print("loading test data")
      [testY, testX] = np.hsplit(testdata,[10]);
      return trainX, trainY, testX, testY

  x_train, y_train, x_test, y_test = import_data()

  numX = x_train.shape[1] #784
  numY = y_train.shape[1] #10

  # Prepare the placeholder 
  x = tf.placeholder(tf.float32, [None, numX]) #input box
  y_ = tf.placeholder(tf.float32, [None, numY]) #output box

  #define weight and biases
  w = tf.Variable(tf.zeros([numX,numY]))
  b = tf.Variable(tf.zeros([numY]))

  y = tf.matmul(x, w) + b

  # unused for this model
  keep_prob = tf.placeholder(tf.float32)

  loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y, labels=y_))
  train = tf.train.GradientDescentOptimizer(0.5).minimize(loss)

  # Test trained model
  correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
  percent_correct = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

  init = tf.initialize_all_variables()

  sess = tf.InteractiveSession()
  tf.global_variables_initializer().run()

  # Train
  for i in range(1000):
      ind = np.random.choice(x_train.shape[0],100)
      x_train_batch = x_train[ind]
      y_train_batch = y_train[ind]
        #run optimization op (backprop) and cost op (to get loss value)
      _,c = sess.run([train_step, loss], feed_dict={x: x_train_batch, y_: y_train_batch})
      if i % 50 == 0:
          train_acc = percent_correct.eval({x: x_train_batch, y_: y_train_batch})
          print('step: %d, acc: %6.3f' % (i, train_acc) )

  # Test trained model
  print(sess.run(percent_correct, feed_dict={x: x_test,
                                      y_: y_test}))

if __name__ == '__main__':
  parser = argparse.ArgumentParser()
  parser.add_argument('--data_dir', type=str, default='/tmp/tensorflow/mnist/input_data',
                      help='Directory for storing input data')
  FLAGS, unparsed = parser.parse_known_args()
  tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)

Вот ссылка на несколько различных архитектур тензорного потока mnist https://github.com/panchishin/learn-to-tensorflow/blob/master/examples/mnist_model_comparison.py все в одном скрипте

Возможны проблемы:

1- Инициализируйте свои переменные случайным образом, а не нулем

2- Вы можете неправильно понять формат файла .csv, где вы получили файл .csv, сказав, что формат label, pix-11, pix-12, pix-13, ...

3- Попробуйте использовать tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits( logits , llabels )) метод, который вы используете для расчета потерь, численно нестабилен. Обновление: в этом случае не используйте tf.nn.softmax, потому что tf.nn.softmax_cross_entropy_with_logits внутри имеет нормализатор softmax и перекрестную энтропию (спасибо за комментарий @ml4294)