TensorFlow 之 手写数字识别MNIST

2023-07-27 19:55:22

官方文档： 
MNIST For ML Beginners - https://www.tensorflow.org/get_started/mnist/beginners 
Deep MNIST for Experts - https://www.tensorflow.org/get_started/mnist/pros

版本： 
TensorFlow 1.2.0 + Flask 0.12 + Gunicorn 19.6

相关文章： 
TensorFlow 之 入门体验 
TensorFlow 之 手写数字识别MNIST 
TensorFlow 之 物体检测 
TensorFlow 之 构建人物识别系统

MNIST相当于机器学习界的Hello World。

这里在页面通过 Canvas 画一个数字，然后传给TensorFlow识别，分别给出Softmax回归模型、多层卷积网络的识别结果。

（1）文件结构

│  main.py 
│  requirements.txt 
│  runtime.txt 
├─mnist 
│  │  convolutional.py 
│  │  model.py 
│  │  regression.py 
│  │  __init__.py 
│  └─data 
│          convolutional.ckpt.data-00000-of-00001 
│          convolutional.ckpt.index 
│          regression.ckpt.data-00000-of-00001 
│          regression.ckpt.index 
├─src 
│  └─js 
│          main.js 
├─static 
│  ├─css 
│  │      bootstrap.min.css 
│  └─js 
│          jquery.min.js 
│          main.js 
└─templates 
        index.html

（2）训练数据

下载以下文件放入/tmp/data/，不用解压，训练代码会自动解压。

引用
http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz 
http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz 
http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz 
http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz

执行命令训练数据（Softmax回归模型、多层卷积网络）

  1. # python regression.py
  2. # python convolutional.py

执行完成后 在 mnist/data/ 里会生成以下几个文件，重新训练前需要把这几个文件先删掉。

引用
convolutional.ckpt.data-00000-of-00001 
convolutional.ckpt.index 
regression.ckpt.data-00000-of-00001 
regression.ckpt.index

（3）启动Web服务测试

  1. # cd /usr/local/tensorflow2/tensorflow-models/tf-mnist
  2. # pip install -r requirements.txt
  3. # gunicorn main:app --log-file=- --bind=localhost:8000

浏览器中访问：http://localhost:8000 
TensorFlow 之 手写数字识别MNIST
*** 运行的TensorFlow版本、数据训练的模型、还有这里Canvas的转换都对识别率有一定的影响~！

（4）源代码

Web部分比较简单，页面上放置一个Canvas，鼠标抬起时将Canvas的图像通过Ajax传给后台API，然后显示API结果。

引用
src/js/main.js -> static/js/main.js 
templates/index.html

main.py

  1. import numpy as np
  2. import tensorflow as tf
  3. from flask import Flask, jsonify, render_template, request
  4. from mnist import model
  5. x = tf.placeholder("float", [None, 784])
  6. sess = tf.Session()
  7. # restore trained data
  8. with tf.variable_scope("regression"):
  9. y1, variables = model.regression(x)
  10. saver = tf.train.Saver(variables)
  11. saver.restore(sess, "mnist/data/regression.ckpt")
  12. with tf.variable_scope("convolutional"):
  13. keep_prob = tf.placeholder("float")
  14. y2, variables = model.convolutional(x, keep_prob)
  15. saver = tf.train.Saver(variables)
  16. saver.restore(sess, "mnist/data/convolutional.ckpt")
  17. def regression(input):
  18. return sess.run(y1, feed_dict={x: input}).flatten().tolist()
  19. def convolutional(input):
  20. return sess.run(y2, feed_dict={x: input, keep_prob: 1.0}).flatten().tolist()
  21. # webapp
  22. app = Flask(__name__)
  23. @app.route('/api/mnist', methods=['POST'])
  24. def mnist():
  25. input = ((255 - np.array(request.json, dtype=np.uint8)) / 255.0).reshape(1, 784)
  26. output1 = regression(input)
  27. output2 = convolutional(input)
  28. print(output1)
  29. print(output2)
  30. return jsonify(results=[output1, output2])
  31. @app.route('/')
  32. def main():
  33. return render_template('index.html')
  34. if __name__ == '__main__':
  35. app.run()

mnist/model.py

  1. import tensorflow as tf
  2. # Softmax Regression Model
  3. def regression(x):
  4. W = tf.Variable(tf.zeros([784, 10]), name="W")
  5. b = tf.Variable(tf.zeros([10]), name="b")
  6. y = tf.nn.softmax(tf.matmul(x, W) + b)
  7. return y, [W, b]
  8. # Multilayer Convolutional Network
  9. def convolutional(x, keep_prob):
  10. def conv2d(x, W):
  11. return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
  12. def max_pool_2x2(x):
  13. return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
  14. def weight_variable(shape):
  15. initial = tf.truncated_normal(shape, stddev=0.1)
  16. return tf.Variable(initial)
  17. def bias_variable(shape):
  18. initial = tf.constant(0.1, shape=shape)
  19. return tf.Variable(initial)
  20. # First Convolutional Layer
  21. x_image = tf.reshape(x, [-1, 28, 28, 1])
  22. W_conv1 = weight_variable([5, 5, 1, 32])
  23. b_conv1 = bias_variable([32])
  24. h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
  25. h_pool1 = max_pool_2x2(h_conv1)
  26. # Second Convolutional Layer
  27. W_conv2 = weight_variable([5, 5, 32, 64])
  28. b_conv2 = bias_variable([64])
  29. h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
  30. h_pool2 = max_pool_2x2(h_conv2)
  31. # Densely Connected Layer
  32. W_fc1 = weight_variable([7 * 7 * 64, 1024])
  33. b_fc1 = bias_variable([1024])
  34. h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
  35. h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
  36. # Dropout
  37. h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
  38. # Readout Layer
  39. W_fc2 = weight_variable([1024, 10])
  40. b_fc2 = bias_variable([10])
  41. y = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
  42. return y, [W_conv1, b_conv1, W_conv2, b_conv2, W_fc1, b_fc1, W_fc2, b_fc2]

mnist/convolutional.py

  1. import os
  2. import model
  3. import tensorflow as tf
  4. from tensorflow.examples.tutorials.mnist import input_data
  5. data = input_data.read_data_sets("/tmp/data/", one_hot=True)
  6. # model
  7. with tf.variable_scope("convolutional"):
  8. x = tf.placeholder(tf.float32, [None, 784])
  9. keep_prob = tf.placeholder(tf.float32)
  10. y, variables = model.convolutional(x, keep_prob)
  11. # train
  12. y_ = tf.placeholder(tf.float32, [None, 10])
  13. cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
  14. train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
  15. correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
  16. accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
  17. saver = tf.train.Saver(variables)
  18. with tf.Session() as sess:
  19. sess.run(tf.global_variables_initializer())
  20. for i in range(20000):
  21. batch = data.train.next_batch(50)
  22. if i % 100 == 0:
  23. train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_: batch[1], keep_prob: 1.0})
  24. print("step %d, training accuracy %g" % (i, train_accuracy))
  25. sess.run(train_step, feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
  26. print(sess.run(accuracy, feed_dict={x: data.test.images, y_: data.test.labels, keep_prob: 1.0}))
  27. path = saver.save(
  28. sess, os.path.join(os.path.dirname(__file__), 'data', 'convolutional.ckpt'),
  29. write_meta_graph=False, write_state=False)
  30. print("Saved:", path)

mnist/regression.py

  1. import os
  2. import model
  3. import tensorflow as tf
  4. from tensorflow.examples.tutorials.mnist import input_data
  5. data = input_data.read_data_sets("/tmp/data/", one_hot=True)
  6. # model
  7. with tf.variable_scope("regression"):
  8. x = tf.placeholder(tf.float32, [None, 784])
  9. y, variables = model.regression(x)
  10. # train
  11. y_ = tf.placeholder("float", [None, 10])
  12. cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
  13. train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
  14. correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
  15. accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
  16. saver = tf.train.Saver(variables)
  17. with tf.Session() as sess:
  18. sess.run(tf.global_variables_initializer())
  19. for _ in range(1000):
  20. batch_xs, batch_ys = data.train.next_batch(100)
  21. sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
  22. print(sess.run(accuracy, feed_dict={x: data.test.images, y_: data.test.labels}))
  23. path = saver.save(
  24. sess, os.path.join(os.path.dirname(__file__), 'data', 'regression.ckpt'),
  25. write_meta_graph=False, write_state=False)
  26. print("Saved:", path)

参考： 
http://memo.sugyan.com/entry/20151124/1448292129

  • TensorFlow 之 手写数字识别MNIST
上一篇：jQuery实现全选与全不选功能


下一篇：Linux的setup命令启动服务名称和功能