入门小案例，分别是回归模型建立和mnist数据集的模型建立
1、回归案例：
import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
import pandas as pd #1===================================================================
'''
总结：
1、这个整体比较简单，就是先构造整个图，然后再代入进去计算，注意设置的学习率
'''
#构造数据
x_data = np.float32(np.random.rand(2,100))
y_data = np.dot([1,2],x_data) + 4 #构造线性模型
b = tf.Variable(tf.zeros([1]))
w = tf.Variable(tf.random_uniform([1,2]))
y = tf.matmul(w,x_data) + b #最小化方差
loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss) #初始化变量,并启动图
sess = tf.Session()
sess.run(tf.global_variables_initializer()) #拟合平面
for step in range(201):
sess.run(train)
if step % 20 ==0:
print(step,sess.run(w),sess.run(b)) # 200 [[1.0000179 2.0000112]] [3.9999843]
2、MNIST普通神经网络
'''
总结一下需要注意的点：
1、x是[None,784] * w是[784,10] + [10] 这里的10会自动广播至[None,10]行，最后的结果就是[None,10]
2、softmax之后行列数不变,每一行求和都是1，哪个位置概率最大就是那个位置的值
3、交叉熵的公式是-y实际*log(y_hat)
4、arg_max(y,1)每一行的最大值下标，0的话是每一列的最大值下标，这个怎么跟concat不一样，感觉很乱
4、tf.equal(tf.arg_max(y,1),tf.arg(y-,1))，两个样本的最大标算出来一共是[None，1][None,1]，然后匹配是否一致，一致就是0，不一致就是1，得到[None,1]
5、再求均值，求均值之前需要转float32格式
6、注意后面计算准确率的时候，传入的变量值是x_test,y_test,这里的y_test回去直接是y_,而计算y时候需要用到x,w，这里x就变成了x_test,不是前面的batc_x了，记住啊
7、使用mnist.trian.next_batch(100)来每次传入100个值
''' #加载数据
mnist = input_data.read_data_sets('mnist_data/',one_hot = True)
x_train = mnist.train.images
y_train = mnist.train.labels
x_test = mnist.test.images
y_test = mnist.test.labels #定义变量
x = tf.placeholder(tf.float32,shape=[None,784])
y_= tf.placeholder(tf.float32,shape=[None,10])
w = tf.Variable(tf.truncated_normal([784,10]))
b = tf.Variable(tf.constant(0.01,shape=[10]))
y = tf.nn.softmax(tf.matmul(x,w)+b) #定义损失
loss = -tf.reduce_mean(y_*tf.log(y))
optimizer = tf.train.GradientDescentOptimizer(0.2)
train = optimizer.minimize(loss) #初始化变量
sess = tf.Session()
sess.run(tf.global_variables_initializer()) #验证正确率
accuracy_rate = tf.equal(tf.arg_max(y,1),tf.arg_max(y_,1))
accuracy = tf.reduce_mean(tf.cast(accuracy_rate,'float32')) #训练
for step in range(20000):
batch_x,batch_y = mnist.train.next_batch(100)
sess.run(train,feed_dict={x:batch_x,y_:batch_y})
if step % 1000 == 0:
print(step,sess.run(accuracy,feed_dict={x:x_test,y_:y_test})) #最终的正确率大概是在91%
3、MNIST卷积神经网络
'''
总结一下：
1、首先要弄清楚整个卷积神经网络的构图，分别是卷积池化》卷积池化》全连接》输出
2、样本是一个长784维的变量，要reshape成为28,28的图片才能做卷积，
3、第一次用32个5,5的卷积核来处理，由于样本是灰度图，所以是[5,5,1,32]所以样本从28,28变成了28,28,32的数据，这里因为步长[1,1,1,1]
4、然后再用[1,2,2,1]大小的pool处理卷积，步长是[1,2,2,1]所以[28,28,32] 变成了[14,14,32]
5、顺序是先做卷积，在套relu，在做pooling
6、同理第二个卷积是这么做的，用[5,5,32,64]大小的权重把刚刚pooling之后的[14,14,32]的变成了[14,14,64]的，再做pooling变成[7,7,64]
7、刚刚前面都是针对一个图片做的，其实到最后是[None,7,7,64],
8、全连接层之前需要把图片重新恢复掉，因为现在是[None,7,7,64],所以reshape[-1,7*7*64],-1的意思就是None
9、reshape之后是[None,3136]太大了，全连接处转成1024，所以用的w是[7*7*64,1024]
10、最后用softmax转成[None,10]就可以了
'''
#加载数据
x_data = mnist.train.images
y_data = mnist.train.labels
x_test = mnist.test.images
y_test = mnist.test.labels #权重函数
def weights(shape):
initial = tf.truncated_normal(shape,stddev=0.1,dtype=tf.float32)
return tf.Variable(initial) #偏置项
def bias(shape):
initial = tf.constant(0.1,shape=shape,dtype=tf.float32)
return tf.Variable(initial) #输入值
xs = tf.placeholder(tf.float32,shape=[None,784])
ys = tf.placeholder(tf.float32,shape=[None,10])
x_images = tf.reshape(xs,[-1,28,28,1]) #第一层卷积
#con_1
w_con1 = weights([5,5,1,32])
b_con1 = bias([32])
h_con1 = tf.nn.conv2d(x_images,w_con1,[1,1,1,1],padding='SAME')
h_relu1 = tf.nn.relu(h_con1 + b_con1)
#pool1
h_pool1 = tf.nn.max_pool(h_relu1,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME') #第二层卷积
#con2
w_con2 = weights([5,5,32,64])
b_con2 = bias([64])
h_con2 = tf.nn.conv2d(h_pool1,w_con2,strides=[1,1,1,1],padding='SAME')
h_relu2 = tf.nn.relu(h_con2)
#pool2
h_pool2 = tf.nn.max_pool(h_relu2,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME') #全连接层
w_fc1 = weights([7*7*64,1024])
b_fc1 = bias([1024])
h_pool2_flat = tf.reshape(h_pool2,[-1,7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat,w_fc1) + b_fc1) #drop_out
keep_pro = tf.placeholder(dtype=tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1,keep_prob=keep_pro) #输出层
w_fc2 = weights([1024,10])
b_fc2 = bias([10])
h_fc2 = tf.nn.softmax(tf.matmul(h_fc1_drop,w_fc2) + b_fc2) #损失函数
loss = -tf.reduce_mean(ys*tf.log(h_fc2))
train = tf.train.AdamOptimizer(1e-4).minimize(loss)
#初始化变量
sess.run(tf.global_variables_initializer()) #计算误差
accuracy = tf.equal(tf.arg_max(ys,1),tf.arg_max(h_fc2,1))
accuracy = tf.reduce_mean(tf.cast(accuracy,tf.float32)) #开始训练
for step in range(5000):
batch_x,batch_y = mnist.train.next_batch(100)
sess.run(train,feed_dict={xs:batch_x,ys:batch_y,keep_pro:0.8})
if step % 100 == 0 :
print(step,sess.run(accuracy,feed_dict={xs:mnist.test.images,ys:mnist.test.labels,keep_pro:1}))