『TensorFlow』第十弹_队列&多线程_道路多坎坷

一、基本队列:

队列有两个基本操作,对应在tf中就是enqueue&dequeue

tf.FIFOQueue(2,'int32')

import tensorflow as tf

'''FIFO队列操作'''

# 创建队列
# 队列有两个int32的元素
q = tf.FIFOQueue(2,'int32')
# 初始化队列
init= q.enqueue_many(([0,10],))
# 出队
x = q.dequeue()
y = x + 1
# 入队
q_inc = q.enqueue([y]) with tf.Session() as sess:
init.run()
for _ in range(5):
v,_ = sess.run([x,q_inc])
print(v)

tf.RandomShuffleQueue(capacity=10,min_after_dequeue=2,dtypes='float')

'''随机队列操作'''

# 最大长度10,最小长度2,类型float的随机队列
q = tf.RandomShuffleQueue(capacity=10,min_after_dequeue=2,dtypes='float') sess = tf.Session()
for i in range(0,10):
sess.run(q.enqueue(i))
for i in range(0,8): # 在输出8次后会被阻塞
print(sess.run(q.dequeue())) #run_option = tf.RunOptions(timeout_in_ms = 10000) # 等待时间10s
#for i in range(0,7): # 在输出8次后会被阻塞
# # 超时报错继续,不会退出
# try:
# print(sess.run(q.dequeue(),options=run_option))
# except tf.errors.DeadlineExceededError:
# print('out of range') print('-----'*5)

二、队列管理:

tf.train.QueueRunner(q,enqueue_ops=[increment_op,enqueue_op]*2)

'''队列管理器'''

# 队列管理器使用线程管理队列

q = tf.FIFOQueue(1000,'float')
counter = tf.Variable(0.0) # 计数器
increment_op = tf.assign_add(counter, tf.constant(1.0)) # 计数器加一
enqueue_op = q.enqueue(counter) # 入队 # 线程面向队列q,启动2个线程,每个线程中是[in,en]两个操作
qr = tf.train.QueueRunner(q,enqueue_ops=[increment_op,enqueue_op]*2) sess.run(tf.global_variables_initializer())
enqueue_threads = qr.create_threads(sess,start=True) # 启动入队线程
for i in range(10):
print(sess.run(q.dequeue()))
# 由于主线程和入队线程异步,所以输出不是自然数序列

出队操作还有Queu.dequeue_many(batch_size),如果入队时采用enqueue([image, label]),则可以实现队列数据参与训练。

tf.train.Coordinator()

'''协调器'''

q = tf.FIFOQueue(1000,'float')
counter = tf.Variable(0.0) # 计数器
increment_op = tf.assign_add(counter, tf.constant(1.0)) # 计数器加一
enqueue_op = q.enqueue(counter) # 入队 # 线程面向队列q,启动2个线程,每个线程中是[in,en]两个操作
qr = tf.train.QueueRunner(q,enqueue_ops=[increment_op,enqueue_op]*2) sess = tf.Session()
sess.run(tf.global_variables_initializer()) coord = tf.train.Coordinator()
# 线程管理器启动线程,接收协调器管理
enqueue_thread = qr.create_threads(sess,coord=coord,start=True) for i in range(0,10):
print(sess.run(q.dequeue())) coord.request_stop() # 向各个线程发终止信号
coord.join(enqueue_thread) # 等待各个线程成功结束
上一篇:Linux 下shell显示-bash-4.1$不显示用户名路径的解决方法


下一篇:R︱sparkR的安装与使用、函数尝试笔记、一些案例