python多进程中的队列数据共享问题

0x00 起

今天在写一个小东西的时候,需要控制并发量,但又不能直接调用python multiprocessing(问题会在文后提到)。于是尝试用Queue来实现。

最一开始的思路是这样的:

from multiprocessing import Process
from Queue import Queue q = Queue(maxsize = 10) # 通过web应用往队列中添加数据
def put(num):
q.put(num) def read():
while True:
print q.get() if __name__ == '__main__':
Process(target=read, args=())

队列的数据,是从web应用中添加过来的(上面省略了bottle的代码),开了一个进程,不断从queue中读取数据,并进行处理(省略了处理过程)。

逻辑是没错的,但是在实际测试的时候,发现一个问题。

Queue.get()函数是个默认阻塞的函数,如果队列为空,会一直等待,类似于socket.recv。在测试的时候,程序一直卡在这里,也就是说read()函数并没有读到队列中的数据。

0x10 承

为了解决验证这个问题,我修改了一下代码,打印相关的信息:

# encoding: utf-8
from multiprocessing import Process
from Queue import Queue q = Queue(maxsize = 10) # 通过web应用往队列中添加数据
def put(num):
q.put(num) def read():
print q.qsize()
# while True:
# print q.get() if __name__ == '__main__':
put(2333)
print q.qsize()
Process(target=read, args=()).start()

打印出来的结果是1 0。在新开的进程中的队列,果然是空的。

去查了一下资料(http://my.oschina.net/yangyanxing/blog/296052),给出的解释是:队列对象不能在父进程与子进程间通信

0x20 转

最后得知multiprocessing提供了Queue供调用,可完美解决这个问题。

# encoding: utf-8
from multiprocessing import Process, Queue q = Queue(10) # 通过web应用往队列中添加数据
def put(num):
q.put(num) def read():
while True:
print q.get() if __name__ == '__main__':
put(2333)
print q.qsize()
Process(target=read, args=()).start()

0x30 合

上面提到,在bottle中无法使用multiprocessing,稍微查了一下,给出的原因是线程中无法开进程。还没太理解。

上一篇:数独求解程序 php版


下一篇:Symbol Tables