进程间通信
进程之间数据是相互隔离的,要想实现进程间的通信(IPC机制),就必须借助于一些技术才可以,比如multiprocessing模块中的:队列和管道,这两种方式都是可以实现进程间数据传输的,由于队列是管道+锁的方式实现,所以着重研究队列即可
队列
概念介绍
创建共享的进程队列,Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递。
大白话总结一下就是队列支持多个人从队列的一端放入数据,同样支持多个人从队列的另一端取数据
基本用法
Queue([maxsize]) # 创建共享的进程队列 队列底层使用管道和锁定实现。
# 参数 :maxsize是队列中允许的最大项数。如果省略此参数,则无大小限制。
代码实现
from multiprocessing import Queue q=Queue(3) # 创建一个最大只能容纳3个数据的队列 """ 常用方法 put ,get ,put_nowait,get_nowait,full,empty """ q.put(3) # 往队列中存放数据 q.put(3) q.put(3) q.put(3) # 如果队列已经满了,程序就会停在这里,等待数据被别人取走,再将数据放入队列。如果队列中的数据一直不被取走,程序就会永远停在这里。 try: q.put_nowait(3) # 可以使用put_nowait,如果队列满了不会阻塞,但是会因为队列满了而报错。 except: # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去,但是会丢掉这个消息。 print('队列已经满了') # 因此,我们再放入数据之前,可以先看一下队列的状态,如果已经满了,就不继续put了。 print(q.full()) # 判断队列中数据是否已存放满了 print(q.get()) # 从队列中获取数据 print(q.get()) print(q.get()) print(q.get()) # 同put方法一样,如果队列已经空了,那么继续取就会出现阻塞。 try: q.get_nowait(3) # 可以使用get_nowait,如果队列满了不会阻塞,但是会因为没取到值而报错。 except: # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去。 print('队列已经空了') print(q.empty()) # 判断队列中数据是否已经被全部取出
基于队列实现进程间通信
import time from multiprocessing import Process, Queue def f(q): q.put('hello') #调用主函数中p进程传递过来的进程参数 put函数为向队列中添加一条数据。 if __name__ == '__main__': q = Queue() # 创建一个Queue对象 p = Process(target=f, args=(q,)) #创建一个进程 p.start() print(q.get()) # 从队列中获取数据 p.join() from multiprocessing import Queue,Process def producer(q): q.put('hello big baby!') def consumer(q): print(q.get()) if __name__ == '__main__': q = Queue() p = Process(target=producer,args=(q,)) p.start() p1 = Process(target=consumer,args=(q,)) p1.start()