python进程池multiprocessing.pool

最近的项目中有点python多进程的知识,扩展总结一下。

参考https://www.cnblogs.com/shaosks/p/10281190.html

https://www.cnblogs.com/kaituorensheng/p/4465768.html ,仅用于学习。

Pool可以自动控制多进程,在Windows上要想使用进程模块,就必须把有关进程的代码写if __name__ == ‘__main__’ :语句的下面,才能正常使用Windows下的进程模块。Unix/Linux下则不需要。

Pool类

   Pool类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果池满,请求就会告知先等待,直到池中有进程结束,

  才会创建新的进程来执行这些请求。 
  下面介绍一下multiprocessing 模块下的Pool类下的几个方法:

  1、apply()

    函数原型:apply(func[, args=()[, kwds={}]])

    该函数用于传递不定参数,同python中的apply函数一致,主进程会被阻塞直到函数执行结束(不建议使用,并且3.x以后不在出现)。

  2、apply_async

    函数原型:apply_async(func[, args=()[, kwds={}[, callback=None]]])

    与apply用法一致,但它是非阻塞的且支持结果返回后进行回调。

  3、map()

     函数原型:map(func, iterable[, chunksize=None])

    Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到结果返回。 
    注意:虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

  4、map_async()

    函数原型:map_async(func, iterable[, chunksize[, callback]])
    与map用法一致,但是它是非阻塞的。其有关事项见apply_async。

  5、close()

    关闭进程池(pool),使其不在接受新的任务。

  6、terminal()

    结束工作进程,不在处理未处理的任务。

  7、join()

    主进程阻塞等待子进程的退出, join方法要在close或terminate之后使用。

例一

 1 #coding: utf-8
 2 import multiprocessing
 3 import time
 4 
 5 def func(msg):
 6     print "msg:", msg
 7     time.sleep(3)
 8     print "end"
 9 
10 if __name__ == "__main__":
11     pool = multiprocessing.Pool(processes = 3)
12     for i in xrange(4):
13         msg = "hello %d" %(i)
14         pool.apply_async(func, (msg, ))   #维持执行的进程总数为processes,当一个进程执行完毕后会添加新的进程进去
15 
16     print "Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~"
17     pool.close()
18     pool.join()   #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
19     print "Sub-process(es) done."
mMsg: hark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~ello 0
 
msg: hello 1
msg: hello 2
end
msg: hello 3
end
end
end
Sub-process(es) done.

  执行说明:创建一个进程池pool,并设定进程的数量为3,xrange(4)会相继产生四个对象[0, 1, 2, 4],四个对象被提交到pool中,因pool指定进程数为3,所以0、1、2会直接送到进程中执行,当其中一个执行完事后才空出一个进程处理对象3,所以会出现输出“msg: hello 3”出现在"end"后。因为为非阻塞,主函数会自己执行自个的,不搭理进程的执行,所以运行完for循环后直接输出“mMsg: hark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~”,主程序在pool.join()处等待各个进程的结束。

上一篇:fastadmin 的多表关联查询


下一篇:HashMap (jdk1.8)computeIfPresent()方法注释