concurrent.futures 这个模块是异步调用的机制
concurrent.futures 提交任务都是用submit
for + submit 多个任务的提交
shutdown 是等效于Pool中的close+join，是指不允许再继续向池中增加任务，然后让父进程(线程)等待池中所有进程执行完所有任务。
针对计算密集的程序来说
不管是Pool的进程池还是ProcessPoolExecutor()的进程池，执行效率相当
ThreadPoolExecutor 的效率要差很多
所以 当计算密集时，使用多进程。
#1 介绍
concurrent.futures模块提供了高度封装的异步调用接口
ThreadPoolExecutor：线程池，提供异步调用
ProcessPoolExecutor: 进程池，提供异步调用
Both implement the same interface, which is defined by the abstract Executor class. #2 基本方法
#submit(fn, *args, **kwargs)
异步提交任务 #map(func, *iterables, timeout=None, chunksize=1)
取代for循环submit的操作 #shutdown(wait=True)
相当于进程池的pool.close()+pool.join()操作
wait=True，等待池内所有任务执行完毕回收完资源后才继续
wait=False，立即返回，并不会等待池内的任务执行完毕
但不管wait参数为何值，整个程序都会等到所有任务执行完毕
submit和map必须在shutdown之前 #result(timeout=None)
取得结果 #add_done_callback(fn)
回调函数
线程池:
#线程池
from concurrent.futures import ThreadPoolExecutor
import time def func(num):
print('这是我的第%s次' % num)
time.sleep(1) t = ThreadPoolExecutor(100)
for i in range(1000):
t.submit(func,i) t.shutdown()
进程池:
# 进程池 需要 __main__
from concurrent.futures import ProcessPoolExecutor
import time def func(num):
print('这是我的第%s次' % num)
time.sleep(1) if __name__ == '__main__':
p = ProcessPoolExecutor(5) # 建议进程池中最大进程数量为cpu核心数+1
for i in range(1,1001):
p.submit(func,i)
p.shutdown()
回调函数:
方法: map,submit,add_done_callback,result
进程池中的回调函数是父进程调用的，和子进程没有关系
线程池中的回调函数是子线程调用的，和父线程没有关系 (current thread())
# 进程池回调函数
from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor
import os
import requests def func(num):
info = '这是我的第%s' % num
return info def call_back_func(res):
print(res.result()) if __name__ == '__main__':
p = ProcessPoolExecutor(20)
for i in range(1000):
p.submit(func,i).add_done_callback(call_back_func)
p.shutdown() # 线程池回调函数
from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor
import os
import requests def func(num):
info = '这是我的第%s' % num
return info def call_back_func(res):
print(res.result()) if __name__ == '__main__':
p = ThreadPoolExecutor(20)
for i in range(1000):
p.submit(func,i).add_done_callback(call_back_func)
p.shutdown()