python并发编程之gevent协程(四)

2021-12-13 13:53:33

协程的含义就不再提，在py2和py3的早期版本中，python协程的主流实现方法是使用gevent模块。由于协程对于操作系统是无感知的，所以其切换需要程序员自己去完成。

系列文章

基于生成器的简单协程

import time

def A():

    for i in range(100):

        print("----A---")

        yield i

        time.sleep(0.5)

def B(c):

    while True:

        print("----B---")

        try:

            next(c)

        except StopIteration:

            break

        else:

            time.sleep(0.5)

if __name__ == '__main__':

    a = A()

    B(a)

上面的例子并没有带来代码效率的提高，因为time.sleep()是同步阻塞操作；上例主要是为了说明协程的上下文切换原理。

greenlet的协程

greenlet模块也是程序显性主动控制协程切换，但是对原生做了一定的封装使得切换变得简单一些。

from greenlet import greenlet

import time

def test1(gr,g):

    for i in range(100):

        print("---A--")

        gr.switch(g, gr) # 切换到另一个协程执行

        time.sleep(0.5)

def test2(gr, g):

    for i in range(100):

        print("---B--")

        gr.switch(g, gr)

        # gr.throw(AttributeError)

        time.sleep(0.5)

if __name__ == '__main__':

    # 创建一个协程1

    gr1 = greenlet(test1)

    # 创建一个协程2

    gr2 = greenlet(test2)

    # 启动协程

    gr1.switch(gr2, gr1)

greenlet类主要有两个方法：

switch：用来切换协程；
throw()：用来抛出异常同时终止程序；

gevent模块协程

gevent是在greenlet的基础上进行封装使得gevent变得更加的易用。
gevent采用了隐式启动事件循环，即在需要阻塞的时候开启一个专门的协程来启动事件循环；
如果一个任务没有io操作，那么他会一直执行直到完成；其他协程没有执行的机会；
自动识别io事件，放弃CPU控制时间；

# 一个补丁patch_all,注意要放在所有的import前面，其会将线程、进程替换成gevent框架,使得我们可以用同步编程的方式编写异步代码

from gevent import monkey;monkey.patch_all()

import gevent

import requests

def target0(n):

    print('--start---{}'.format(n))

    res = requests.get('http://www.baidu.com')

    print(res)

    return n

if __name__ == '__main__':

    jobs = [gevent.spawn(target0, 1),gevent.spawn(target0, 2),gevent.spawn(target0, 3)]

    gevent.joinall(jobs)

    print([job.value for job in jobs])

gevent模块分析

gevent顶层方法

gevent.spawn():创建一个普通的Greenlet对象并切换；

gevent.spawn_later(seconds=3) # 延时创建一个普通的Greenlet对象并切换

gevent.spawn_raw() # 创建的协程对象属于一个组

gevent.getcurrent() # 返回当前正在执行的greenlet

gevent.joinall(jobs)：将协程任务添加到事件循环，接收一个任务列表

gevent.wait() # 可以替代join函数等待循环结束，也可以传入协程对象列表

gevent.kill() # 杀死一个协程

gevent.killall() # 杀死一个协程列表里的所有协程

monkey.patch_all()：非常重要，会自动将python的一些标准模块替换成gevent框架

设置强制切换的时间

# 手动设置CPU密集型最大执行时间，如果是单线程的协程不需要关注这个

sys.setcheckinterval(n):每n条执行尝试进行线程切换,n必须是int

sys.getswitchinterval() # 默认5ms切换

Greenlet对象

# Greenlet对象

from gevent import Greenlet

# Greenlet对象创建

job = Greenlet(target0, 3)

Greenlet.spawn() # 创建一个协程并启动

Greenlet.spawn_later(seconds=3) # 延时启动

# 协程启动

job.start() # 将协程加入循环并启动协程

job.start_later(3) # 延时启动

# 等待任务完成

job.join() # 等待任务完成

job.get() # 获取协程返回的值

# 任务中断和判断任务状态

job.dead() # 判断协程是否死亡

job.kill() # 杀死正在运行的协程并唤醒其他的协程，这个协程将不会再执行，可以

job.ready() # 任务完成返回一个真值

job.successful() # 任务成功完成返回真值，否则抛出错误

# 获取属性

job.loop # 时间循环对象

job.value # 获取返回的值

# 捕捉异常

job.exception # 如果运行有错误，获取它

job.exc_info # 错误的详细信息

# 设置回调函数

job.rawlink(back) # 普通回调，将job对象作为回调函数的参数

job.unlink() # 删除回调函数

# 执行成功的回调函数

job.link_value(back)

# 执行失败的回调函数

job.link_exception(back)

限制并发

通过设置协程池Pool来限制运行的协程的最大数目。该Pool和multiprocessing进程模块的Pool的API十分相似。
Group类管理一组不限制数目的协程对象，但是Pool是它的子类，使用一般用Pool替代。

def tag():

    print('--start---')

    x = requests.get('http://www.baidu.com')

    print(x)

    print('------end--------')

    return 0

if __name__ == '__main__':

    from gevent.pool import Pool

    p = Pool(5)

    for i in range(10):

        p.apply_async(tag)

    p.join()

gevent.Pool的特殊方法

pool.wait_available():等待直到有一个协程有结果

pool.dd(greenlet):向进程池添加一个方法并跟踪，非阻塞

pool.discard(greenlet):停止跟踪某个协程

pool.start(greenlet):加入并启动协程

pool.join():阻塞等待结束

pool.kill():杀死所有跟踪的协程

pool.killone(greenlet):杀死一个协程

参考
http://www.gevent.org/intro.html

码农公寓