11.python并发入门（part12 初识协程）

2023-10-25 16:25:58

一、协程的简介。

协程，又被称为微线程，虽然是单进程，单线程，但是在某种情况下，在python中的协程执行效率会优于多线程。

这是因为协程之间的切换和线程的切换是完全不一样的！协程的切换是由程序自身控制的（程序的开发者使用yield去进行控制，协程和协程之间的切换是可控制的，想什么时候切换就什么时候切换）。

当使用多线程时，开的线程越多，协程的优势就越明显。

协程的另一个优点，就是无需锁机制，因为协程只有一个进程，和线程，不存在多线程或者多进程之间访问公共资源的冲突，所以说，在协程中无需加锁，如果多个协程之间要操作同一个公共资源，那么只需要做个对协程的状态做一个判断就可以了。

协程其实是可以利用cpu多核或者多个cpu的，想要实现并行效果，就要使用，多进程+协程，这样既可以保证并行，又可以保证协程的高效率。

（协程的优势：1，没有锁的概念。2，协程之间互相切换开销比多线程，多进程之间要小的多！）

刚刚在前面也说过了，协程是基于函数中的yield关键字去实现的！

如果对yield关键字，或者生成器的概念不了解，请单击下面的传送门，里面有详细的介绍。

http://suhaozhi.blog.51cto.com/7272298/1909032

二、快速回顾yield与生成器的快速回顾。

上面的连接有详细介绍，在这里再次快速回顾一下。

下面是例子：

例1：

#首先定义了一个函数func1。

def func1():

print "ok!"

yield

#然后去调用func1这个函数。

func1()

#此时print “ok！” 到底会不会被执行?

可以试着去运行一下，其实 print "ok!"这句话是不会被执行的！

因为python在检测到一个函数中有yield关键字的时候，这个函数就已经不再是个普通的函数了，这个函数就会变成一个生成器对象。

我们可以使用type函数看到这一现象。

print type(func1())

输出的结果：

1.关于yield实现迭代器对象的回顾。

1.1 如果想要让生成器中的代码执行，必须只能用next函数，或者是先使用__iter__方法去获取一个迭代器对象，然后执行这个迭代器的next方法或者send方法才可以触发生成器的执行。

（当第一次运行一个生成器的时候！必须只能用next函数，或者是先使用__iter__方法去获取一个迭代器对象，然后执行这个迭代器的next方法去触发运行！否则会报错！）

def func1():

print "ok!"

yield

next(func1()) #执行了next函数后，print "ok!"这句话才真正的被执行了！

#func1().__iter__().next() #第二种调动方法，先获取一个迭代器对象，然后在执行迭代器对象下的next方法。

输出结果：

ok!

从上面的例子可以看出，使用yield关键字创建的生成器的第一个特性，就是想触发生成器的执行，只能用next函数或者send方法来触发生成器的执行。

1.2 yield和return一样，可以return一个返回值！

例：

#!/usr/local/bin/python2.7

# -*- coding:utf-8 -*-

def func1():

print "ok!"

yield [1,2,3] #返回一个列表

l1 = next(func1())

print l1

输出结果：

ok!

[1, 2, 3]

1.3 yield的挂起特性。

def func1():

print "1"

yield

print "2"

yield

print "3"

yield

print "4"

g1 = func1()

next(g1) #第一次执行next，生成器会先执行到第一个yield关键字的位置挂起，并且保存当前运行的位置状态。

#输出结果：

next(g1) #第二次执行next，生成器会从刚刚挂起的位置继续执行后面的代码，如果再次执行到yield关键字后，生成器继续保存状态后挂起。

#输出结果：

next(g1) #第三次执行next，生成器会继续从刚刚挂起的位置开始运行，继续执行后面的代码，如果遇到yield，继续保存状态挂起。

#输出结果：

next(g1) #第四次执行next，生成器依旧会从刚刚挂起的位置继续执行后面的代码，但是不同的是，后面没有yield了！！生成器执行完print "4"这个代码后，就会抛出一个StopIteration的异常。

1.4 生成器的send方法，可以给yield前面的变量名赋值的特性。

#!/usr/local/bin/python2.7

# -*- coding:utf-8 -*-

def func1():

print "1"

name = yield 11111

print name

yield

g1 = func1()

v1 = g1.next() #如果想直接给yield左边的name变量传值，必须要先运行next然后再send！否则会报错！！

g1.send("test!!!") #通过yield给左边的name变量赋值

输出结果：

11111

test!!!

三、使用yield来实现最基本的协程。

个人理解，协程的底层就是基于yield去实现的，之前在说多线程的时候，有说过一个生产者消费者模型，我们可以通过yield实现协程，然后通过协程去实现这个模型。

在写基于协程的生产者消费者模型之前，先来补充几个概念：

传统的生产者消费者模型的实现，是通过一个线程去产生消息，另一个线程去取消息，如果要对公共数据进行操作，必须要加锁机制，但是一不小心可能会造成“死锁”现象。

通过协程去实现的生产者消费者模型，生产者产生消息后，直接可以通过yield跳转到消费者的函数开始执行，当消费者的函数运行完毕后，继续跳回生产者的函数继续生产，效率比多线程要高很多。

1.下面是一个使用yield关键字实现的一个简单的协程。

usr/local/bin/python2.7

# -*- coding:utf-8 -*-

#这个程序的思路是,生产者函数产生了数据之后,通过yield跳转到消费者的生成器函数,等待消费者执行完毕后

#继续切换回生产者函数进行生产.

import time

def consumer(name): #这里的消费者函数是个生成器!

ret = ''

while True:

bun_num = yield ret

if not bun_num:

return

print "%s eating bun %s " %(name,bun_num)

time.sleep(1)

ret = 'consumer ----> go chi so u sa ma de shi ta ~!'

def produce(con):

next(con) #第一次要先使用next函数去启动consumer生成器！（相当于通知）

num = 0

while num < 5:

num = num + 1

print "producer --> producing %s" %(num)

consumer_return = con.send(num) #一旦产生了数据！切换到consumer（消费者），并且，把产生的数据，发送给consumer。

print "producer ---> consumer return message: %s" %(consumer_return)

#当生产者拿到了消费者的返回结果，输出的一条消息。

con.close() #当生产者停止生产，关闭consumer，这个close方法用于终止迭代。

if __name__ == '__main__':

con1 = consumer("suhaozhi") #创建消费者对象

produce(con1)

输出结果：

producer --> producing 1

suhaozhi eating bun 1