Python协程之Gevent模块

背景

进程是操作系统分配资源的最小单位,每个进程独享4G的内存地址空间,因此进程内数据是安全的,检查间的通信需要使用特定的方法。同理,正是因为进程是数据安全的,所以导致进程的切换是一个很麻烦效率不高的操作。为了解决进程切换带来的问题,线程这个名词出现了,一个进程可以包含多个线程,一个进程下的所有线程共享所有的数据,数据可以直接访问,协程的切换比进程的切换更快。进程和线程的切换是有操作系统控制,不是应用程序自己控制,是被动的。为了开发出应用程序自己可控制,百万级任务切换的方案,协程这个概念被提出了。

协程是一个“轻”量级的任务,协程的切换是单纯的应用程序内的代码变动,不涉及操作系统的动作。一个线程可以包含多个协程,协程的并发可以极大的提升代码的运行效率,而且协程的并发不用考虑互斥锁的问题,共享全局数据更简单更安全。

线程适用的场景:

  • IO密集型操作的系统,协程遇见IO操作自动切换

  • 百万级任务的切换

python和协程

python因为GIL锁的原因,使得python环境下的多线程达不到理想的效果,因为GIL锁保证了同一时间下只有一个线程运行。为了实现python环境下多任务的并发,一般是多进程+多协程。python从3.0版本开始开发自带的协程库asyncio,到3.7版本已经发展成熟到了一定程度,完全可以用于线上运行。在asyncio库出来以前,第三方库Gevent是一个非常有序的协程库,一直到现在还在被广泛使用。

上一篇:使用gevent实现高并发并限制最大并发数


下一篇:pyhon-高并发测试