Select Poll Epoll

2024-01-31 11:11:46

上一篇文章我们已经介绍过了集中常用的 IO 模型了。IO 多路复用模型是我们用的最多的一种 IO 模型。select，poll，epoll 都是 IO 多路复用的机制。I/O 多路复用就是通过一种机制，一个进程可以监视多个描述符。一旦某个描述符就绪（读或者写就绪），就通知程序进行相应的读写操作。

select，poll，epoll 本质上都是同步 I/O，因为它们都需要在读写事件就绪后自己负责读写，也就是说，这个读写过程是阻塞的，而异步 I/O 则无需自己负责进行读写，异步 I/O 实现会负责把数据从内核拷贝到用户空间。

select

int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

select 函数监视的文件描述符分为三类，分别是 writefds，readfds 和 exceptfds。调用后 select 函数会阻塞，直到有文件描述符就绪（有数据可读，可写或者有 except），或者超时（timeout 指定等待时间，如果立即返回设置为 null 即可），函数返回。当 select 函数返回后，可以通过遍历 fdset，来找到就绪的描述符。

select 目前几乎在所有的平台上支持，其良好的跨平台也成为它的有点。select 的一个缺点在于单个进程能够监视的文件描述符最大为 1024。

select 本质上是通过设置或者检查存放 fd 标志位的数据结构来进行下一步处理。这样所带来的缺点是：

单个进程可监视的 fd 数量被限制，即能监听端口的大小有限。32 位是 1024，64 位是 2048。
对 socket 进行扫描时都是线性扫描，即采用轮询的方法，效率比较低。不管是不是活跃的，都选哟遍历一遍。
需要维护一个用来存放大量 fd 的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大。

poll

int poll (struct pollfd *fds, unsigned int nfds, int timeout);

不同于 select 使用三个位图来表示 fdset 的方式，poll 使用也给 pollfd 的指针实现。

struct pollfd {
    int fd; /* file descriptor */
    short events; /* requested events to watch */
    short revents; /* returned events witnessed */
};

pollfd 结构包含了要监视的 event 和发生的 event，不再使用 select “参数-值”传递的方式。同时，pollfd 并没有最大数量限制（但是数量过大后性能也是会下降）。和 select 函数一样，poll 返回后，需要轮询 pollfd 来获取就绪的描述符。

select 和 poll 都需要在返回后，通过遍历文件描述符来获取已经就绪的 socket。事实上，同时连接的大量客户端在同一时刻可能只有很少的处于就绪状态，因此随着监视的描述符数量的增长，其效率也会线性下降。

poll 本质上和 select 并没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个 fd 对应的设备状态，如果设备就绪则在设备等待队列加入一项并继续遍历，如果遍历完所有 fd 后没有发现就绪设备，则挂起当前线程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历 fd。

poll 没有连接数限制，原因它是基于链表来存储的。
也是需要轮询来查询 fd 的状态，fd 越多，效率越差。

epoll

epoll 是在 2.6 内核中提出的，是之前的 select 和 poll 的增强版本。相对于 select 和 poll 来说，epoll 更加灵活，没有描述符限制。epoll 使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，这样在用户空间和内核空间的 copy 只需一次。

epoll 操作过程

一个 epoll 操作过程需要三个接口，分别如下：

int epoll_create(int size)；//创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

int epoll_create(int size)

创建一个 epoll 的句柄，size 用来告诉内核这个监听的数目一共多大，这个参数不同于 select() 中的第一个参数，给出最大监听的 fd+1 的值，参数 size 并不是限制了 epoll 所能监听描述符的最大个数，只是对内核初始分配内部数据结构的一个建议。

创建好 epoll 句柄后，它就会占用一个 fd 值，使用完 epoll 后，必须调用 close() 关闭，否则可能导致 fd 被耗尽。

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)

函数是对指定描述符 fd 执行 op 操作。

epfd: 是 epoll_create() 返回值。
op: 表示 op 操作，用三个宏来表示：添加 EPOLL_CTL_ADD, 删除 EPOLL_CTL_DEL, 修改 EPOLL_CTL_MOD。分别添加，删除和修改对 fd 的监听事件。
fd: 需要监听的 fd（文件描述符）。
epoll_event: 是告诉内核需要监听什么事，struct epoll_event 的结构如下：

struct epoll_event {
  __uint32_t events;  /* Epoll events */
  epoll_data_t data;  /* User data variable */
};

//events可以是以下几个宏的集合：
EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符可以写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里

int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout)

等待 epfd 上的 io 事件，最多返回 maxevents 个事件。

参数 events 用来从内核得到事件的集合，maxevents 告之内核这个 events 有多大。该函数返回需要处理的事件数目，如返回 0 表示已超时。

工作模式

epoll 对文件描述符的操作有两种模式：LT（level trigger）和 ET（edge trigger）。

LT 模式（默认）：当 epoll_wait 检测到描述符事件发生并将此事件通知应用程序，应用程序可以不立即处理该事件。下次调用 epoll_wait 时，会再次响应应用程序并通知此事件。通过这种模式，系统不会充斥大量你不关心的就绪文件描述符。

ET模式（告诉）：当 epoll_wait 检测到描述符事件发生并将此事件通知应用程序，应用程序必须立即处理。如果不处理，下次调用 epoll_wait 时，不会再次响应应用程序并通知此事件。在 ET 模式下，read 一个 fd 的时候一定要把它的 buffer 都读光。

epoll 没有最大并发连接的限制，能打开的 FD 的上线远大于 1024。
效率提升，不是轮询的方式，不会随着 FD 数目的增加效率下降，只有活跃可用的 FD 才会调用 callback 函数。
epoll 最大的有点在于它只管你活跃的连接，而跟连接总数无关。因此在实际的网络环境中，epoll 的效率会远高于 select 和 poll。
内存拷贝，利用 mmap() 文件映射内存加速与内核空间的消息传递，即 epoll 使用 mmap 减少复制开销。

select，poll 和 epoll 的区别总结

支持一个进程能打开的最大连接数。

select 是 1024，poll 没有最大限制，底层是基于链表的。epoll 有上限，但hi很大，1G 内存的及其可以打开 10 万左右的连接，2G 内存可以打开 20 万左右的连接。
FD 剧增后带来的 IO 效率问题。

select 和 poll 每次调用都会对 FD 进行线性遍历，所以随着 FD 增加遍历的速度会越慢。

因为 epoll 内核中的实现是根据每个 fd 上的 callback 函数来上西安的，只有活跃的 socket 才会主动 callback，所以性能和总的监视的文件描述符无关。
消息传递方式。

select 和 poll 内核需要将消息传递到用户空间，都需要内核拷贝动作。epoll 通过内核和用户共享一块内存来实现。

	select	poll	epoll
操作方式	遍历	遍历	回调
底层实现	数组	链表	哈希表
IO效率	每次调用都进行线性遍历，时间复杂度为O(n)	每次调用都进行线性遍历，时间复杂度为O(n)	事件通知方式，每当fd就绪，系统注册的回调函数就会被调用，将就绪fd放到readyList里面，时间复杂度O(1)
最大连接数	1024（x86）或2048（x64）	无上限	无上限
fd拷贝	每次调用select，都需要把fd集合从用户态拷贝到内核态	每次调用poll，都需要把fd集合从用户态拷贝到内核态	调用epoll_ctl时拷贝进内核并保存，之后每次epoll_wait不拷贝

总结

表面上看 epoll 的性能最好，但是在连接数少并且都十分活跃的情况下，select 和 poll 的性能可能比 epoll 好，毕竟 epoll 的通知机制需要很多函数回调。

select 低效是因为每次它都需要轮询。但低效也是相对的，视情况而定，也可以通过良好的设计改善。

码农公寓