epoll是如何监控多个描述符及如何获得通知(1)

2021-11-10 09:38:54

作者：gfree.wind@gmail.com
博客：blog.focus-linux.net   linuxfocus.blog.chinaunix.net 
微博：weibo.com/glinuxer
QQ技术群：4367710
 
本文的copyleft归gfree.wind@gmail.com所有，使用GPL发布，可以*拷贝，转载。但转载请保持文档的完整性，注明原作者及原链接，严禁用于任何商业用途。

============================================================================================================================
有了宝宝以后，最近事情比较多，博客更新得远不如以前了。

前几天和人聊到epoll，我本身不是做应用的，对epoll的了解也仅限于几篇博文。所以本文关于epoll的描述，准确度值得怀疑哦~欢迎大家指正。

我们起初聊的是TCP/IP协议栈的自下而上的流程。当我说到内核在选择了正确的socket以后，会唤醒在这个socket上等待的进程，通知他们有新数据包来了。这时，该朋友说到，这是同步模式，那epoll是如何实现的呢？这里先插一句，我认为该朋友的说法有问题。对于前者，可以说是同步模式，其实我觉得他更想强调的是阻塞模式。而无论是将其说成阻塞模式，还是同步模式，epoll都不是相反的。聊这个问题的时候，我当时对epoll的太少了，也就没有对epoll的实现发表什么看法。只是简单的聊了聊epoll的一些特点，以及与select的对比。

这几天找了点空余时间，带着这个问题，看了一些epoll的资料。

关于epoll本身的文章和资料已经有了很多，大多数都是关于epoll的应用，或者是将其与poll，select进行对比，也有部分是分析epoll的源码的，但是都是分析epoll的API在内核的实现。对于我这个简单的问题，网上貌似没有直接的答案。这两天，看了看代码，大致明白了epoll如何同时监控多个描述符及如何获得通知。

1. 无论是select还是epoll，都是基于poll的机制实现的。而poll是VFS要求的一个成员函数，每个具体文件系统的实现，都有对应的poll实现（socket也是一个虚拟的文件系统）。
2. 无论是select还是epoll，其实仍然是阻塞模式。只不过select和epoll在阻塞调用中，可以监控多个文件描述符，还可以设置一个超时。

select的实现代码相对于epoll，要简单很多，是以轮询的方式查询各个描述符。下面看看epoll是如何做到的？

首先看ep_insert函数，这个函数用于插入新的监控描述符。

  1.     /* Initialize the poll table using the queue callback */
  2.     epq.epi = epi;
  3.     init_poll_funcptr(&epq.pt, ep_ptable_queue_proc);

  5.     /*
  6.      * Attach the item to the poll hooks and get current event bits.
  7.      * We can safely use the file* here because its usage count has
  8.      * been increased by the caller of this function. Note that after
  9.      * this operation completes, the poll callback can start hitting
  10.      * the new item.
  11.      */
  12.     revents = tfile->f_op->poll(tfile, &epq.pt);
这几行代码是关键的代码。这里的epq像一个粘合剂，把epoll和内核本身的poll机制黏在了一起。epq.epi = epi，这个epi对应了epoll一个监控描述符对象在epoll中的实例，然后init_poll_funcptr设置了epq的poll table的回调函数，完成了epq的初始化。然后调用该文件描述符对应的poll实现函数。

这里就要跳转到具体的poll函数了，以socket文件描述符为例，当该socket为UDP时候，对应的poll实现函数为udp_poll。

  1. unsigned int udp_poll(struct file *file, struct socket *sock, poll_table *wait)
  2. {
  3.     unsigned int mask = datagram_poll(file, sock, wait);
  4.     struct sock *sk = sock->sk;

  6.     /* Check for false positives due to checksum errors */
  7.     if ((mask & POLLRDNORM) && !(file->f_flags & O_NONBLOCK) &&
  8.      !(sk->sk_shutdown & RCV_SHUTDOWN) && !first_packet_length(sk))
  9.         mask &= ~(POLLIN | POLLRDNORM);

  11.     return mask;

  13. }
这个代码很简单。关键函数是datagram_poll

  1. unsigned int datagram_poll(struct file *file, struct socket *sock,
  2.              poll_table *wait)
  3. {
  4.     struct sock *sk = sock->sk;
  5.     unsigned int mask;

  7.     sock_poll_wait(file, sk_sleep(sk), wait);
  8.     mask = 0;
  9.     
  10.     //处理事件
  11.     ...... ......

  1.     return mask;
  2. }
sk_sleep(sk)就是sk上的wait队列。那么就需要进入sock_poll_wait

  1. static inline void sock_poll_wait(struct file *filp,
  2.         wait_queue_head_t *wait_address, poll_table *p)
  3. {
  4.     if (p && wait_address) {
  5.         poll_wait(filp, wait_address, p);
  6.         /*
  7.          * We need to be sure we are in sync with the
  8.          * socket flags modification.
  9.          *
  10.          * This memory barrier is paired in the wq_has_sleeper.
  11.         */
  12.         smp_mb();
  13.     }
  14. }
  1. static inline void poll_wait(struct file * filp, wait_queue_head_t * wait_address, poll_table *p)
  2. {
  3.     if (p && wait_address)
  4.         p->qproc(filp, wait_address, p);
  5. }
看到这里，绕了一圈，又回到了起点。。。需要查看ep_ptable_queue_proc的实现
  1. static void ep_ptable_queue_proc(struct file *file, wait_queue_head_t *whead,
  2.                  poll_table *pt)
  3. {
  4.     struct epitem *epi = ep_item_from_epqueue(pt);
  5.     struct eppoll_entry *pwq;

  7.     if (epi->nwait >= 0 && (pwq = kmem_cache_alloc(pwq_cache, GFP_KERNEL))) {
  8.         init_waitqueue_func_entry(&pwq->wait, ep_poll_callback);
  9.         pwq->whead = whead;
  10.         pwq->base = epi;
  11.         add_wait_queue(whead, &pwq->wait);
  12.         list_add_tail(&pwq->llink, &epi->pwqlist);
  13.         epi->nwait++;
  14.     } else {
  15.         /* We have to signal that an error occurred */
  16.         epi->nwait = -1;
  17.     }
  18. }
这里的代码很明确，获得epoll中的监控描述符的实例epi，然后创建一个epoll的等待节点，并将其放到参数whead的队列中。对应上面的例子中，即sock的等待队列中。这样，就将epoll和具体对应的描述联系起来。当对应的描述符执行唤醒操作时，就会利用上面的关联，唤醒epoll。

本想一篇博文就把这个流程说清楚的。结果没有成功，留到明天吧
（未完待续）



上一篇：落实网络安全法 多互联网公司推送个人信息保护条款


下一篇：Java并发编程系列之五：happens-before原则