close_wait相关

1. CLOSE_WAIT是什么

TCP关闭时

  • 主动关闭: 发FIN(FIN_WAIT_1) --> 收ACK(FIN_WAIT_2) --> 收FIN(TIME_WAIT) --> 发ACK, TIME_WAIT会持续 2*MSL(1-4分钟)
  • 被动关闭: 收FIN(CLOSE_WAIT) --> 发ACK --> 发FIN(LAST_ACK) --> 收ACK(CLOSED), 如果程序不主动调用 close(fd) 关闭套接字,就不会主动发送FIN,就会一直在 CLOSE_WAIT 状态

所以 CLOSE_WAIT 存在于被动关闭连接的情况,一般是服务器被动关闭,所以一般需要服务器去解决。

2. 产生的原因

主要有两点:

  1. 代码中没有写关闭连接的代码,存在bug;
  2. 该连接的业务代码处理事件太长,代码还在处理,对方已经发起断开连接的请求了;这时候会存在一段时间的 CLOS_WAIT,直到服务端处理到这里。

总的来说,就是服务端没有及时调用close()关闭套接字。

3. 一直不关闭,最多会存在多长时间

内核会定时探测TCP连接是否存在,如果不存在,会自动关闭该TCP,回收系统资源。内核依靠如下参数来探测:

  • tcp_keepalive_time(7200): 如果在该参数指定的秒数内,TCP连接一直处于空闲,内核就开始向对端发起探测,看对端是否还在;
  • tcp_keepalive_intvl(75): 发起探测时,每隔这么多秒数,探测一次;
  • tcp_keepalive_probes(9): 总共探测这么多次;

所以 CLOSE_WAIT 状态最多维持 tcp_keepalive_time + tcp_keepalive_intvl * tcp_keepalive_probes = 7200 +75*9 = 7875s,约130分钟,2小时多一点。

这只是内核的限制,还可以在程序里使用 setsocketopt(fd, SOL_TCP, TCP_KEEPIDLE...) 对每个TCP连接设置。

4. 有什么影响

CLOSE_WAIT状态的端口表示正在被占用,如果没有设置端口复用,这个端口就变得不可用,过多的CLOSE_WAIT会耗尽系统的可用端口,新的连接进不来,服务变得不可用。

5. 如何解决

  1. 程序方面,需要及时处理连接被动关闭的状态,特别是 recv() 收到0字节,表示对端关闭了;
  2. 系统方面,可以将 keepalive 相关的参数设置的小一些,让系统尽快探测到TCP不可用,尽快回收资源。

6. 主动关闭时的两个较长的等待时间

  • FIN_WAIT_2: 等待对端发送 FIN
  • TIME_WAIT: 等待2MSL

调用了shutdown(),但是没有调用close(),就会等在FIN_WAIT_2状态。跟这个状态有关的内核参数是:

  • net.ipv4.tcp_fin_timeout(30): 注意,这个参数只对调用了close()的孤儿tcp有效,如果程序只是调用了shutdown(),但是没有close(),该参数并不起作用。

一般主动关闭连接的一方较常见 TIME_WAIT,产生的原因是主动关闭的时候,要等着对端收到了最后一个ACK才回收相应资源,防止对端没有收到ACK又重新发送最后一个FIN。但这也是占用了一个端口,跟这个状态有关的参数是:

  • net.ipv4.tcp_max_tw_buckets(180000): TIME_WAIT的最大数量,超过这个会被立刻清理,并打印警告信息
  • net.ipv4.tcp_tw_timeout(60): TIME_WAIT的过期时间
  • net.ipv4.tcp_tw_reuse(0): TIME_WAIT状态重用
  • net.ipv4.tcp_recycle(0): 开启 TIME_WAT 快速回收。不再是2MSL,而是一个RTO(动态计算的数据包重传超时时间)。还需要tcp_timestamps保证旧连接的数据包不会被新连接接收。NAT环境可能导致drop掉SYN包,无法发起新的连接;
  • net.ipv4.tcp_timestamps(1): 检查请求数据包的时间戳,快速回收需要配合这个时间戳选项;

7. net.ipv4.tcp_timestamps=1和net.ipv4.tcp_recycle=1在NAT环境下的影响

简单来说就是NAT会修改目的IP,但有的不修改tcp头里的timestamp,导致不同的客户端通过NAT过来的数据包时间戳不一样,时间戳小的就接不进server,所以server一般不开启 net.ipv4.tcp_recycle。

上一篇:乾颐堂军哥HCIE5-OSPF的NSSA区域细节和中间系统到中间系统基础


下一篇:实现自己的系统调用针对linux-2.6.34【转】