最近遇到一个问题，从业务上出现ftp异常：
ftp .**.**.**
ftp: connect: Cannot assign requested address
这台服务器上的socket统计如下：
ss -s
Total: (kernel )
TCP: (estab , closed , orphaned , synrecv , timewait /), ports 12036-----这个是cat /proc/slabinfo |grep -i tcp_bind_bucket 的inuse那列 Transport Total IP IPv6
* - -
RAW
UDP
TCP
INET
FRAG
可以看到，closed的值很高，ports也很高，占用了12036个端口，
ss -s执行的源代码是：
int print_summary(void)
{
struct sockstat s;
struct snmpstat sn; if (get_sockstat(&s) < )---------------读取/proc/net/sockstat
perror("ss: get_sockstat");
if (get_snmp_int("Tcp:", "CurrEstab", &sn.tcp_estab) < )
perror("ss: get_snmpstat"); printf("Total: %d (kernel %d)\n", s.socks, slabstat.socks); printf("TCP: %d (estab %d, closed %d, orphaned %d, synrecv %d, timewait %d/%d), ports %d\n",
s.tcp_total + slabstat.tcp_syns + s.tcp_tws,
sn.tcp_estab,
s.tcp_total - (s.tcp4_hashed+s.tcp6_hashed-s.tcp_tws),
s.tcp_orphans,
slabstat.tcp_syns,
s.tcp_tws, slabstat.tcp_tws,
slabstat.tcp_ports-----------这个就是slabinfo中的tcp_bind_bucket 的activeobj
); printf("\n");
printf("Transport Total IP IPv6\n");
printf("* %-9d %-9s %-9s\n", slabstat.socks, "-", "-");
printf("RAW %-9d %-9d %-9d\n", s.raw4+s.raw6, s.raw4, s.raw6);
printf("UDP %-9d %-9d %-9d\n", s.udp4+s.udp6, s.udp4, s.udp6);
printf("TCP %-9d %-9d %-9d\n", s.tcp4_hashed+s.tcp6_hashed, s.tcp4_hashed, s.tcp6_hashed);
printf("INET %-9d %-9d %-9d\n",
s.raw4+s.udp4+s.tcp4_hashed+
s.raw6+s.udp6+s.tcp6_hashed,
s.raw4+s.udp4+s.tcp4_hashed,
s.raw6+s.udp6+s.tcp6_hashed);
printf("FRAG %-9d %-9d %-9d\n", s.frag4+s.frag6, s.frag4, s.frag6); printf("\n"); return ;
}
可以看到，ss -s 关于ipv4的输出是通过读取/proc/net/sockstat 的内容，
cat /proc/net/sockstat
sockets: used
TCP: inuse orphan tw alloc mem
UDP: inuse mem
UDPLITE: inuse
RAW: inuse
FRAG: inuse memory
和前面数据有些相差是因为不是严格一个时间点取的，同时，alloc是比较接近closed的，（注意ss中关于closed的算法，要获取精确值，应该关注 /proc/net/sockstat
中的alloc的值）
而正常的设备大概是：
cat /proc/net/sockstat
sockets: used
TCP: inuse orphan tw alloc mem
UDP: inuse mem
UDPLITE: inuse
RAW: inuse
FRAG: inuse memory
可以明显看到alloc的数量相比正常设备很高，而且不是属于inuse状态。
ss -t -a |wc -l
63
所以这个被ss列入到close状态的大多数就是alloc状态，closed被展示为： s.tcp_total - (s.tcp4_hashed+s.tcp6_hashed-s.tcp_tws),
而s.tcp_total格式化为：
else if (strcmp(id, "TCP:") == )
sscanf(rem, "%*s%d%*s%d%*s%d%*s%d%*s%d",
&s->tcp4_hashed,---------这个就是inuse那列
&s->tcp_orphans, &s->tcp_tws, &s->tcp_total, &s->tcp_mem);-------tcp_mem就是tcp申请的内存，内核中的tcp_memory_allocated变量
其实就是：
TCP: inuse 81 orphan 0 tw 6 alloc 41019 mem 286 中的alloc那列，tcp_total里面就是alloc的tcp socket总数，但是inuse的又远远低于alloc状态，这个是为啥？
而对应的closed这项为：
printf("TCP: %d (estab %d, closed %d, orphaned %d, synrecv %d, timewait %d/%d), ports %d\n",
s.tcp_total + slabstat.tcp_syns + s.tcp_tws,
sn.tcp_estab,
s.tcp_total - (s.tcp4_hashed+s.tcp6_hashed-s.tcp_tws),---------这项closed就是alloc的tcp socket加上timewait 然后减去inused
s.tcp_orphans,
slabstat.tcp_syns,
s.tcp_tws, slabstat.tcp_tws,
slabstat.tcp_ports
);
按照内核代码，alloc的数量也就是：
sockets = percpu_counter_sum_positive(&tcp_sockets_allocated);
这个值在 tcp_v4_init_sock和tcp sock的 sk_clone函数 中增加，并在销毁tcp socket的 tcp_v4_destroy_sock函数中减少，两者处于配对的关系。
写了一个测试程序，才确认，ss -s显示closed的状态的socket，其实就是socket系统调用之后，还没有使用的socket，没有建联，也没侦听，也没关闭。想起tcp的状态变迁图，确实一开始的状态是closed，走了弯路，因为一开始排查，以为是跟close-wait相关，结果使用 ss -o state close-wait 看了发现数量也不对，才知道查错了方向。
回到一开始的业务本身，Cannot assign requested address 确定是绑定端口失败，端口不够用了。
而该设备上配置的ip端口范围是：
sysctl -a |grep port_range
net.ipv4.ip_local_port_range =
也就是12000个，当ports占用之后，端口就不够了，而这些端口占用，并没有实际链接，也就是closed状态的4万多个socket中，有接近12000个端口被占用且不提供服务（业务代码bug）。
其实它想占那么多端口的，4万多个tcp的socket，有30000多bind 端口失败。所以才出现了closed 4万多，而ports为12036的状态，当然，多出来的36个，我还没来得及分析，业务进程就重启了，所以看不到具体占用的了。
最近再次遇到了这个问题：
cat /proc/net/sockstat
sockets: used
TCP: inuse orphan tw alloc mem
UDP: inuse mem
UDPLITE: inuse
RAW: inuse
FRAG: inuse memory ss -s
Total: (kernel )
TCP: (estab , closed , orphaned , synrecv , timewait /), ports Transport Total IP IPv6
* - -
RAW
UDP
TCP
INET
FRAG
为了避免后来人犯同样的错，简单记录之。