一 问题描述工作中的一台数据库打印如下日志:

a5f8cc787443c44b7edcee4d2cb974b9.png

二 问题分析

查看机器当时 TCP 连接数状态

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
a76f7bd209a825861580faf78aeb820b.png

从图中可以看到发生事故的时候 time wait 是 20143。

查看机器网络配置
cat /etc/sysct1.conf

bc1de6f1e943462858f2d409c10c6cd4.png

从图中发现 net.ipv4.tcp_max_tw_buckets 为 20000。当时 time wait 状态的 TCP 连接,超过 net.ipv4.tcp_max_tw_buckets 限制。 

三 问题解决

适当调整 net.ipv4.tcp_max_tw_buckets 参数值。

四 问题扩展

4.1 系统 TIME_WAIT 连接过高有什么影响?

处于 TIME_WAIT 状态的连接过高时会占用大量连接,系统资源有限,不能无限创建连接,过高可能导致无法创建新的连接,进而影响系统的负载能力。这时需要调整参数,以尽快地释放 TIME_WAIT。

4.2 如何减少系统 TIME_WAIT 连接数?

为了能够尽快释放 TIME_WAIT 状态的连接。可以做以下配置。

A. net.ipv4.tcp_syncookies=1,表示开启 SYN Cookies。当出现 SYN 等待队列溢出时,启用 Cookies 来处理,可以防范少量SYN 攻击,默认值是0,表示关闭。B. net.ipv4.tcp_tw_reuse=1,表示开启复用。允许将 TIME-WAIT Sockets 重新用于新的 TCP 连接,默认值是0,表示关闭。C. net.ipv4.tcp_tw_recycle=1,表示开启 TCP 连接中 TIME-WAIT Socket 的快速回收,默认值是0,表示关闭。D. net.ipv4.fin_timeout=10,修改系统默认的 TIMEOUT 时间。需要注意的一点是,当打开了 tcp_tw_recycle 时,就会检查时间戳,移动环境下发来的包的时间戳有时候是乱跳的,会把带了“倒退”的时间戳的包当做recycle 的 tw 连接的重传数据,而不是新的请求”,于是丢掉不回包,这样会造成大量丢包。可以考虑设置 net.ipv4.timestamps=0,忽略报文的时间戳即可。

可以通过优化 TCP/IP 的可使用端口的范围。进一步提升负载能力。

E. net.ipv4.tcp_keepalive_time=10,表示当 Keep Alive 启用的时候,TCP 发送 Keep Alive 消息的频度。默认是两小时。

F. net.ipv4.ip_local_port_range=10000 65000,表示用于向外连接的端口范围。默认情况是32768 61000。注意不要将最低值设得太低,否则可能会占用正常的端口。

G. net.ipv4.tcp_max_syn_backlog=8192,表示 SYN 队列的长度,默认值是1024,而加大队列长度为8192可以容纳更多等待连接的网络连接数。

H. net.ipv4.tcp_max_tw_buckets=25000,表示系统同时保持 TIME_WAIT 的最大值,如果超过这个值,TIME_WAIT 会被立刻清除并打印警告信息。
Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐