服务端 syn 丢包问题排查

[jarry118]

环境

服务 A：k8s 环境运行的服务，kubernetes 1.19.10; CNI calico 3.17.4 CrossSubnet

服务 B：物理机运行的服务，Centos 7.5

背景

服务 A 上 k8s 环境后，服务 A 直接调用服务 B ，偶现提示连接超时，Caused by: java.net.SocketTimeoutException: connect timed out ；

排查过程

1.查看服务 B 节点的 netstat 情况:

[root@app01 ~]# netstat  -s|egrep "SYNs to LISTEN sockets|passive"
    5436752164 passive connection openings
    87458 passive connections rejected because of time stamp
    283176 SYNs to LISTEN sockets dropped

可以看出来是 SYN 请求被丢弃，而且 SYN 丢弃数量和 timestamp 丢弃的数量保持同步，可以初步断定是 timestamp 问题导致。

2.半连接和全连接队列是否满了

用 ss -lnt(全连接)和 netstat -natp |grep SYN_RECV|wc -l (半连接) 均 OK,排除队列满的问题。

3.查看服务 A 和服务 B 是否开启 tcp_tw_recycle 和 tcp_timestamps

服务 A 所在的 node 节点未开启，服务 B 所在的物理机已开启；

k8s 环境的 node 节点都已经关闭了 tcp_timestamps ，相当于 per-host 的 PAWS 机制未开启。

4.抓包分析

• 从服务端抓包 看到很多重传的 syn 包，源地址都是服务 A 所在的 node 节点

• 客户端抓包 现象一致，服务 A 一直重传给服务 B SYN 包

问题

1. 在客户端未开启 tcp_timestamps 的情况下，为何服务端还会出现 time stamp 丢包？
2. 丢包有没有可能其它问题导致？

[motecshine]

可能 linux contrack 锅，

[motecshine]

https://kubernetes.io/docs/tasks/administer-cluster/nodelocaldns/

[zhoudaiyu]

contrack 溢出？看看系统日志 /var/log/message

[jarry118]

@zhoudaiyu
@motecshine contrack 排查过，没有超过设置的最大值，如果是 contrack 问题，也不会导致 time stamp 丢包，现象确实也是 syn 丢包

[jarry118]

@motecshine 调用服务 B ，没走 dns 解析

[zhoudaiyu]

LZ 查出来了吗？

[jarry118]

@zhoudaiyu 还没有，周一再看

[jarry118]

@zhoudaiyu @motecshine 问题已解决，现在的方案是把服务 B 所在的物理机上关闭 tcp_tw_recycle ，超时未出现了；疑惑的地方还是客户端已经关闭了 tcp_timestamps ，为何服务端还是会针对时间戳进行校验？

[zhoudaiyu]

@jarry118 #8 按理来说 tcp_tw_recycle 和 tcp_timestamps 都开启后才会触发 pert-host paws ，确实有点奇怪。我没有想到啥别的原因，期待后续 lz 的分析。

[motecshine]

@jarry118 额 这个在 内核 4.x 已经移除了，确实会影响。我们也遇到这个问题，按文档里说 timestamp 和 recycle 同时开启 才会影响 nat 的握手，