Nginx 长连接被中间设备掐断排查:从抓包 RST 到 keepalive_timeout 调优

    发布时间:2026-09-29 04:30 更新时间:2026-09-29 04:30 阅读量:9

    很多站长都遇到过这种怪事:Nginx 反代后端,业务平时正常,但每隔几分钟第一批请求必然报 502,或者应用日志里冒出一堆 Connection reset by peer。把 tcpdump 抓下来一看,空闲连接上确实收到了 RST,可这个 RST 既不是 Nginx 发的,也不像后端主动断的。这类问题的本质,是长连接在某一个中间环节被提前回收了,而两端都以为自己还握着一条可用连接。

    下面按「先确认现象、再分层定位、最后调参」的顺序走一遍,帮你找到长连接究竟在哪一跳失效。

    一、先分清两种 keepalive:谁在维持哪一段连接

    讨论这个问题前必须先拆清楚拓扑。一次用户请求通常经过两段独立的长连接:客户端到 Nginx 是一段,Nginx 到后端 upstream 是另一段。两段各有各的保活机制,出问题的往往是 upstream 这一段。

    Nginx 侧的 keepalive_timeout 管的是「连接空闲多久后由 Nginx 主动关闭」。upstream 块里的 keepalive 指令管的则是「每个 worker 向后端保留多少条空闲长连接用于复用」,两者不是一回事。很多人只调了前者,却没配后者,结果连接根本没被复用,问题自然还在。

    upstream backend_app {
        server 10.0.0.21:8080;
        server 10.0.0.22:8080;
        keepalive 64;              # 每个 worker 保留的空闲长连接数
        keepalive_timeout 60s;     # 空闲超过 60s 就关掉这条 upstream 连接
        keepalive_requests 1000;   # 单条连接最多复用多少次请求
    }
    
    server {
        location /api/ {
            proxy_http_version 1.1;
            proxy_set_header Connection "";   # 清掉 close,才可能复用
            proxy_pass http://backend_app;
        }
    }

    注意 proxy_set_header Connection ""; 这一行。如果这里写成了 Connection close,或者干脆没写,Nginx 默认会按 HTTP/1.0 风格发 close,upstream 长连接直接失效,后面的 keepalive 配置全是摆设。这是最常见的一处配置坑。

    二、抓包确认 RST 是谁发的,定位失效的那一跳

    怀疑连接被中间设备掐断时,最有效的做法是在两端各抓一次包,对比 RST 出现的位置。假设 Nginx 在 10.0.0.10,后端在 10.0.0.21,端口 8080。

    # 在 Nginx 机器上抓与后端的 8080 流量,只存 RST 和握手包
    sudo tcpdump -i eth0 -nn -s0 'host 10.0.0.21 and port 8080 and (tcp[tcpflags] & tcp-rst != 0)' -w /tmp/rst_nginx.pcap
    
    

    在后端机器上抓同样的流量,用于对比

    sudo tcpdump -i eth0 -nn -s0 'host 10.0.0.10 and port 8080 and (tcp[tcpflags] & tcp-rst != 0)' -w /tmp/rst_backend.pcap

    看现有连接的空闲情况,关注 timer 那一列

    ss -tnpo state established '( dport = :8080 )' | head -20

    判断逻辑很直接:如果 RST 只在 Nginx 侧抓到、后端侧抓不到,说明 RST 是两者之间的设备(防火墙、负载均衡、云安全组、NAT 网关)伪造或注入的;如果两侧都抓到,那多半是后端应用或操作系统在关连接。

    再看 ss -tnpo 输出的 timer 字段。显示 timer:(keepalive, ...) 说明这条连接启用了 TCP keepalive 探测;显示 timer:(on, ...) 之类则是在等应用层超时。如果一条连接长时间没有 timer 变化却突然消失,基本可以锁定是中间设备按自己的空闲表把它清了,而且它清的时候只单方面丢弃会话,不通知两端——等 Nginx 下次复用这条「僵尸连接」发请求,就会收到 RST 或直接超时。

    还需留意公有云环境:SLB/ELB 类产品普遍有「连接空闲超时」的时间设定,常见是几百秒量级,具体数值以各家官方文档为准,不同规格可能不同。后端应用的连接池、数据库中间件也有各自的空闲回收时间。任何一个环节的时间比 Nginx 的 keepalive_timeout 短,这条连接就会在 Nginx 认为可用时被对方悄悄回收。

    三、参数怎么调:让 Nginx 先于中间设备关连接

    调参的核心思路只有一句话:让 Nginx 的 upstream 空闲超时,明确小于链路上任何一环的空闲回收时间。这样连接永远是被 Nginx 主动、干净地关闭,而不是被第三方粗暴掐断。

    假设云负载均衡的空闲超时是 300 秒,后端应用连接池空闲回收是 120 秒,那么 Nginx 侧就应把 upstream 连接的复用上限压到 60 秒以内,留出足够余量。

    upstream backend_app {
        server 10.0.0.21:8080 max_fails=2 fail_timeout=10s;
        keepalive 32;
        keepalive_timeout 30s;      # 小于后端与中间设备的空闲回收时间
        keepalive_requests 500;
    }

    除了应用层,还可以启用 TCP 层的 keepalive 作为兜底,让内核定期发探测包,一方面保活,另一方面能更快发现对端已经消失。相关内核参数在 /etc/sysctl.conf 中调整,改完执行 sysctl -p 生效。

    # 连接空闲 60 秒后开始探测,每 10 秒一次,连续 3 次无响应判定断开
    net.ipv4.tcp_keepalive_time = 60
    net.ipv4.tcp_keepalive_intvl = 10
    net.ipv4.tcp_keepalive_probes = 3
    
    

    生效并核对

    sudo sysctl -p sysctl net.ipv4.tcp_keepalive_time net.ipv4.tcp_keepalive_intvl net.ipv4.tcp_keepalive_probes

    这里要提醒一句:TCP keepalive 的探测周期受内核参数控制,对已经建立的连接修改 sysctl 不会立刻作用于旧连接,通常需要重建连接才生效,具体行为以你所用内核版本的官方文档为准。所以更稳妥的顺序是先在 Nginx 配置层把 keepalive_timeout 调小并 reload,再考虑内核层兜底。

    另外别忘了 keepalive_requests。如果它设得过大,一条连接被复用成千上万次,一旦某个环节出问题,影响面会集中爆发。一般几百到一千之间比较常见,可按压测结果调整。调整后建议用 nginx -t 校验语法,再 nginx -s reload 平滑生效,reload 期间旧连接会按原有配置自然收尾。

    四、小结与下一步

    长连接被中间设备掐断,症状是 RST 或偶发 502,根因却分散在 Nginx、后端应用、防火墙/NAT、云负载均衡多个环节。排查顺序建议固定为:抓包确认 RST 出现在哪一侧 → 用 ss -tnpo 观察连接 timer 与空闲时长 → 列出链路上所有可能的空闲超时值 → 把 Nginx 的 keepalive_timeout 压到最小那个值以下 → 必要时再叠加 TCP keepalive 兜底。记住配置 upstream 长连接时那三件套:proxy_http_version 1.1、proxy_set_header Connection ""、以及 upstream 里的 keepalive,缺一个都会让保活配置失去意义。

    继续阅读

    📑 📅
    Linux SYN_RECV 堆积排查:半连接队列与 tcp_syncookies 2026-09-29
    Docker容器DNS解析异常:127.0.0.11与自定义网络排查 2026-09-28
    Redis内存碎片率异常:used_memory与RSS差在哪 2026-09-28
    MySQL 8 临时表爆满排查:内存临时表与磁盘落盘定位 2026-09-28
    Nginx 缓存代理写满磁盘:max_size 与缓存目录清理实战 2026-09-28
    Docker 容器内 curl 通但宿主不通:端口映射与 iptables 排查 2026-09-29
    MySQL慢查询Rows_examined远大于Rows_sent:回表与覆盖索引优化 2026-09-29
    PostgreSQL备库查询被长事务阻塞排查与配置取舍 2026-09-29
    MySQL 8 表被锁等待排查:从 INNODB_TRX 到阻塞源头 2026-09-30
    Nginx 与后端 HTTP/2 与 HTTP/1.1 混用排查:协议协商与日志字段 2026-09-30