Linux TCP backlog 溢出排查:ss -lnt 的 Send-Q 怎么看

    发布时间:2026-09-28 12:30 更新时间:2026-09-28 12:30 阅读量:4

    压测时遇到一种很典型的现象:客户端报连接超时或握手失败,但翻遍 nginx 的 error.log 和 access.log 什么都没有,服务端看起来完全没收到请求。如果 CPU、内存、带宽都不紧张,服务进程也没有崩溃,那大概率问题不在应用层,而是连接在进入应用之前就被内核丢掉了。这条路径上的关键角色就是 TCP backlog,而 ss -lnt 里的 Send-Q 字段正好能帮你判断队列有没有溢出。

    一、连接从内核到 nginx:两个队列的分工

    一个 TCP 连接被 accept 之前,要经过内核的两道队列。第一道是半连接队列(SYN 队列),客户端发来 SYN,服务端回 SYN+ACK 但还没收到最终 ACK 时,这条连接就待在这里,队列长度上限由内核参数 net.ipv4.tcp_max_syn_backlog 控制。第二道是全连接队列(accept 队列),三次握手已完成、等待应用调用 accept 取走的连接排在这里,它的上限取 应用传入的 backlog 与内核 somaxconn 两者中的较小值。

    nginx 在 listen 指令上可以显式指定 backlog,这个值就是应用侧传入的 backlog。内核参数 net.core.somaxconn 是系统级上限,两者谁小谁生效。所以只调 nginx 不调内核,或者只调内核不改 nginx,都可能白忙一场。

    # 查看当前内核上限
    sysctl net.core.somaxconn net.ipv4.tcp_max_syn_backlog
    
    

    查看监听套接字及其队列情况

    ss -lnt

    输出里每一行对应一个监听端口,Recv-Q 表示当前已完成握手、还没被 accept 的连接数,Send-Q 表示这个监听套接字的队列上限。注意这里的 Send-Q 对监听套接字而言不是发送缓冲区,而是 backlog 上限,理解成「队列容量」更直观。当 Recv-Q 持续接近甚至等于 Send-Q,说明 accept 队列快满了。

    二、Recv-Q 逼近 Send-Q 意味着什么

    正常情况下,nginx 的 accept 速度够快,Recv-Q 大部分时间是 0,偶尔出现个位数。如果压测时你反复执行 ss -lnt,看到某个端口的 Recv-Q 一直顶在 Send-Q 附近,甚至压测过程中出现连接超时、客户端重试,那基本可以确认是 accept 队列溢出。

    为什么服务端日志会空白?因为溢出的连接在内核层就被处理掉了:全连接队列满时,新完成握手的连接可能被丢弃(具体行为受 tcp_abort_on_overflow 影响),根本没有机会交给 nginx 进程,自然也就不会产生任何 access 日志。客户端看到的是超时或 reset,服务端则安静得像什么都没发生,这正是排查时最容易走偏的地方。

    还有一个容易忽略的细节:如果只看到 SYN 队列相关的计数异常,比如 netstat -s 里 SYN 相关的丢弃统计增长,那瓶颈可能在半连接队列,方向是 tcp_max_syn_backlog;如果全连接队列溢出,通常会伴随 netstat -s | grep -i listen 之类的计数增长。用下面这组命令可以同时观察队列与统计:

    # 实时观察监听队列,1 秒刷新一次
    watch -n 1 "ss -lnt"
    
    

    查看 TCP 层丢包与队列溢出统计

    netstat -s | grep -iE 'listen|syn|overflow|drop'

    查看某个监听端口的详细 socket 信息

    ss -lntp sport = :80

    不同内核版本、不同发行版对这些统计项的命名和呈现方式有差异,字段以 man netstat 和实际环境为准。

    三、调整顺序与避坑要点

    确认是队列问题后,调整要成对进行。先看 nginx 的 listen 配置,再对内核参数做匹配。常见做法是把 somaxconn 调到与业务并发匹配的量级,nginx 的 backlog 不要超过它,否则多出来的部分不生效。

    server {
        listen 80 backlog=1024;
        server_name example.com;
    
        location / {
            proxy_pass http://127.0.0.1:8080;
        }
    }

    内核侧可以通过 sysctl 持久化,写到 /etc/sysctl.d/ 下的配置文件里,避免重启丢失:

    # 临时生效
    sysctl -w net.core.somaxconn=1024
    sysctl -w net.ipv4.tcp_max_syn_backlog=2048
    
    

    持久化

    cat >> /etc/sysctl.d/99-tcp-backlog.conf <<'EOF' net.core.somaxconn = 1024 net.ipv4.tcp_max_syn_backlog = 2048 EOF sysctl --system

    需要提醒几点。第一,盲目把 backlog 调大不是万能药,如果 nginx 的 worker 进程被慢请求或阻塞操作占住,accept 队列再长也只是把连接堆在内存里,最终仍会超时,根因可能是 worker_connections、worker_processes 或上游响应慢。第二,修改 somaxconn 后要重启监听进程,因为 backlog 是在 listen 时传入的,热改内核参数不会改变已有监听套接字的队列上限。第三,tcp_abort_on_overflow 默认是 0,队列满时行为相对温和,改成 1 会让对端更快收到 reset,是否开启要结合业务重试策略评估,别为了「快速失败」引入新的问题。

    排查顺序建议固定下来:先用 ss -lnt 看 Recv-Q 与 Send-Q 的关系,再用 netstat -s 确认是否有队列溢出计数,然后核对 nginx listen backlog 与 somaxconn 的取值是否匹配,最后才考虑是否真的需要扩容。把这条链路走顺,压测时「连接超时但服务端无日志」这类问题就不再是玄学,多数情况下几分钟内就能定位到是队列容量、应用 accept 速度还是上游阻塞的问题。

    继续阅读

    📑 📅
    Docker 容器内 cron 与宿主 crontab 取舍:重复执行与时区错乱排查 2026-09-28
    MySQL隐形变慢排查:buffer pool命中率与磁盘临时表 2026-09-28
    Linux僵尸进程排查:ps状态Z到父进程不回收定位 2026-09-28
    PostgreSQL连接池选型与pgbouncer事务池踩坑 2026-09-27
    Docker 容器 PID 1 与信号处理:docker stop 超时强制 kill 的成因与写法 2026-09-27
    Nginx 缓存代理写满磁盘:max_size 与缓存目录清理实战 2026-09-28
    MySQL 8 临时表爆满排查:内存临时表与磁盘落盘定位 2026-09-28
    Redis内存碎片率异常:used_memory与RSS差在哪 2026-09-28
    Docker容器DNS解析异常:127.0.0.11与自定义网络排查 2026-09-28
    Linux SYN_RECV 堆积排查:半连接队列与 tcp_syncookies 2026-09-29