容器OOM Kill但宿主内存充足:cgroup统计口径与memory.max排查

    发布时间:2026-10-01 04:31 更新时间:2026-10-01 04:31 阅读量:10

    线上经常出现这样一幕:容器里的进程突然消失,日志里只留下一行 Killed,而登到宿主机上执行 free -h,available 还剩好几个 G。第一反应是「内存明明够,为什么杀我」。这种情况下,绝大多数原因不是宿主真的缺内存,而是这个容器自己的 cgroup 内存账本被记满了。要查清这件事,先得搞清楚你手上的机器用的是 cgroup v1 还是 v2,两者的统计口径并不一样。

    先确认 cgroup 版本与容器所属的 cgroup 路径

    cgroup v1 把 memory、cpu、blkio 等子系统分开挂载成多棵树,v2 则统一成单一层级。不同发行版、不同内核参数、不同容器运行时(Docker、containerd、systemd 驱动)落点都不同,所以第一步永远是先看现场,不要凭印象。

    # 看挂载形态:出现 cgroup2 就是 v2,出现多行 cgroup 且带 memory 等子系统是 v1
    mount | grep cgroup
    
    

    更直接的方式

    stat -fc %T /sys/fs/cgroup

    输出 cgroup2fs => v2;输出 tmpfs => v1

    拿到容器主进程 PID 后,查它落在哪个 cgroup

    PID=$(docker inspect -f '{{.State.Pid}}' myapp) cat /proc/$PID/cgroup

    v1 环境下通常会看到 /sys/fs/cgroup/memory/docker/<容器ID> 这样的路径,v2 则是 /sys/fs/cgroup/system.slice/docker-<容器ID>.scope 或 /sys/fs/cgroup/.../docker-<容器ID>.scope,具体以实际环境为准。拿到路径后,后面的所有指标都从那个目录里读,别去读根目录。

    统计口径差异:v1 的 limit_in_bytes 与 v2 的 memory.max

    v1 的关键文件是 memory.limit_in_bytes、memory.usage_in_bytes、memory.stat、memory.oom_control;v2 对应的是 memory.max、memory.current、memory.stat、memory.events。名字换了,更重要的是「限制值到底按什么口径算」。

    两者都会把 page cache(文件页)算进 memory.current / usage_in_bytes,但触发回收与判定 OOM 时,内核会优先回收干净的文件页,只有匿名内存(进程堆栈、malloc 出来的部分)加不可回收页逼近上限时才会动手杀进程。所以你会看到一个很迷惑的现象:memory.current 显示 1.9G、memory.max 是 2G,看着「快满了」,但真正吃内存的匿名页可能只有 1.2G,剩下是缓存。反过来,如果 memory.stat 里 anon 一项本身就接近 max,那才是真的危险。

    另一个高频坑是 cgroup v1 下 Docker 默认还会给容器设置 memory.memsw.limit_in_bytes(内存+swap 合计),如果宿主开了 swap 而 memsw 没跟着放大,容器可能在 swap 还没用满时就被判定超限。v2 把 swap 单独拆成 memory.swap.max,语义更清楚,但也意味着只设 memory.max 时,swap 是否可用要看 memory.swap.max 的取值。

    # cgroup v1 排查
    CG=/sys/fs/cgroup/memory/docker/<容器ID>
    cat $CG/memory.limit_in_bytes $CG/memory.usage_in_bytes
    cat $CG/memory.memsw.limit_in_bytes
    awk '/^(anon|file|rss|cache) /{print}' $CG/memory.stat
    
    

    cgroup v2 排查

    CG=/sys/fs/cgroup/system.slice/docker-<容器ID>.scope cat $CG/memory.max $CG/memory.current $CG/memory.swap.max awk '/^(anon|file|rss|file_dirty|inactive_file) /{print}' $CG/memory.stat cat $CG/memory.events

    memory.events 里的 oom 与 oom_kill 计数是判断「到底有没有真的因内存被杀」的硬证据;v1 下则要看 memory.oom_control 和 dmesg 里的 cgroup 相关记录。v2 的 memory.events 还会给出 max 计数,表示内存触及上限被回收的次数,次数持续上涨说明容器长期贴着天花板跑。

    memory.max 配得对不对:从现象回到配置

    确认是 cgroup 层超限后,再看配置来源。Docker 用 --memory 写入的就是 memory.max(v1 下是 limit_in_bytes),Compose 里是 mem_limit,Kubernetes 里是 Pod/Container 的 resources.limits.memory。这里最容易犯的错是只按「应用稳态内存」设 limit,没给峰值和语言运行时的额外开销留余量。

    以 JVM 为例,堆只是其中一部分,元空间、线程栈、JIT 代码缓存、直接内存(DirectByteBuffer)都不在 -Xmx 里。容器 limit 设成 2G、-Xmx 也设成 2G,几乎必然被 OOM Kill。Java 10 以后可以用 -XX:MaxRAMPercentage 让 JVM 感知 cgroup 限制按比例分配,但要确认运行时是否真的读到了 cgroup 值。Node.js 的 --max-old-space-size 同理,只控老生代,不控 Buffer 和原生内存。

    排查顺序建议固定下来:先用 memory.events / dmesg 确认是 cgroup OOM 而不是宿主全局 OOM;再看 memory.stat 的 anon 与 file 占比,判断是真实匿名内存增长还是缓存被撑大;最后对照 memory.max 的配置来源,检查 limit 与应用堆参数是否打架。如果发现 anon 在一段时间内单调上涨、回收后也不回落,那更像是进程本身的内存泄漏,需要结合堆快照继续查,而不是简单把 limit 调大。

    临时验证时可以适当放宽 limit 观察趋势,但生产环境不建议靠无限放大限制来「解决」问题,那只是把爆炸点从容器挪到宿主,反而更容易牵连同机其他服务。确认是应用侧泄漏的,还是要回到代码和连接池配置上处理。cgroup 版本与具体路径在不同发行版、不同容器运行时下会有差异,实际操作请以现场挂载情况和官方文档为准。

    继续阅读

    📑 📅
    Nginx日志499与502混合:按时间窗口对齐后端日志定位 2026-10-01
    Linux磁盘满了但df与du不一致:挂载点遮蔽排查 2026-09-30
    Redis连接数暴涨却无慢命令:连接泄漏定位实战 2026-09-30
    MySQL 8 慢查询日志查不到 SQL:digest 归并与真实语句还原 2026-09-30
    Nginx 与后端 POST 请求体丢失排查:缓冲与转发链路 2026-09-30
    PostgreSQL报too many clients但连接数没满:pgbouncer口径梳理 2026-10-01
    Linux RAID 降级与重建排查:mdadm 实战 2026-10-01
    Docker容器时区正确日志时间戳却偏移:三层对齐排查 2026-10-01
    企业建站服务器配置怎么选:按访问量与程序类型估算 2026-10-02
    1核2G能撑多少访问量:WordPress与自研程序的瓶颈顺序 2026-10-02