发布时间:2026-09-30 04:31 更新时间:2026-09-30 04:31 阅读量:12
不少人在容器里遇到过这种场景:应用报 Too many open files,进容器执行 ulimit -n 却发现只有 1024,于是去宿主 /etc/security/limits.conf 里加了一行 * soft nofile 65535,重启容器后依旧没变。问题不在“配置写错了”,而在于容器里的 nofile 根本不是从 limits.conf 读来的——它由一条从宿主内核到容器运行时再到进程的继承链决定,中间任何一环都可能把值覆盖掉。
下面按“先定位当前值、再顺着链路逐层排查”的顺序讲,命令都可以直接复制到测试机验证。
排查第一步永远是拿数据。在宿主机上确认 daemon 进程自己的限制,再进容器看实际值,两边一对比就知道问题出在哪一层。
# 宿主机:查看 docker daemon 进程的句柄限制
cat /proc/$(pidof dockerd)/limits | grep -i 'open files'
查看当前 shell 的限制
ulimit -Sn # soft
ulimit -Hn # hard
进入容器查看(以 nginx 为例)
docker exec -it nginx-container sh -c 'ulimit -Sn; ulimit -Hn; cat /proc/1/limits | grep -i "open files"'
直接看容器主进程的 limits
docker inspect -f '{{.HostConfig.Ulimits}}' nginx-container如果 docker inspect 里的 Ulimits 是空数组,说明创建容器时没有显式指定,那容器内进程的 nofile 就来自运行时默认值(Docker 默认通常为 1048576,但不同版本与发行版打包方式可能不同,以实际环境为准)。如果 daemon 进程的 limits 本身就只有 1024,那么无论怎么加 --ulimit,只要不重启 daemon 并抬高它的上限,容器里的 hard limit 也上不去——因为子进程的 hard limit 不能超过父进程的 hard limit。
把整条链路摊开看,从上游到下游大致是这么几层,后面的会覆盖前面的:
1)内核与 PAM 层:/etc/security/limits.conf 以及 /etc/security/limits.d/*.conf 由 PAM 的 pam_limits.so 在登录会话时应用。它只对“通过 PAM 登录的会话”生效,比如 SSH 登录、su、login。ssh user@host 会走 PAM,值能生效;但 systemd 拉起的服务默认不走 PAM 登录流程,所以 limits.conf 常常对它无效。
2)systemd 层:docker 服务由 systemd 管理,它的限制来自 unit 文件里的 LimitNOFILE=,没写则继承 systemd 的默认值。这是 limits.conf 改了不生效的最常见原因。
3)Docker daemon 层:daemon 进程自身的 limits 决定了它能为容器设置的 hard limit 上限。daemon 可以配置 default-ulimits,作为所有容器的默认值。
4)容器创建层:docker run --ulimit nofile=soft:hard(或 Compose 的 ulimits:)显式指定,优先级高于 daemon 的 default-ulimits。
5)容器内进程层:进程启动后还可以自己调 setrlimit(),但只能把 soft 提到不超过 hard,不能突破 hard 上限。所以容器里 ulimit -n 65535 报 “Operation not permitted”,通常是 hard limit 没放开。
一句话总结:容器内的 hard limit 受限于 daemon 进程的 hard limit,daemon 的限制又受限于 systemd;limits.conf 只覆盖走 PAM 的登录会话,不覆盖 systemd 服务。
推荐顺序是自下而上:先抬 systemd 里 docker 的硬上限,再决定用 daemon 默认值还是每个容器单独指定。
先改 systemd unit 的 drop-in,避免直接编辑厂商自带的 docker.service:
sudo mkdir -p /etc/systemd/system/docker.service.d
sudo tee /etc/systemd/system/docker.service.d/limits.conf <<'EOF'
[Service]
LimitNOFILE=1048576
LimitNPROC=1048576
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
验证 daemon 进程的限制已抬高
cat /proc/$(pidof dockerd)/limits | grep -i 'open files'如果希望所有容器统一带上,可以在 /etc/docker/daemon.json 里配置默认 ulimit(注意这是 daemon 级别,改动后要重启 docker):
{
"default-ulimits": {
"nofile": {
"Name": "nofile",
"Soft": 65535,
"Hard": 65535
},
"nproc": {
"Name": "nproc",
"Soft": 65535,
"Hard": 65535
}
}
}只想给单个容器放开时,用 --ulimit 覆盖默认值,soft 与 hard 用冒号分隔:
docker run -d --name web \
--ulimit nofile=65535:65535 \
-p 80:80 nginx:stable
验证容器内实际值
docker exec web sh -c 'ulimit -Sn; ulimit -Hn'
docker inspect -f '{{.HostConfig.Ulimits}}' web用 Compose 的话写法对应 ulimits: nofile: {soft: 65535, hard: 65535}。改完记得先 docker inspect 确认 HostConfig 里的值,再进容器用 ulimit 复核,两个都对上才算落地。
改了 limits.conf 但没重新登录:PAM 只在会话建立时应用,老会话不受影响,需要重新 SSH 登录验证。
systemd 服务读不到 limits.conf:这是设计使然,不是 bug,改用 unit 里的 LimitNOFILE 或 systemctl set-property docker.service LimitNOFILE=1048576(后者会生成 drop-in,效果等价)。
只调 soft 不调 hard:应用自己 setrlimit 想再抬高时会失败,建议 soft/hard 一起给。
误以为 nofile 就是全部:句柄耗尽也可能是 fd 泄漏或 fs.file-max 内核总量吃紧,容器内 ls /proc/<pid>/fd | wc -l 数一下实际占用,比盲目加限制更有意义。
排查这类问题的思路其实很固定:先用 /proc/<pid>/limits 把每一层的真实值量出来,再对照“systemd → daemon → 容器创建 → 进程”的覆盖顺序找断点,最后改一层验一层。容器里的限制从来不是某一个文件说了算,而是整条继承链共同决定的结果。
| 📑 | 📅 |
|---|---|
| Nginx 与后端 HTTP/2 与 HTTP/1.1 混用排查:协议协商与日志字段 | 2026-09-30 |
| MySQL 8 表被锁等待排查:从 INNODB_TRX 到阻塞源头 | 2026-09-30 |
| PostgreSQL备库查询被长事务阻塞排查与配置取舍 | 2026-09-29 |
| MySQL慢查询Rows_examined远大于Rows_sent:回表与覆盖索引优化 | 2026-09-29 |
| Docker 容器内 curl 通但宿主不通:端口映射与 iptables 排查 | 2026-09-29 |
| PostgreSQL慢查询定位:pg_stat_statements安装与top SQL排序实战 | 2026-09-30 |
| nohup 与 systemd-run 后台任务取舍:SSH 断开进程被杀排查 | 2026-09-30 |
| Nginx 与后端 POST 请求体丢失排查:缓冲与转发链路 | 2026-09-30 |
| MySQL 8 慢查询日志查不到 SQL:digest 归并与真实语句还原 | 2026-09-30 |
| Redis连接数暴涨却无慢命令:连接泄漏定位实战 | 2026-09-30 |