发布时间:2026-10-01 12:37 更新时间:2026-10-01 12:37 阅读量:6
机房里的服务器跑得好好的,某天登录上去敲了一条 cat /proc/mdstat,发现阵列名字后面挂着 [U_] 或者 [2/3] 这样的标记,说明 RAID 已经降级(degraded)运行。此时数据大概率还在,但冗余已经丢失,再坏一块盘就可能整体不可用。这篇文章按实际排障顺序,把 mdadm 的状态含义、坏盘确认、替换操作和重建进度观察讲清楚,新手照着做,老手也能对着检查自己的判断习惯。
Linux 软 RAID 由 mdadm 管理,内核态信息最直观的来源是 /proc/mdstat。先看设备名、成员盘数量和状态标记:
cat /proc/mdstat
mdadm --detail /dev/md0
mdadm --detail 输出里几个字段值得盯住:State 若是 clean, degraded 表示缺盘但数据可用;Active Devices 与 Raid Devices 的数量差就是缺的盘数;Failed Devices 会列出被判失败的成员;Working Devices 则是仍可用的盘。阵列成员列表里每块盘的 state 若是 removed 或 faulty,基本可以确认这块盘已经出局。
需要提醒的是,RAID5 与 RAID6 的容错能力不同:RAID5 掉一块盘后没有冗余,RAID6 可以再撑一块。降级状态下不要重启、不要做写密集的批量操作,先把替换盘准备好。另外,/proc/mdstat 显示的 [U_] 只是成员槽位示意,具体哪块盘对应哪个槽位,要看 mdadm --detail 里的设备编号。
确认是哪块物理盘出问题,不能只看阵列状态,还要结合内核日志和磁盘自身信息。SMART 是常用的参考手段,但不同厂商的字段含义略有差异,具体以官方文档和实际环境为准。
dmesg -T | grep -i -E "md/raid|ata|scsi|I/O error"
smartctl -H /dev/sdb
smartctl -a /dev/sdb | grep -i -E "Reallocated|Pending|Uncorrectable"
如果日志里反复出现某块盘的 I/O error、medium error,或者 SMART 的 Reallocated_Sector_Ct、Current_Pending_Sector 明显增长,这块盘就值得优先怀疑。换盘前先做两件事:一是确认阵列里已经没有其他异常盘,二是把该盘从阵列中标记为失败并移除。
mdadm /dev/md0 --fail /dev/sdb1
mdadm /dev/md0 --remove /dev/sdb1
物理上换好新盘后,先分区。若原阵列成员是分区(如 sdb1),新盘也用 fdisk 或 parted 建同样大小或更大的分区,并确保分区类型标记为 fd(Linux raid autodetect),再用 --add 加入:
mdadm /dev/md0 --add /dev/sdb1
有一点容易踩坑:如果原阵列成员是整盘(如 /dev/sdb 不带数字),新盘就直接加整盘,不要多建一层分区,否则槽位对应关系会乱。加盘后阵列会自动开始 rebuild,此时 /proc/mdstat 会出现 [=>......] 之类的进度条和 recovery 字样。
重建期间最忌频繁重启和大量写入。观察进度用下面这条就够:
cat /proc/mdstat
watch -n 5 'cat /proc/mdstat'
进度条上的百分比、finish 估算时间会随负载波动,属于正常现象。若重建速度一直为 0,先看是不是被 /proc/sys/dev/raid/speed_limit_min 和 speed_limit_max 限制了,这两个值控制重建时可用的带宽下限和上限。生产环境可在业务低峰期适当调高上限,但不要无脑拉满,否则正常业务 IO 会被挤压。
几个常见误判值得单独说:一是把 clean, degraded 误读成阵列坏了;二是重建过程中看到 mismatch_cnt 非零就以为数据损坏,实际上它更多反映的是校验差异计数,重建完成后通常会归零,具体含义以 mdadm 官方文档为准;三是刚 --add 就急着 --detail,此时状态可能还是 spare rebuilding,属正常过渡。重建完成后再跑一遍 mdadm --detail /dev/md0,确认 State 回到 clean、Failed Devices 为 0,才算真正收工。
最后补一句运维习惯:把 mdadm --detail 或 /proc/mdstat 的检查纳入日常巡检,配合监控告警,比事后救火从容得多。RAID 只是冗余,不是备份,重建完成后仍要确认重要数据有独立备份可用。阵列恢复这件事,慢一点、稳一点,比抢时间更值钱。
| 📑 | 📅 |
|---|---|
| PostgreSQL报too many clients但连接数没满:pgbouncer口径梳理 | 2026-10-01 |
| 容器OOM Kill但宿主内存充足:cgroup统计口径与memory.max排查 | 2026-10-01 |
| Nginx日志499与502混合:按时间窗口对齐后端日志定位 | 2026-10-01 |
| Linux磁盘满了但df与du不一致:挂载点遮蔽排查 | 2026-09-30 |
| Redis连接数暴涨却无慢命令:连接泄漏定位实战 | 2026-09-30 |
| Docker容器时区正确日志时间戳却偏移:三层对齐排查 | 2026-10-01 |
| 企业建站服务器配置怎么选:按访问量与程序类型估算 | 2026-10-02 |
| 1核2G能撑多少访问量:WordPress与自研程序的瓶颈顺序 | 2026-10-02 |
| 企业官网选云服务器还是虚拟主机:并发、扩展、维护成本对照 | 2026-10-02 |
| 云服务器带宽选固定还是按流量计费:企业站成本测算思路 | 2026-10-02 |