mdadm 软 raid 相关 

Last Update: 2023-12-23

目录

创建与销毁 raid

mdadm 命令常用参数:

创建 raid

raid1 创建:

raid10 创建:

raid5 创建: (最少需要 3 个设备,允许 1 个设备损坏)

raid6 创建: (最少需要 4 个设备,允许 2 个设备损坏)

创建完成之后,扫描所有的 raid 并把配置存入配置文件中:

cat /proc/mdstat 查看阵列状态。

mdadm --examine /dev/sda3 确认一个设备是否是 raid 的一部分。

raid 停止与激活:

销毁 raid

假设,现在需要销毁 /dev/md1 这个 raid array。现在它已经被取消挂载。

  1. mdadm --stop /dev/md1 停止这个阵列。
  2. /etc/mdadm.conf 中删除对应的配置行。
  3. mdadm --remove /dev/md1 删除 raid 设备。

如果第三条命令报错,说找不到要删除的设备,类似这样:

mdadm: error opening md1: No such file or directory

执行 mdadm --zero-superblock {/dev/<raid-device-a-partition> /dev/<raid-device-b-partition> ...} 直接删除设备分区上的超级块 (块里保存了 raid 信息)。

最后执行 cat /proc/mdstat 确认一下 /dev/md1 是否已经消失。

维护 raid

编辑 /etc/mdadm/mdadm.conf 之后,要执行 sudo update-initramfs -u 才能让新的配置文件生效,如果有多个内核,执行 sudo update-initramfs -k all -u

迁移 raid

mdadm.conf 文件还在

复制旧机器的 mdadm.conf 文件到新机器上,然后把旧机器上的挂载配置迁移到新机器上即可。

mdadm.conf 文件丢失

把旧 raid 设备导入新机器后,需要重新使用命令将所有设备组装成一个名为 /dev/md[0-127] 的虚拟设备。

然后执行 mdadm --detail --scan >> /etc/mdadm.conf (RedHat) 或者 mdadm --detail --scan >> /etc/mdadm/mdadm.conf (Debian) 重新生成配置文件。

如果不重新生成配置文件,那么在系统重启之后还要再重新组装一遍设备。

假设用了四个盘,需要执行以下命令:

mdadm --assemble --scan --verbose /dev/md<number> /dev/<device-a-partition> /dev/<device-b-partition> /dev/<device-c-partition> /dev/<device-d-partition>

raid 序号与名字

每个 raid array 都对应一个 /dev/md[0-127] 条目,只要 raid 存在,这个条目必然存在。

更改 raid 设备序号

现有 raid1 设备 /dev/md127 要将其改为 /dev/md0。

  1. 移除 /dev/md127:

    root@debian11:~# mdadm --stop /dev/md127
    mdadm: stopped /dev/md127
    
  2. 用新序号重新组装 raid1:

    # 如果 metadata 版本为 1.0 或更高版本,使用以下命令:
    root@debian11:~# mdadm --assemble /dev/md0 /dev/sd{b,c}1
    mdadm: /dev/md0 has been started with 2 drives.
    
    # 如果 metadata 版本为 0.90 (这个版本的 mdadm 允许内核自动组装) 或者更早,使用以下命令:
    root@debian11:~# mdadm --assemble /dev/md0 --update=super-minor /dev/sd[bc]1
    
  3. 最后 mdadm --detail --scan >> /etc/mdadm.conf (RedHat) 或者 mdadm --detail --scan >> /etc/mdadm/mdadm.conf (Debian) 保存配置。

更改 raid name

现有 raid1 设备:

root@debian11:~# mdadm --detail --scan /dev/md0
ARRAY /dev/md0 metadata=1.2 name=debian11:0 UUID=3c59bf1a:aa2ed094:fe871a27:59f491b7
root@debian11:~# mdadm -D /dev/md0
/dev/md0:
           Version : 1.2
     Creation Time : Tue Oct 19 20:05:20 2021
        Raid Level : raid1
        Array Size : 14054400 (13.40 GiB 14.39 GB)
     Used Dev Size : 14054400 (13.40 GiB 14.39 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Mar 20 22:00:33 2022
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : debian11:0  (local to host debian11)
              UUID : 3c59bf1a:aa2ed094:fe871a27:59f491b7
            Events : 299

    Number   Major   Minor   RaidDevice State
       0       8       97        0      active sync   /dev/sdg1
       2       8       81        1      active sync   /dev/sdf1

要将倒数第 7 行的 Name 改为 debian11:optane16ga

注: Name 值含义为 <homehost>:<name> 即前者为主机名 (/etc/hostname 里的值) 后者为 raid array 名称。

第一步,移除 /dev/md0:

root@debian11:~# mdadm --stop /dev/md0
mdadm: stopped /dev/md0

第二步,组装 raid1 时更新名称:

# 如果 metadata 版本为 1.0 或更高版本,使用以下命令:
root@debian11:~# mdadm --assemble /dev/md0 /dev/sd{b,c}1 --name=optane16ga --update=name
mdadm: /dev/md0 has been started with 2 drives.

最后一步 mdadm --detail --scan >> /etc/mdadm.conf (RedHat) 或者 mdadm --detail --scan >> /etc/mdadm/mdadm.conf (Debian) 保存配置。

更换损坏的硬盘

现有 /dev/sd{b,c}1 组成的 raid1 设备 /dev/md0,现 /dev/sdb 设备已损坏,需要在保证 /dev/md0 正常运行的情况下,将 /dev/sdb 移出 raid。

  1. 将 /dev/sdb1 标记为 fail: mdadm --manage /dev/md0 --fail /dev/sdb1

    root@debian11:~# mdadm --manage /dev/md0 --fail /dev/sdb1
    mdadm: set /dev/sdb1 faulty in /dev/md0
    root@debian11:~# cat /proc/mdstat
    Personalities : [raid1]
    md0 : active raid1 sdc1[2] sdb1[0](F)
        7813343232 blocks super 1.2 [2/1] [_U]
        bitmap: 0/59 pages [0KB], 65536KB chunk
    
    unused devices: <none>
    
  2. 从 /dev/md0 中删除 /dev/sdb1: mdadm --manage /dev/md0 --remove /dev/sdb1

    root@debian11:~# mdadm --manage /dev/md0 --remove /dev/sdb1
    mdadm: hot removed /dev/sdb1 from /dev/md0
    
  3. 此时,从机器上拿下 /dev/sdb,换上新硬盘并分区。假设新硬盘同样为 /dev/sdb 其上分区同样为 /dev/sdb1。

  4. 将新硬盘加入到 raid 中:

    root@debian11:~# mdadm --manage /dev/md0 --add /dev/sdb1
    mdadm: re-added /dev/sdb1
    

到此,操作完成。剩下的只要等数据被同步到新硬盘上即可。

清理 (scrub) raid array

/sys/block/md/md/mismatch_cnt 文件记录了存在问题的块的数量。这个数字通常偏大,因为 mdadm 处理的最小单位是 page (一段连续的 block),mdadm 只知道哪个 page 有问题,所以这个数字偏大。

echo {check | repair | resync} > /sys/block/md<num>/md/sync_action 这三个操作分别对应 检测错误修复错误重新同步 (突然断电或替换硬盘后需要)。

check 会让 mdadm 重新统计 mismatch_cnt 的值, repair, resync 这两个操作可能会让 mismatch_cnt 的值产生变化。

repair 操作对应的就是 mdadm scrub。但是一般不做这样的操作。因为 raid.wiki.kernel.org 说:

下面举个例子以证明 mdadm 在 raid1 中检测到数据不一致时,mdadm scrub 无法保证修复错误数据:

  1. mdadm 把主盘上损坏的数据返回给了 btrfs,btrfs 看见了主盘上损坏的 data extent
  2. 主盘是最先发生读写的盘,所以当负载较小时,btrfs 多数时候都能检测到 data extent corruption
  3. 但由于 btrfs 只看到一份 data extent 所以 btrfs 的 self-healing 无法生效
  4. mdadm 开始 scrub,把主盘上的有了问题的数据覆写到从盘上
  5. 此时数据彻底损坏,但 mdadm 报告修复成功

下面举个例子以证明 mdadm 在 raid5/6 中检测到数据不一致时,mdadm scrub 无法保证修复错误数据:

  1. raid5/6 中数据部分出现问题
  2. mdadm 根据错误数据重新计算校验和
  3. 原来校验和是对的,现在校验和也错了,但 mdadm 报告修复成功

以上两个例子都是 mdadm scrub 无法修复数据的情形。