RAID与其在Linux上的实现

参考资料:

RAID

data striping

spanned volume

从raid0到raid7,raid阵列各级别介绍

本文所使用的图片来源于互联网,若有侵权,烦请联系,谢谢。

简介

RAID出现的目的是为了数据的冗余,或者性能的提升,或者两者兼顾。早期想实现这样的功能,可能需要购买一些基于大型机(mainframe)的设备,但是价格过于昂贵,后来就有些人发明了RAID技术将多块廉价的磁盘组合在了一起,实现了和大型机设备同等的功能。

RAID,早期的全称是冗余廉价磁盘阵列(Redundant Array of Inexpensive Disks),主要是相比于以往的昂贵的SLED(Single Large Expensive Disk),后改名为冗余独立磁盘阵列(Redundant Array of Independent Disks),毕竟现在的RAID控制卡也已经不便宜了。

基于不同级别的冗余和性能要求,RAID有不同的级别(level)。不同的级别也决定了可靠性(reliability)、可用性(availability)、性能(performance)和容量(capacity)的不同。

许多RAID级别采用了一种错误保护机制,叫做奇偶校验(parity)。大部分情况使用的是异或运算(XOR),不过RAID 6则使用了两种独立的奇偶校验方法。

不同的RAID级别,使用不同的数字来表示,例如RAID 0、RAID 1等等。

RAID级别按照种类划分有标准(standard)级别、嵌套/混合(nested/hybrid)级别和非标准(non-standard)级别。RAID级别是由SINA(Storage Networking Industry Association)组织所定义的。

接下来我们就来一一介绍这几种RAID。

标准级别

RAID 0

基于striping方式(data striping是一种切割逻辑上连续数据的技术,例如切割文件,使得连续的片段可以被存储在不同的物理存储设备上。)来组织数据,不具备镜像(mirror,即数据冗余)和校验的功能。如图所示。

RAID与其在Linux上的实现

一个文件会被切割成多个block,假设有8个,有A1~A8表示,那么会依次存入阵列中的每个磁盘当中。

优点:

  1. 读写性能提升,理论上有n块磁盘,就可以带来n倍的性能提升,因为读写是并行的。
  2. 存储容量提升,阵列总容量为n块磁盘之和。如果磁盘的容量不是相等的,则总容量为n倍的最小磁盘容量。其他RAID级别遇到磁盘容量不同的时候,也是以最小磁盘容量为准。接下来我们假设所有RAID的磁盘容量都是相同的,一般在生产环境中,阵列中的磁盘的容量、型号等也都会是一模一样的。

缺点:

  1. 没有数据冗余能力,1块硬盘损坏则整个RAID无法使用,数据全部丢失。并且随着阵列中磁盘数量的增加,发生损坏的概率就越大。
  2. 没有校验能力,无法基于校验码进行数据恢复。

其他:

  1. 至少需要2块硬盘。

RAID 1

基于镜像(mirroring)的方式,当写入数据的时候,会同时写入每个磁盘设备。

RAID与其在Linux上的实现

优点:

  1. 具备数据冗余能力,只要阵列中还有一块硬盘处于工作状态,那么整个阵列就依然可用。
  2. 读性能提升,如果RAID控制器足够强大,则读性能可接近于RAID 0,不过实际实现中,应该无法达到。

缺点:

  1. 写性能下降。由于同一个block的数据需要被写入阵列中的每一个磁盘中,因此写性能下降。磁盘数越多,写性能下降越多。最慢的磁盘会限制整个阵列的写性能。
  2. 没有校验能力,无法基于校验码进行数据恢复。

其他:

  1. 存储容量保持不变。总容量为单块磁盘容量。
  2. 至少需要2块磁盘。

RAID 2

数据的组织方式类似RAID 0,通过striping技术以位(bit)为单位将数据切割至多块磁盘上。使用汉明码(hamming-code)作为校验码,具备数据恢复能力,但是需要多块磁盘作为校验盘。所有磁盘的主轴旋转是同步的。

目前已被弃用!!!

RAID与其在Linux上的实现

RAID 3

类似RAID 2。区别在于RAID 3是基于字节(byte)级别,使用非汉明码的校验码,所以校验码只需存储在一块磁盘中。

目前已被弃用!!!

RAID与其在Linux上的实现

RAID 4

类似于RAID 2和3。区别在于RAID 4是基于块(block)级别,校验码存储在一块磁盘上。RAID 4相对于2和3的最大优点在于I/O并行性(parallelism):在2和3中,一次简单的读操作会从阵列中的所有磁盘读取数据,而4则不需要。

由于只有一块校验盘,每次写入数据的时候需要计算校验码,随着磁盘数的增加,校验盘的性能会成为整个阵列的瓶颈。

目前RAID 4的实现大部分已被私有技术RAID DP所取代,RAID DP使用了两块校验盘。

RAID与其在Linux上的实现

注意:图片可能有点错误,DISK 2中存储的应该是BLOCK A3、B3、C3和D3的数据。

优点:

  1. 读写性能提升,读性能理论为n倍的数据盘,写性能理论小于n倍的数据盘且随着数据盘的增加,写性能越来越受制于校验盘。
  2. 具有数据恢复能力。
  3. 存储容量提升,为磁盘总容量减去校验盘容量(n-1)。

缺点:

  1. 无镜像能力,虽然存在数据恢复能力,但是数据盘损坏后,基于校验码恢复数据会有额外的计算开销。
  2. 校验盘瓶颈问题。

其他:

  1. 至少需要3块磁盘。

RAID 5

类似于RAID 4,RAID 5基于块(block)级别切割数据至多个磁盘,同样具备校验码。但是,最大的区别在于RAID 5的校验码不是存放在专门的磁盘上,而是分布式地存储在阵列中的每个磁盘中,这就解决了RAID 4的写性能受制于校验盘的问题了。截止目前,涉及校验的RAID,它们的校验码都是只计算一次并保留一份,这也叫做“单校验概念”(single-parity concept)。像这类单校验的设计,当阵列越来越庞大的时候,容易受到系统故障的影响,这里的系统故障指的是磁盘损坏阵列重建(rebuild)时间以及重建期二次磁盘损坏几率。详见:Increasing rebuild time and failure probability

RAID与其在Linux上的实现

优点:

  1. 读写性能提升,理论为n倍的磁盘,解决了RAID 4中的校验盘瓶颈问题。
  2. 具有数据恢复能力。
  3. 存储容量提升,为磁盘总容量减去校验码占用容量(n-1),校验码占用的容量约为一个磁盘容量。

缺点:

  1. 无镜像能力,虽然存在数据恢复能力,但是数据盘损坏后,基于校验码恢复数据会有额外的计算开销。
  2. 单校验问题,此前的所有具备校验能力的RAID亦均有此问题。

其他:

  1. 至少需要3块磁盘。

RAID 6

类似于RAID 5,RAID 6基于块(block)级别切割数据至多个磁盘,具备分布式校验码。只不过是使用了双校验码(double-parity)机制。双校验支持损坏至多2块磁盘。这使得更大的RAID阵列更加实用,尤其对于高可用系统,因为大容量的阵列需要更长的时间重建。至少需要4块磁盘。和RAID 5一样,单块磁盘故障会降低整体阵列性能,直到故障盘被替换。如果磁盘的容量和阵列的容量越大的话,那么越应该考虑使用RAID 6来替代RAID 5。RAID 10同样也最小化了这些问题。

RAID与其在Linux上的实现

优点:

  1. 读写性能提升,写性能可能稍微逊色于RAID 5,因为要计算2种校验码。
  2. 具备数据恢复能力,允许损坏至多2块磁盘。
  3. 存储容量提升,n-1。
  4. 新增双校验机制,解决单校验的问题,此类设计更适合支持大容量阵列并提高其可用性。

缺点:

  1. 必须牺牲2块磁盘的容量存放校验码。
  2. 无镜像能力,虽然存在数据恢复能力,但是数据盘损坏后,基于校验码恢复数据会有额外的计算开销。不过双校验应该可以加快数据恢复的时间。

其他:

  1. 至少需要4块磁盘。

嵌套级别

RAID中的每个元素(组成成分),可以是独立磁盘,也可以是一个RAID阵列。对于后者,我们称之为RAID嵌套。

RAID 01

也叫作RAID 0+1或者RAID 0&1,先将磁盘制作成RAID 0,再将每个RAID 0组合成RAID 1。如图所示。

RAID与其在Linux上的实现

任何一块磁盘损坏都会导致其中一个stripe(基于striping技术的RAID 0,也可叫stripe)不可用,此时整个RAID 01阵列实际上就降级为RAID 0阵列了。该阵列相比RAID 10在重建期会遭遇更高的风险,因为它需要读取剩下的stripe中的所有磁盘的所有数据而不是其中一块盘上的所有数据,增加了URE(Unrecoverable Rear Error)的概率并且明显扩大了重建窗口。

至少需要4块磁盘。可以采用更多的磁盘,但是这意味着磁盘故障率也会随之增加,如果阵列只有2个stripe,并且刚好每个stripe各损坏1块磁盘,那么整个阵列就完了。

按照此图示的存储容量为n/2。

因此,RAID 01是不好的,不建议使用。建议使用RAID 10来替代它!!!

RAID 10

也叫作RAID 1+0或者RAID 1&0,先将磁盘制作成RAID 1,再将每个RAID 1组合成RAID 0。如图所示。

RAID与其在Linux上的实现

这种阵列相对RAID 01可以承受更多的设备损坏,特别是在单个镜像卷中的磁盘数量较多的情况下。

按照此图示的存储容量为n/2。

非RAID架构

关于RAID的常用级别基本已经说明完毕,除了以上几个RAID级别,还有一些并不是基于RAID技术但是也可以将磁盘数据集合起来的技术,这些技术通常只是简单地将磁盘堆叠起来使用而已,并不一定具备像RAID一样的数据冗余和性能提升的功能。

  • JBOD:Just a Bunch Of Disks。
  • SPAN or BIG:字面意义,非缩略词。
  • MAID:Massive Array of Idle Drives。

详见:Non-RAID drive architectures

实现

RAID的实现主要有两种,一种是基于硬件俗称硬RAID,另一种是基于软件俗称软RAID。

硬RAID需要硬件(RAID卡,即RAID控制器)支持,一般是在OS启动之前,在BIOS中进行RAID的相关配置,并且在OS启动之后,会有对应RAID卡厂商的私有软件工具可以进行配置。因为本人没有相关硬RAID配置经验以及这只是实验环境,因此没有硬RAID相关实现的介绍。

软RAID的实现方式也有很多种,一般是基于操作系统的某些特性,例如基于Linux内核的md(Multiple Device)或者OpenBSD的softraid。

本文主要阐述如何基于Linux操作系统实现软RAID。

mdadm

基于Linux的md实现的命令是mdadm,它所支持的RAID级别:LINEAR(类似JBOD)、RAID 0、RAID 1、RAID 4、RAID 5、RAID 6和RAID 10。

OS:CentOS 7.5

mdadm:v4.0

我们的目标是,使用4块1GB的磁盘,创建RAID 5阵列,其中3块作为有效(active)盘,1块作为备用(spare)盘。

创建4块磁盘,分区,文件系统类型为Linux的RAID(ID:fd)。

[root@C7 ~]# fdisk -l | grep -i "raid"
/dev/sdb1 fd Linux raid autodetect
/dev/sdc1 fd Linux raid autodetect
/dev/sde1 fd Linux raid autodetect
/dev/sdd1 fd Linux raid autodetect

查看内核识别到的分区信息,确保我们刚才所创建的四个磁盘的分区已经被内核识别。

[root@C7 ~]# cat /proc/partitions
major minor #blocks name sda
sda1
sda2
sdb
sdb1
sdc
sdc1
sr0
sde
sde1
sdd
sdd1
dm-
dm-

如果未识别到,则使用partprobe告知内核。警告信息可以忽略。

[root@C7 ~]# partprobe
Warning: Unable to open /dev/sr0 read-write (Read-only file system). /dev/sr0 has been opened read-only.

创建磁盘阵列。

[root@C7 ~]# mdadm -C /dev/md0 -l  -n  -x  /dev/sd{b,c,d,e}
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.

查看阵列状态信息

方法一

[root@C7 ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[] sde1[](S) sdc1[] sdb1[]
blocks super 1.2 level , 512k chunk, algorithm [/] [UUU]

阵列创建的过程需要时间,例如写入RAID元数据之类的,想动态查看的话,可以通过watch命令

[root@C7 ~]# watch -n  cat /proc/mdstat

方法二

[root@C7 ~]# mdadm -D /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Wed Apr ::
Raid Level : raid5 # RAID级别
Array Size : (2042.00 MiB 2141.19 MB) # 4块磁盘,各1GB,1块备用盘,还有1块盘的容量为校验码,因此阵列可用容量为2GB。
Used Dev Size : (1021.00 MiB 1070.60 MB)
Raid Devices :
Total Devices :
Persistence : Superblock is persistent Update Time : Wed Apr ::
State : clean # 阵列的状态,clean表示干净状态,即阵列处于健康工作状态
Active Devices :
Working Devices :
Failed Devices :
Spare Devices : Layout : left-symmetric
Chunk Size : 512K Consistency Policy : resync Name : C7: (local to host C7)
UUID : ebf794e8:8f01958a:f004744b:7be7a8cf # 系统重启后,阵列的设备名称可能不再是/dev/md0,因此可使用UUID来代替设备名称写入/etc/fstab。
Events : Number Major Minor RaidDevice State
active sync /dev/sdb1
active sync /dev/sdc1
active sync /dev/sdd1 - spare /dev/sde1

格式化RAID设备并挂载使用

[root@C7 ~]# mkfs -t xfs /dev/md0
meta-data=/dev/md0 isize= agcount=, agsize= blks
= sectsz= attr=, projid32bit=
= crc= finobt=, sparse=
data = bsize= blocks=, imaxpct=
= sunit= swidth= blks
naming =version bsize= ascii-ci= ftype=
log =internal log bsize= blocks=, version=
= sectsz= sunit= blks, lazy-count=
realtime =none extsz= blocks=, rtextents=
[root@C7 ~]# mkdir /raid_data
[root@C7 ~]# mount /dev/md0 /raid_data

创建一个测试的文本文件,输入一些信息。在下文标记阵列中磁盘为faulty状态时,我们可以通过测试此文件是否内容可读取来判断RAID是否可用。

[root@C7 ~]# cat /raid_data/raid.txt
this is a test file for RAID !!!

手动标记阵列中的一块有效磁盘为faulty状态,并观察备用盘是否自动顶替。

[root@C7 ~]# mdadm /dev/md0 -f /dev/sdd1
mdadm: set /dev/sdd1 faulty in /dev/md0

再次查看状态会发现一些变化。

[root@C7 ~]# mdadm -D /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Wed Apr ::
Raid Level : raid5
Array Size : (2042.00 MiB 2141.19 MB)
Used Dev Size : (1021.00 MiB 1070.60 MB)
Raid Devices :
Total Devices :
Persistence : Superblock is persistent Update Time : Wed Apr ::
State : clean, degraded, recovering # 由于磁盘损坏了1块,且存在备用盘。备用盘自动顶替,阵列进入重建期,在重建完成前,阵列处于降级模式工作。重建完毕后,状态又会变回clean了。
Active Devices :
Working Devices :
Failed Devices :
Spare Devices : Layout : left-symmetric
Chunk Size : 512K Consistency Policy : resync Rebuild Status : % complete # 数据重建进度。 Name : C7: (local to host C7)
UUID : ebf794e8:8f01958a:f004744b:7be7a8cf
Events : Number Major Minor RaidDevice State
active sync /dev/sdb1
active sync /dev/sdc1
spare rebuilding /dev/sde1 - faulty /dev/sdd1

待阵列重建完毕,再标记一块磁盘为faulty状态。

[root@C7 ~]# mdadm /dev/md0 -f /dev/sdc1
mdadm: set /dev/sdc1 faulty in /dev/md0

此时我们的阵列,就只能工作于降级模式而无法恢复clean了。

[root@C7 ~]# mdadm -D /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Wed Apr ::
Raid Level : raid5
Array Size : (2042.00 MiB 2141.19 MB)
Used Dev Size : (1021.00 MiB 1070.60 MB)
Raid Devices :
Total Devices :
Persistence : Superblock is persistent Update Time : Wed Apr ::
State : clean, degraded
Active Devices :
Working Devices :
Failed Devices :
Spare Devices : Layout : left-symmetric
Chunk Size : 512K Consistency Policy : resync Name : C7: (local to host C7)
UUID : ebf794e8:8f01958a:f004744b:7be7a8cf
Events : Number Major Minor RaidDevice State
active sync /dev/sdb1
- removed
active sync /dev/sde1 - faulty /dev/sdc1
- faulty /dev/sdd1

无论阵列处于重建期或者降级模式,测试文件都是可读的。

如果该阵列不使用了,那么我们应该先卸载阵列,再关闭它。

[root@C7 ~]# umount /dev/md0
[root@C7 ~]# mdadm -S /dev/md0
mdadm: stopped /dev/md0
[root@C7 ~]# mdadm -D /dev/md0
mdadm: cannot open /dev/md0: No such file or directory

关闭后,阵列设备文件消失。

总结

  1. 实际生产环境中,数据的完整性和性能是重要的,因此不应该使用软RAID,而应该采用硬RAID。
  2. 不同的RAID卡厂商的配置方式不同,万变不离其宗,了解RAID原理各级别特性比RAID实现更重要。
  3. 本文关于Linux上的软RAID实现只是简单阐述,切勿直接拿来在生产环境使用。
上一篇:【javascrpt】——图片预览和上传,兼容IE 9-


下一篇:linux-history显示历史命令执行时间