1- 网络存储

概念：

将所有的存储设备连接在一起构成存储网络 。

特点：

• 能够共享大容量、高速度的存储设备
• 不占用 LAN 资源的大量数据传输和备份

存储局域网：

光纤通道（ Fibre
Channel）的存储设备(千兆速度的存取),光纤通道的 Switch 等设备的存储网络化。

SAN：

• 光纤通道（ FC）为基础,实现了存储设备的共享
• 突破现有的距离限制和容量限制
• 服务器通过存储网络直接同存储设备交换数据,释放了宝贵的 LAN 资源

2- SAN

2.1- 特点

1. 大容量存储设备数据共享
2. 采用光纤网 ,设备数量上和距离上提供高速计算机要求高速存储设备通道
3. 灵活的存储设备配置要求 ，可以将不同用途的设备划分为不同的区，分别建立虚拟专用网
4. 快速数据备份，直接通过 SAN 存储网络进行备份
5. 兼容以前的存储设备 。
   1. 主机模式的 FC-SCSI Bridge 可以将计算机通过 SCSI 接口连接到光纤通道 SAN
      上
   2. 存储模式的 FC-SCSI Bridge 可以将 SCSI 存储设备
6. 数据的高可靠性和安全性，采用双环的方式， 建立存储设备和计算机之间的多条通路

2.2- 主要形式

• 点对点（ Point to Point）
• 仲裁环（ Arbitrated Loop）
• 交换网（ Switch Fabric）

2.2.1- 点对点

两个设备间的简单的专用连接 。一般用于一台服务器和一台存储设备。这种连接适用于极小的服务器/存储设备的配置。一般情况下，点对点连接不使用可以在设备间传输一组光纤通道（ FC）协议的集线器（ Hub），而是直接通过介质（铜缆或是光纤）从一个设备连接到另一个设备 。

2.2.2- 仲裁环（ FC-AL） -星形连接的 SAN

基本形式是光纤通道仲裁环 FC_AL（ Fibre Channel Arbitrated Loop），它是一个具有千兆位传输速率的可共享介质，它可以连接多达 127 个节点，每个节点也可以连接到交换网(switchedfabric)上 。

仲裁环(AL)类似于令牌环或 FDDI，在该环(Loop)中通信的两个节点只在数据交换的时候共享介质，然后将控制权交给其它节点。仲裁环(AL)上的节点通过使用一组光纤通道(FC)命令子集来控制跟环(Loop)的对话，并且使用特殊的序列来给节点分配仲裁环口地址（ AL_PA）。在节点之间，仲裁环(AL)很原始地将收发接口连接起来，

这些节点组成了一个可扩展的环形拓扑结构，类似于早期的令牌环。但是，这种连接方式不可避免地要面对在点对点 LAN 拓扑结构中所面对的同样的问题。 在点对点链上的任意一点的损坏将使整个网络瘫痪，并且在环形结构中很难排除这种故障。由于对一个节点来说，从另一个节点来的线，通过该节点到第三个节点，所以环形布线对于分
布在不同位置的节点来说是比较麻烦的。如同在 LAN 中的集线器（ Hub）一样，通过仲裁环集线器(Hub), 将仲裁环的网口集中起来,实现了仲裁环(Loop)的星型连接 。

仲裁环集线器(Hub)提供更大的灵活性,可管理性和可靠性。仲裁环集线器(Hub)在每个口上使用了旁路电路，以便隔离损坏的节点，避免了损坏的节点干扰整个仲裁环（ Loop）的数据通信 。

2.2.3- 交换网（ Switch Fabric） -网状连接的 SAN

由多个光纤通道交换器 Switch， Hub 和Bridge 互连起来的网络（ Fabric）。 Fabric switch 是一个具有交换功能的，网口和网口之间并行进行千兆传输的控制器 。多个交换器连接起来形成了一个大交换网（ fabric） 。

交换网：

交换集线器：

2.3 设备互联

1. 主机连接到 SAN 上通过主机内部的 HBA
2. 设备可以用环形结构连接起来，可以用 Hub 建立星型连接，也可以通多个 Switch 建立网状结构的 SAN

2.3.1- 光纤通道网（ Fabric）

网络(fabric)是由交换器(switch)组成的网络拓扑结构。每个 Switch 网口提供 1 Gigabit/s（2 Gigabit/s 全双工）的带宽，所以从一个网口到另一个，或从一个switch 到另一个产品测试中心 Page 12 of 51 内部资料 注意保密switch 的数据交换都具有 1Gigabit/s 的吞吐量。并且由于在每一个switch 的网口之间可以同时传输， 总传输能力可以达到数千兆位/秒。SAN 正是在这种光纤通道网的基础上建立起来的。通过光纤通道网，将多个主机和存储设备互连在一起 。

连接单个结点的 switch 网口被称做 F_Port（Fabric Port）。F_Port 提供合理使用 switch 的交换并优化吞吐量的特殊服务。 一个连接到 fabric 的结点或称 F_Node 将进行一个到 switch 的登录,这是为了登记它在某个特定口上的存在。 它的标识是一个 24 位地址， 该地址和该结点唯一的 64 位 WWN(World WideName)相关,并且成为该 switch 路由表的一部分。

典型的光纤通道存储网：

2.3.2- Fabric和AL

一个支持仲裁环(AL)设备的交换器(switch)网口被称为一个FL_Port (Fabre Channel Arbitrated Loop Port)。对于仲裁环(AL)设备的识别符不同于一个网络(fabric)设备。其中 24 位的高位两个字节标识公共环(loop)地址，低字节表示设备的仲裁环(AL)口地址（AL_PA）。

对于仲裁环(AL)设备，如果高位两个字节为非零，这个环(loop) 设备是连接到网络(fabric)上的公共环(loop)节点。 如果头两个字节为零， 这个环(loop)设备是专用环(loop)节点并且正常情况下不能同switch 的其他设备通信。 Stealth 模式允许专用环(loop)设备加入到有 switch 的设备中 。

24 位地址标识符：

当仲裁环(AL)设备连接到一个 switch 口时， 为了同网络(Fabric)中的其它资源通信，它要进行网络(fabric)登录。如果进行了登记，这个环(loop)是一个公共环(loop)， 并且头两个字节被赋值为一个唯一的地址。Switch 和网络(Fabric)中的其它节点靠它来识别这个环(loop)。如果没有登录，头两个字节为零，那么这个环(loop)是专用
环。如果没有 Stealth 模式，专用环(loop)设备不能进行同网络(fabric)中的其它部分通信。

4- RAID磁盘阵列

RAID 是 Redundant Array of Inexpensive Disks 的缩写, 可直译为“廉价冗余磁盘矩阵”。磁盘阵列是由许多硬盘按一定的规则，如分条（ Striping）、分块（ Declustering）、交叉存取（ Interleaving）等组成的一个快速、高可靠、超大容量以及超强 I/O 吞吐能力的智能存储子系统。 它在阵列控制器的管理和控制下， 实现快速、 并行或交叉存取，并有较强的容错能力。从用户的观点看，磁盘阵列虽然是由几个甚至是上百个盘组成，但仍可以认为是一个单一的磁盘，其容量可以高达几十 TB 。

优点：

• 可以将许多磁盘用一个逻辑卷来表示
• 可以将数据分割成许多条带（ strips）存储在多个盘上，这样并
  行读写这些盘上的数据提高了磁盘的访问速度。采用 RAID 技
  术，随着磁盘的增加，可以增加访问速度
• 通过数据镜像或校验码来提供容错

4.1- 意义

RAID 技术是高效磁盘读写算法，标准的 RAID 写操作，包括如：
RAID4 或 RAID5 中所必需的校验计算，需包括以下几个步骤：

1. 从校验盘中读取数据
2. 从目标数据盘中读取数据
3. 以旧校验数据，新数据及已存在数据，生成新的校验数据
4. 将新校验数据写入校验盘
5. 将新数据写入目标数据盘

缓存回写：

主机将一个待写入阵列 RAID 组中的数据发送到阵列时， 阵列控制器将该数据保存在缓存中并立即报告主机该数据的写入工作已完成。该数据写入到阵列硬盘的工作由阵列控制器完成，该数据可继续存放在 Cache 中直到 Cache 满， 而且要为新数据腾出空间而必须刷新时或阵列需停机时， 控制器会及时将该数据从 Cache 写入阵列硬盘中 。使得主机不必等待 RAID 校验计算过程的完成，即可处理下一个读写任务，这样，主机的读写效率大为增加 。

4.2 - RAID 校验技术

4.2.1- JBOD—单个磁盘控制

JBOD 表示一束磁盘。控制器将每个磁盘驱动器视为一个独立的磁盘来操作，所以每一个磁盘驱动器是一个独立的逻辑盘， JBOD 不提供数据冗余。

4.2.2- RAID0—磁盘条带化

Stripping 。将数据条带化，又称数据分块，即把数据分成若干相等大小的小块，并把它们写到阵列上不同的硬盘上，这种把数据分布在多个盘上，在读写时是以并行的方式对各硬盘同时进行操作。

其容量和数据传输率是单个硬盘的 N倍。 N 为构成 RAID0 的硬盘总数 若阵列控制器有多个硬盘通道时，对多个通道上的硬盘进行 RAID0 操作， I/O 性能会更高。因此常用于图象，视频等领域， RAID0 I/O 传输率较高，提供了高性能的数据访问，但是没有提供数据冗余 。

4.2.3- RAID1—磁盘镜像

每个工作盘都有一个镜像盘，所以采用 RAID1 在磁盘阵列中必须有偶数个盘。每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出，一旦工作盘发生故障立即转入镜像盘，从镜像盘中读出数据。当更换故障盘后，数据可以重构，恢复工作盘正确数据，这种阵列可靠性很高， 但其有效容量减小到总容量一半以下 。

4.2.4- RAID(0+1)—磁盘条带化和镜像

RAID(0+1)将 RAID0 和 RAID1 结合起来，同时具有条带化和数据镜像。 由于 RAID(0+1)采用了硬盘的全冗余， 它允许多个硬盘故障，并且提高了数据的访问速度。

4.2.5- RAID3—磁盘条带化并具有专用校验盘

采用了条带化技术并且具有专用的校验盘，一个硬盘驱动器被专门用于校验数据的存储。为单盘容错并行传输。即采用Stripping 技术将数据分块，对这些块进行异或校验，校验数据写到最后一块硬盘上。它的特点是有一个盘为校验盘，数据以位或字节的方式存于各盘（分散记录在组内相同扇区的各个硬盘上）。当一个硬盘发生故障，除故障盘外，写操作将继续对数据盘和校验盘进行操作。而读操作是通过对剩余数据盘和校验盘的异或计算重构故障盘上应有的数据来进行的。 RAID3 的优点是并行 I/O 传输和单盘容错，当一个硬盘驱动器出现故障时， 控制器可以从专用校验硬盘驱动器上恢复/重新生成故障硬盘丢失的数据，具有很高可靠性 。

4.2.6- RAID5—磁盘条带化并具有分布式校验

同 RAID3 类似，但是校验数据不是放在一个专用的校验硬盘上，而校验信息是分散在不同的硬盘驱动器上。是一种旋转奇偶校验独立存取的阵列方式， 按某种规则把奇偶校验信息均匀地分布在阵列所属的硬盘上，所以在每块硬盘上， 既有数据信息也有校验信息。这一改变解决了争用校验盘的问题， 使得在同一组内并发进行多个写操作。所以RAID5 即适用于大数据量的操作，也适用于各种事务处理，它是一种快速、大容量和容错分布合理的磁盘阵列。当有 N 块阵列盘时，用户空间为 N-1 块盘容量。当出现故障时，控制器可以从其他硬盘中恢复/重新生成故障硬盘的丢失数据 。

5- 磁盘阵列术语

5.1- 基础术语

5.1.1- 物理驱动器 Physical Drives

磁盘阵列中的物理硬盘， 它连接到磁盘阵列的内部 SCSI 或 FC-AL 上

5.1.2- 逻辑驱动器 Logical Drives

将一些物理硬盘组合为一个逻辑驱动器或称为逻辑盘。逻辑盘对计算机来说就像一个本地的大硬盘。 RAID 级是在逻辑盘的基础上来设定的 。

5.1.3- 逻辑卷 Logical Volume

逻辑卷的概念类似于逻辑盘。 一个逻辑卷是由一个或多个逻辑盘组成，这些逻辑盘可以是相同的 RAID 级或不同的 RAID 级。逻辑卷产品测试中心 Page 20 of 51 内部资料 注意保密可以最多被分为 8 个分区 Partitions。对计算机来讲，它看到的是一个未分区的逻辑卷或是一个分区的逻辑卷的一个分区来作为一个物理硬盘。

5.1.4- 备用驱动器 Spare Drives

局部备用驱动器是一个分配给一个特定逻辑盘的空闲硬盘。 当所分配的逻辑盘中的一个硬盘出现故障时， 本地备用硬盘将成为该逻辑盘的成员，并且自动启动重建工作，恢复损坏的数据 。

全局备用驱动器或硬盘不是服务于一个特定的逻辑盘。 当任何一个逻辑盘的成员出现故障时， 全局备用硬盘将加入到那个逻辑盘中并且自动启动重建工作。

5.1.5- SCSI 接口

SCSI 是 Small Computer Systems Interface 的缩写，是一种工业标准的总线接口。

接口分类：

• NARROW SCSI：窄口 SCSI， 50 芯电缆和插头，可串接 7 个
  SCSI 设备
• WIDE SCSI：宽口 SCSI， 68 芯电缆和插头，可串接 15 台

接口电平方式：

• 单端 SCSI 电缆不超过 6 米， Fast SCSI 不超过 3 米。
• 插分 SCSI 电缆不超过 25M

版本:

• SCSI-1: 8 位数据传输， 传输速率 5MB/秒， 支持同步/异步设备 .\
• SCSI-2: Fast SCSI， 8 位数据传输，传输速率 10MB/秒
• Wide SCSI， 16 位数据传输，传输速率 20MB/秒
• SCSI-3: Ultra SCSI， 8 位数据传输，传输速率 20MB/秒。
• Ultra Wide， 16 位数据传输，传输速率 40MB/秒 ,支持光纤通道
• LVD Ultra2 Wide SCSI， 16 位数据传输，传输速率 80MB/
  秒

5.1.6- SCSI Terminator(终结器)

SCSI bus 两端需要终结器（ Terminator）来终结。硬盘上一般有终结器使能跳线，标记为 TE。

5.1.7- SCSI ID

每一台 SCSI 外围设备都需要分配不同的 SCSI ID，以便主机可以访问这些外围设备，如：磁盘阵列中要为每一条 SCSI 总线上的硬盘分配不同的 ID，以便形成逻辑盘，每个逻辑盘也要分配不同的 ID，以便主机识别 .

5.1.8- LUN 逻辑单元号（ Logical Unit Number）

逻辑盘可以象普通磁盘一样进行分区， 每一个分区可以定义一个LUN。 LUN 一般从 0 开始。 UNIX 下生成设备特殊文件时，有可能需要该 LUN 号 .

5.1.9- 光纤通道

光纤磁盘阵列采用光纤接口,光纤接口一般支持点对点连接和仲裁环连接甚至可以连接到光纤网 Fabric 中.每一个光纤仲裁环可以连接 127 个光纤设备.一般光纤接口采用 SC 连接器.光纤通道的传输速率为 1000Mb/s,并采用 SCSI-3 通信协议进行通信 .

5.2- 磁盘阵列的分类

5.2.1- 接口划分

• SCSI 接口磁盘阵列，通过 SCSI 通道同主机进行连接。
• ISCSI 接口磁盘阵列， 通过 iSCSI 通道同以太交换机进行连
  接。
• SAS 接口磁盘阵列，通过 SAS 通道同主机进行连接。
• 光纤接口磁盘阵列，通过光纤仲裁环连接到计算机的 HBA
  上。

5.2.2- 磁盘类型

• SCSI-FC
• SATA-FC
• FC-FC
• SAS-SAS
• SAS-FC
• SATA-ISCSI

6- 硬件设备

6.1- HBA (主机总线适配器)

安装在主机上，类似于网卡，主机通过它来同 FC-AL 连接起来。对于不同的计算机都可提供相应的 HBA，并且支持不同的操作系统 .

特点：

• 具有主机的总线接口
• 2、4Gigabit/sec 数据传输率
• 具有光纤(Fiber)和铜线（Copper）接口
• 支持SAN 测试和验证

6.2- Fabric Switch（ FC交换器）

典型的光纤通道交换器（FC switch）提供 8-16 个网口，并且每个口是完全的千兆位速度。同以前用 Ethernet switch 建立的模式相仿，一个光纤通道交换器（FC switch）网口可以支持一个单个节点或多个节点的共享段。每一个网口都在 1Gigabit/s 上工作。多个网口可以提供更高的带宽。通过对仲裁环的分区，可以建立虚拟专用网
络，适应某些特殊应用

光纤通道交换器（FC switch）同时提供串口和以太网口，可以连接到控制台或 LAN 上。以对 switch 进行监控

特点：

• 可以连接网络设备和仲裁环
• 接口之间具有独立 100Mbyte/s 的传输能力
• 可以级联多个 switch
• 在 switch 口之间可以进行分区,实现虚拟专用网络
• 自动旁路功能
• 支持 SNMP 协议, 具有可管理性

6.3- FC-SCSI Bridge（ FC-SCSI网桥）

FC-SCSI 的 Bridge 是光纤通道到 SCSI 接口的转换设备。通过该
设备可以将以前的 SCSI 设备连接到光纤通道上 。

1. 主机模式：将服务器通过 SCSI 接口连接到光纤通道上。一般
   可以将两个服务器连接到光纤通道上存取 SAN 上的存储设备 。
2. 存储模式：用于将磁带设备和磁盘设备连接到光纤通道上使得 SAN
   上的服务器访问这些设备。

6.4- Connector连接器类型

在 ANSI X3T9.3 规范中对光纤通道规定了标准化的 568SC 光
纤连接器，彩色标识的双工接口 。

6.5- GBIC （千兆位接口转换器）

光纤标准收发
器。作为通用规范来连接光纤通道(FC)结点到仲裁环(AL hub)和网络
交换器(fabric switch)上。

优点：

• 热插拔。加强了在线配置。在配置和维护时不用停机。
• 扩展性和模块化结构满足单个终端用户对于连接长度和介质类
  型的要求
• 全速达到 1.0625Gbps FC 数据传输率
• 灵活性, 广泛用于 gigabit/s 存储连接

6.6- Fiber和Copper

Fiber 分为单模光纤和多模光纤，单模光纤最大传输距离为 10 千米，多模光纤为 300-500 米 。

Copper 一般为双芯屏蔽铜缆，采用无源收发器传输距离为 13 米，采用有源收发器传输距离为 30 米

6.7- Tape Library（带库）

自动磁带库是一种大容量，高性能的磁带存储设备，它具有磁带管理功能，一般用于备份数据，数据灾难的恢复，在数据库服务，网络服务，图形图象等备份中得到了广泛的应用。

7- 设计SAN时应考虑的问题

• 根据应用需求来规划 SAN
• 设备之间的距离确定采用的电缆类型
• SAN 中设备数量及是否有 SCSI 设备
• 预期达到的目标和最大流量
• 网络安全性和冗余/备份
• SAN 管理及灾难恢复
• 性能价格比