鉴于研究所的需求,最近开始研究Chelsio T5(终结者5),本篇博文对相关技术的基础概念做了罗列,并给了一些扩展学习链接。后续自己将针对RDMA技术做进一步学习和研究!
核心基础概念
- FCoE:以太网光纤通道 (Fibre Channel Over Ethernet)
- 它是一个存储网络协议,允许在以太网上发送光纤通道帧, 且IP通信和光纤通道通信使用相同的以太网端口。
- HBA:host bus adapter,主机总线适配器
- 它是连接主机计算机到网络/存储设备的可插拔式卡,支持多种存储网络协议,HBA通常是扩展卡,如PCI Express卡,它插入主机计算机的总线传送iSCSI或FC协议。
- OEM: 原始设备制造商(original equipment manufacturer)
- CNA:Converged network adapter,融合网路适配器,也称C-NIC
- 作为计算机输入/输出设备,其融合了HBA和网络适配器的功能。简言之,通过CNA可同时访问SAN(存储区域网络)和传统的计算机网络。
- 如单一万兆以太网适配器端口上同时运行TCP/IP,iSCSI和光纤通道以太网数据流a
- TOE:TCP Offlod Engine,TCP负荷减轻引擎,也称TCP卸载引擎。
- TOE一般由软硬件构成,将传统的TCP/延伸,把网络数流量的处理工作全部转到网卡上的集成硬件中进行,服务器只承担TCP/IP控制信息的处理决策任务
- TOE一般由软硬件构成,将传统的TCP/延伸,把网络数流量的处理工作全部转到网卡上的集成硬件中进行,服务器只承担TCP/IP控制信息的处理决策任务
- ASIC:特定用途集成电路(Application Specific Integrated Circuit)
-
InfiniBand:InfiniBand架构是一种支持多并发链接的”转换线缆”技术,是一种长缆线的连接方式,具有高速、低延迟的传输特性。
- 主要是用于在服务器集群,系统之间的互联。
- 发展
需要说明的是,即使在系统之间的互联,InfiniBand也还面临着竞争对手,这是因为自英特尔、微软退出IBTA之后,IBM、惠普也在不久后退出,并在第二年提出RDMA(Remote Direct Memory Access,远程直接内存存取)技术,期望用10 Gbps Ethernet搭配TOE(TCP/IP Offload Engine,TCP/IP负荷卸载引擎)的硬件加速设计,以更标准、低廉的方式与InfiniBand进行竞争。此外,由Broadcom、Chelsio、惠普、NetApp和微软等厂商推动的iWarp,一种用于远程直接内存访问、远程直接数据放置的保护协议,它淘汰了两端的网卡,也是一种标准的协议。另外,英特尔的I/O加速技术也与InfiniBand具有一定的竞争关系。
-
RDMA: Remote Direct Memory Access,远程直接内存存取
- iWARP: Internet Wide Area RDMA Protocol 一种用于远程直接内存访问、远程直接数据放置的保护协议,它淘汰了两端的网卡,也是一种标准的协议。
- 一种通过以太网做RDMA的解决方案,其能够试下同Infiniband同样的RDMA特性
- Cut-though:直通转发技术 (Cut-through)又叫快速转发。
- SCSI:Small Computer System Interface,小型计算机系统接口
- 一种用于计算机和智能设备之间(硬盘、软驱、光驱、打印机、扫描仪等)系统级接口的独立处理器标准。
- 是一种智能的通用接口标准。
- iSCSI:Internet 小型计算机系统接口 (iSCSI:Internet Small Computer System Interface)
- iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换数据
- 是一种基于 TCP/IP的协议,用来建立和管理 IP 存储设备、主机和客户机等之间的相互连接,并创建存储区域网络(SAN)。
- SMB:Server Message Block 服务信息块,又称Common Internet File System(CIFS)A
- 由微软、英特尔开发的一种软件程序级的网络传输协议,主要用来使得一个网络上的机器共享计算机文件、打印机、串行端口和通讯等资源。它也提供认证的行程间通讯机能。
- SMB 是在会话层(session layer)和表示层(presentation layer)以及小部分应用层(application layer)的协议。SMB使用了NetBIOS的应用程序接口
- 它主要用在装有Microsoft Windows的机器上,在这样的机器上被称为Microsoft Windows Network。
- RoCE:RDMA over Converged Ethernet
-
iSER:iSCSI Extensions for RDMA
- 对iSCSI协议进行了RDMA扩展的计算机网络协议。
- 支持RDMA的包括:基于TCP的RDMA服务(iWARP),不基于TCP的RoCE协议,以及InfiniBand技术。
- iSER允许直接在SCSI计算机内存缓冲区中进行数据的传输,无需中间层的数据拷贝和过多的CPU干预。
- 读命令的执行
- 写命令的执行
SR‐IOV:single‐root I/O virtualization;PF:physical function;VFs : multiple virtual functions ;VIVirtual Interfaces
Chelsio产品
TCP Offload at 40Gbps
- 原文链接:TCP Offload at 40Gbps
- TOE技术特点。
This opens the way for very powerful extensions to pure protocol offload, including:- Direct Data Placement (DDP), which addresses the memory subsystem bottleneck problem on receive
- Direct Data Sourcing (DDS), which addresses the memory subsystem bottleneck problem on send
- Application layer data integrity check (CRC) offload, typically used in data critical applications, which are not satisfied with the relatively weak Internet checksum protection(e.g. iSCSI header and payload digests)
- Reliable remote direct memory to memory access with RDMA
- Further application layer offload, such as application layer payload recovery security protocol offload
- Per connection TCP level traffic management and quality of service
Terminator 5 ASICA(终结者T5)
T5 is a highly integrated, hyper- virtualized 10/40GbE controller built around a programmable
protocol-processing engine, with full offload of a complete Unified Wire solution comprising
NIC, TOE, iWARP RDMA, ISCSI, FCoE and NAT support.T5 ASIC 体现了Chelsio公司的,第五代TOE设计技术,第四代iSCSI设计技术,第三代iWARP RDMA实现技术
T5-Based Unified Adapter
T5 Capability Overview
Storage Value Propositon
-
High Performance RDMA
- 1.5 µsec latency, line rate bandwidth
- iWARP support on Linux OFED
- Network Direct support
- Socket user\space I/O (TCP and UDP, raw Ethernet)
- Transport for Microsoft SMB\Direct (SMB 3.0)