上一篇:行业综述 | 《阿里云存储白皮书》第一章
下一篇:相关实践 | 《阿里云存储白皮书》第三章
一、强大的技术基因
1、自研分布式存储技术
1.1十年磨一剑的盘古
2864亿,这是2019全球天猫购物狂欢节创下了的商业奇迹。在奇迹的背后,是来自阿里云自研的分布式存储系统——盘古2.0稳如磐石的可靠性支持。2009年,盘古1.0正式发布,经过十年的发展,今天的盘古2.0已经成为阿里云智能一体化基础设施的稳定基石和性能引擎。
1.2稳定压倒一切
在云基础设施中,一个网络设备或者某个存储集群出现故障,将使得整个计算单元受到影响。因此,稳定性压倒一切。作为阿里云十年磨一剑自主研发的分布式存储系统,盘古基于传统的分布式数据、纠删码、分布式元数据等分布式存储技术,并不断结合大规模RDMA网络、全用户态I/O、智能化运维等技术,持续拓展存储系统的技术能力边界,增强系统的稳定性和性能。在线上大促期间,盘古系统在吞吐数TB/s, IOPS上亿级的压力下,依然提供了如丝般顺滑的存储体验,在海量、交叉复杂业务场景下具有良好表现。
盘古采用全分布式元数据管理,通过元数据的全分布式管理及动态切分和迁移,大幅提升管理的文件数规模,降低故障“爆炸半径,去元数据节点特殊机型依赖,也进一步降低元数据存储成本,提高平台稳定性。此外还通过数据关键路径快速容错、软硬件异常及热点规避、基于网络可用带宽、动态调节复制流量等方式进一步提供稳定性。
1.3性能是极致追求
盘古面向新一代存储介质和网络架构,对存储系统设计进行了深度软硬协同优化。通过用户态文件系统、高性能网络技术、拥塞控制及链路监控调度等技术,充分释放了软硬件技术发展带来的红利。针对NVMe高性能存储介质的特性,重新定义和设计了全用户态文件系统,并且通过run-to-completion线程模型以及无锁技术充分发挥了介质性能,存储软件栈本身I/O延迟压缩到了2微秒以内。在网络互联方面,盘古通过远程直接数据存取技术卸载了协议栈,释放了CPU资源,并且通过网络层的拥塞控制优化,避免了存储网络层的拥塞,提升了物理网络资源的利用率,从而进一步降低了分布式存储的I/O延迟。2019年全球首个最快云盘ESSD正式商用,作为全新一代企业级高性能的极致云盘,ESSD正是基于全新一代自主研发的分布式存储系统盘古2.0而打造。
2、弹性让云成为可能
弹性是云计算的核心价值,是每个企业,每个团队,每个IT工作者所追求的目标。阿里云弹性计算首席架构师蔡俊杰认为,从广义上讲,弹性让IT能力轻松跟上客户的业务发展;从狭义上讲,弹性则带给客户无与伦比的灵活性。
从资源利用角度来说,弹性意味着性价比,根据相关数据统计:在实现云端部署之后,综合成本会下降50%。弹性是云计算技术中公认的最重要的特点之一。弹性实现了按需增减计算、存储、网络等各种资源。阿里云的弹性贯穿于整个产品生态,客户可以根据业务负载、增长预测、实际应用设置触发条件,实现资源的动态调整。阿里云存储在弹性方面实现了按量付费和按实际使用量付费,无需提前一次性投入。同时,自动弹性扩展存储的容量和文件数目也满足了EB级海量数据存储的需求。
另一方面,随着公共云、专有云、混合云等平台之间的数据及业务迁移变得更加灵活和便捷,云计算的外延也不断扩大并延展到边缘现场环境中。容器、微服务、服务网格、无服务器计算等新的技术架构不断涌现、不断创新,这些也将进一步助力云存储不断提升自身的弹性,推动了数字经济时代组织架构的改变以及文化的变革。
3、软件的重新定义
由硬盘、磁带以及云等存储介质组成的存储金字塔架构正在受到越来越多的冲击,存储架构进一步简化,实现了通过数据的使用而不是底层存储介质来定义数据。软件创新使等简化的存储架构可轻松用于更多的细分市场,例如媒体和娱乐、能源,甚至是中小企业市场。新的简化模型使组织可以将大部分不活跃的数据从昂贵的存储主层(由闪存、NVMe和其他固态技术以及高性能磁盘组成)中移到更为经济的冷存储层,或者称之为永久层。用户也可以将数据的多个副本存储在对象存储、磁盘和磁带等在内的多种更为经济的存储介质上。永久层还可以用于第二存储、数据分发、备份、存档和灾难恢复等业务上。同时,也可以将永久层设置为根据客户工作流程的需求进行响应,从而使用户可以创建响应副本或在云、磁带上创建灾难恢复副本。这些功能,都有赖于软件对数据存储、访问方式的重新定义。
软件与硬件的发展往往是紧密结合的,在这个过程中,既离不开不同介质硬件的自我革新——比如SSD的普及、比如阿里云自研的神龙服务器;也离不开软件的不断创新——通过开放接口的方式进一步提升存储系统效率,借助硬件和软件产品的集成,确保硬件可以在软件的支持下得到性能的优化。存储系统架构经过不断演进,已经从硬件定义时期演变到软件定义时期——通过软件的能力在通用廉价硬件基础之上构建可靠数据存储系统,最明显的例子就是SDS(软件定义存储)近几年的快速发展,它使存储软件与底层硬件分离,使企业可以更好的利用标准化硬件从而获得成本、效率等方面的回报。
4、完善的多租户管理
云存储需要有一个完善的多租户管理系统。其核心主要包括两点,一是一套代码、一个服务或者一个产品被多方客户共用;二是不同客户之间的数据在逻辑上是隔离的,即每个客户拥有自己独立的数据空间,并在这个独立的数据空间内完成自身的业务行为。如何解决多租户的安全隔离问题是企业上云的一个关键问题。
阿里云基于计算与存储分离方案使得二者可以独立扩展,从而能够提供更安全高效的多租户服务。以阿里云对象存储为例,对象存储天生是一个共享型的服务,数十万的客户共享对象存储的海量资源池,对象存储将用户数据切片,每片用户数据打上用户标签,离散存储在分布式文件系统中,并且用户数据和数据索引分离存储。对象存储用户认证采用 Access Key 对称密钥认证技术,对于用户的每个请求都验证签名,在用户验证通过后,根据用户标签重组用户离散存储的数据,从而更好的实现多租户间的数据存储隔离。
5、多种数据灾备及加密方式
安全可靠是阿里云始终坚守的重要底线。为此,阿里云执行多层次、全链路、全方位的安全加密策略,实现业务安全、运营安全、数据安全、网络安全、应用安全、主机安全和帐户安全以及底层数据中心安全。此外,还提供了完全托管服务,用户不再需要自己规划容量的扩容和备份。
早在2018年6月,阿里云已经正式对外发布了国内第一家云原生混合云备份服务和混合云容灾服务,提供云上备份与容灾的保护能力,客户可实现灾备方案的分钟级部署。国内首家发布同城三可用区域部署能力的云上对象存储,可满足企业级客户对于发生机房级灾难事件时数据不丢、业务不断的需求。相比于建设线下同城容灾机房,对象存储同城区域冗余存储提供99.95%的可用性SLA指标、12个9 数据可靠性和一键部署云上同城容灾服务能力,结合“跨区域复制”能力,可实现机房、同城、跨地域三级完整的容灾服务能力。对象存储的多版本功能,使得用户可保留、恢复文件的历史版本,且可设置历史版本保留时间,防止人为或程序的出错,提升容错能力。
在数据加密方面,对象存储的多次读取特性允许用户以“不可篡改、不可删除”的方式进行云上数据合规保存。对象存储的数据加密功能涵盖客户端加密、服务端加密,可结合密钥托管服务,并支持用户以自有密钥方式进行加密,大大提升数据安全与合规能力。
文件存储推出的传输加密、落盘加密功能,通过托管密钥、自有密钥加密充分保证数据在传输中的安全性。
块存储通过和阿里云密钥管理服务集成,用户可通过云盘加密功能保护数据的隐私性和自主性。
二、全面的云存储实践
1、针对行业的有效赋能
根据咨询公司埃森哲(Accenture)所做的关于数字经济的研究显示,对于数字经济来说,云计算不仅仅是实现IT资源池化、提升性能、降低成本和简化管理的工具,更重要的是为各个产业数字化转型提供丰富的服务。
从2016年的新零售、新金融、新制造、新技术和新能源“五新”战略到2019年的“百新”,是数字经济时代的全面进入期,无论是企业、工厂、医院或者城市,各行各业都已开启了数字化的升级之路,所有的商业元素和社会元素,都在全面走向数字化和智能化。目前,阿里云全球企业客户数量已超300万,其中包括38%的世界500强企业、80%的中国科技企业和一半以上的中国A股上市公司。一直以来,阿里巴巴作为数字经济的坚定实践者、推动者和创新者,正在帮助客户更方便、高效的使用数据这个新的生产要素。
2、面向场景的最佳实践
场景,作为连接产品与客户之间的桥梁,需要解决客户更为具体的业务问题。这些场景不是宽泛的名词概念,而是具体的业务支撑或功能实现。为此,阿里云面向多个场景提供了更为有效的最佳实践。
数据库、大数据处理和分析、人工智能、容器等领域具有自身的特点,所以存储技术针对以上典型场景也进行了相应的集成设计,结合场景的特点进行适配和优化,提高与场景结合的端到端优化能力和存储的效率。随着业务场景的逐渐增多,社会各个要素已经被数字化。在这个过程中,阿里云以及阿里巴巴首先自身有着非常丰富的业务场景,并且正在快速地构建一些创新性的场景。这些经过阿里自身验证的场景反过来又可以全力赋能各个行业,助力各行各业的客户迈向数字化经营,迈向社会公共服务数字化的同时,完成全流程的数字化转型。
3、被集成的产品策略
作为基础设施的重要组成部分,存储有着丰富的产品形态。阿里云已经建立起了包括对象存储、块存储、文件存储等在内的全球最丰富的云存储产品家族,并且凭借多层次防护、跨区域容灾等能力连续三年入选Gartner全球云存储魔力象限,位列全球领导者地位。同时,阿里云秉承“被集成”的核心生态战略,借助伙伴的力量实现快速补位。
阿里云作为合作伙伴解决方案的一部分,将帮助合作伙伴完成基础设施转型、技术转型、系统转型。在这样的战略下,阿里云的全栈存储产品将整合了阿里云的API、SDK、开发者工具能力等,以场景化的方式引导合作伙伴和客户更好地集成阿里云,满足企业级数据存储和管理场景,通过提供经过内部应用验证的丰富、可靠的原子能力和场景实践,不断提升阿里云“被集成”的能力和灵活性。目前,阿里云存储产品已经先后与IBM、浪潮、Commvault、Cloudflare、 DELL EMC、NetApp等合作伙伴在多个业务场景中开展了深入的合作。
三、完善的产品矩阵
1、对象存储
产品介绍:
阿里云对象存储(OSS)是一种海量、安全、低成本、高可靠的云存储服务,提供99.9999999999%(12个9)的数据可靠性。OSS提供与平台无关的RESTful API接口,可以实现在互联网任意位置的存储和访问,实现容量和处理能力的弹性扩展以及存储成本的全面优化。
产品优势:
1)稳定可靠:OSS的多重冗余架构设计,为数据持久存储提供可靠保障。同时,OSS基于高可用架构设计,消除单节故障,确保数据业务的持续性。
2)安全合规:支持服务端加密、客户端加密、防盗链、IP黑白名单、细粒度权限管控、日志审计、多次读取特性,并获得多项合规认证,满足企业数据安全与合规要求。
3)智能处理:提供多种数据处理能力,如图片处理、视频截帧、文档预览、图片场景识别、人脸识别、OSS Select等,并无缝对接Hadoop生态以及阿里云EMR、数据湖分析、PAI、MaxCompute、函数计算、DBS等产品,满足企业数据分析与管理的需求。
4)数据分层:提供标准、低频、归档多种类型,通过生命周期自动化实现数据类型转换与过期管理,覆盖从热到冷多种存储场景。
5)方便易用:提供RESTFul API、控制台、多种开发语言的SDK、命令行工具、图形化工具等多种使用方式,您可以随时随地通过网络管理您的数据。
产品功能:
1)多种存储类型:支持数据冷热分层,提供更具性价比的存储方式,提供同城区域冗余将数据冗余存放在多个可用区,具备机房级容灾能力;提供本地冗余将数据冗余存放在同一可用区的多个设备,抵御硬盘/存储服务器级故障。
2)数据保护与安全:支持多冗余的可靠架构、完整性校验、权限控制、加密、日志审计、数据合规、多版本管理等,提供更可靠、更安全、更合规的对象存储。
3)企业级数据管理:支持生命周期、回源、更丰富的数据上传与下载方式、事件通知、回调等,提供更简单易用、更便于管理的对象存储。
4)数据处理能力:支持图片、文档、视频、JSON等格式数据的常用处理和分析能力,提供更智能的对象存储,帮助客户释放数据更大的业务价值。
5)大规模数据迁移:支持PB级的在线、离线迁移方案,提供更安全、更快速的PB级数据迁移上云方案。
2、块存储
产品介绍:
阿里云块存储(Block Storage)是阿里云为云服务器提供的低时延、持久性、高可靠的数据块级随机存储。块存储支持在可用区内自动复制用户的数据,防止意外的硬件故障导致数据不可用,以保护用户的业务免于组件故障的威胁。就像对待硬盘一样,用户可以对挂载在云服务器实例上的块存储做格式化、创建文件系统等操作,并对数据持久化存储。
产品优势:
1)丰富产品类型:提供ESSD云盘、SSD云盘、高效云盘、普通云盘、NVMe SSD本地盘、SATA HDD本地盘、SSD共享块存储、高效共享块存储等多种磁盘类型,满足不同业务场景需求。
2)领先的产品性能:提供全球性能最高的块存储产品ESSD云盘,单盘随机读写IOPS最高为一百万,顺序读写吞吐为4GB,领先业界其他厂商云盘数十倍,满足核心OLTP类业务对高IOPS、低时延的性能诉求。
3)高可靠的产品设计:基于分布式多副本技术,数据可靠性高到99.9999999%,结合云盘快照技术,满足数据持久化保存需求,避免因病毒、黑客攻击、人为误删除所导致的逻辑错误。
4)快速的弹性部署:利用快照和镜像实现快速的业务批量化部署,随时根据需要扩展块存储的容量以及在线调整性能等级。
5)安全合规能力:通过磁盘加密功能实现对云盘和共享块存储的数据加密,密钥管理服务提供数据加密功能,采用256位强密码算法无需构建、维护和保护密钥。支持客户自带密钥上云的加密方式,提供自主可控的加密能力,满足行业合规要求。
产品功能:
1)核心业务支撑:块存储专为企业级客户的核心业务而设计,打造高可用集群架构,适用于完全共享型数据库架构下对块存储设备的访问场景。例如,*、企业和金融行业常用的高可用架构数据库集群和高可用架构服务器集群。
2)集群架构应用:在典型的集群架构中,多个计算节点通常需要访问同一份业务数据。为防止一个或多个计算节点发生故障而导致业务中断,可以使用共享块存储保证集群对外提供业务访问的持续性和高可用性。
3)异地容灾:支持支持秒级数据快照,并可将快照复制到不同地域,满足数据级异地备份需求,提高数据及业务保护能力。
3、文件存储
3.1 NAS
产品介绍:
阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。兼容POSIX 文件接口,可支持数千台计算节点共享访问,可以挂载到弹性计算云服务器、神龙裸金属、容器服务、弹性容器、批量计算、高性能计算,AI训练等计算业务上提供高性能的共享存储,用户无需修改应用程序,即可无缝迁移业务系统上云。
产品优势:
1)容量弹性扩展:存储容量随业务的写入或删除动态伸缩,只需创建文件系统,无需提前预置容量。
2)高性能:高IOPS,高带宽,低时延,系统吞吐量随文件系统容量的增长而扩展。
3)简单易用:全托管式服务,提供简单的控制台界面快速创建和配置文件系统。
4)安全可靠:基于分布式存储的多副本技术提供高达99.999999999%的可靠性。
产品功能:
1)丰富的协议兼容:提供标准的NFS和SMB访问协议,支持主流的Linux和Windows操作系统。
2)传输加密:传输加密保障用户数据在传输到存储的过程中不被窃取和窥探。
3)共享访问:多计算实例共享访问文件系统里的同一数据源,通过文件锁保证数据的强一致性。
4)安全合规:基于RAM的用户认证,VPC隔离和安全组访问控制,保障数据安全。
5)灵活的访问模式:支持VPC网络访问文件系统或IDC机房通过专线网络、VPN网络等多种方式访问。
6)数据备份:文件存储备份可以通过灵活的备份策略生成多个备份副本数据,在发生数据损坏时进行恢复。
7)弹性可扩展:文件系统容量可以弹性扩展,随着添加或者删除文件系统的数,文据容量自动扩展或缩减。
8)数据传输:利用数据迁移服可支持在NAS间或NAS到OSS间进行数据的同步或异步传输。
3.2 CPFS(Cloud Paralleled File System)
产品介绍:
文件存储CPFS (Cloud Parallel File Storage),是阿里云完全托管、可扩展的并行文件存储系统,针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和高聚合I/O、高IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探,气象分析,机器学习,大数据分析以及影视渲染等业务场景中。
产品优势:
1)完全托管:云中完全托管的服务,可以轻松创建和运行高性能文件系统。不再需要考虑安装和配置软件,以及复杂的性能调优工作,只需几分钟就能立刻开始使用高性能的文件存储。
2)超高吞吐和IOPS:文件存储CPFS采用分布式的并行架构,数据条带化后均匀分布在存储集群上,可以实现计算节点并行访问,提供数百GB的吞吐和千万级的IOPS以及亚毫秒级时延。
3)弹性可扩展:支持在线的扩容,由于所有数据均以条带化的方式存储并且支持扩容以后的自动负载平衡,可满足性能的线性增长并且即时利用扩容节点的吞吐和存储能力,满足业务增长需要的更多容量与性能的诉求。
4)高可用:所有节点均为高可用设计。实现集群内秒级别的故障检测,并由CPFS集群调度器自动将服务切换到其他节点,同时兼顾负载均衡。整个切换过程用户不感知,提供远高于传统两节点的高可用性。
5)安全可靠:数据持久化存储于阿里云自研的盘古分布式存储系统,支持多份数据拷贝,可以提供11个9的数据可靠性,并完美通过了阿里双十一超高压力的考验。
产品功能:
1)兼容POSIX/MPI:文件存储CPFS的兼容标准POSIX/MPI,因此您可以使用当前基于Linux的应用程序,无需进行任何更改。需要MPI支持的高性能计算软件,也可以直接访问数据。
2)文件管理功能:支持目录级别的配额设置,以及ACL访问控制。用户可以将LDAP、NIS集成到文件存储CPFS中。
3)计算生态整合:作为阿里云中高性能计算存储服务,与高性能弹性计算、批量计算、容器等计算平台整合,支持集群直接挂载CPFS文件系统。用户CPFS中的数据可以借助阿里云丰富的计算生态进行快速分析。
4)并发访问优化:统一命名空间,支持成千上百机器同时并发访问,针对数据处理进行了优化。即使是大量的小文件,访问性能也可以提高10倍以上。
3.3 HDFS(Apsara File Storage for HDFS)
产品介绍:
阿里云文件存储HDFS(Apsara File Storage for HDFS)是面向阿里云云服务器、神龙裸金属实例及容器服务等计算资源的大数据文件存储服务。提供标准的HadoopFS(HDFS)访问协议,用户无需对现有构建在HDFS上的大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。
产品优势:
1)容量弹性扩展:存储容量随业务的写入或删除动态伸缩,只需创建文件系统,无需提前预置容量。
2)HDFS接口兼容:原生兼容HadoopFS接口,用户基于HDFS开发的程序无需修改和适配即可上云。
3)高性能:高带宽,系统吞吐量随文件系统容量的增长线性扩展,并提供预置带宽刚性兑付。
4)安全可靠:基于分布式存储的多副本技术提供高达99.999999999%的可靠性。
5)简单易用:全托管式服务,提供简单的控制台界面快速创建和配置文件系统。
产品功能:
1)大数据分析:高吞吐能力有效缩短大数据分析和计算的时间,存储计算分离提升计算资源使用效率。全托管存储让用户可以集中精力于业务数据分析。
2)高性能数仓:高吞吐和刚性吞吐兑付能力支撑用户在HDFS上构建自己的高性能数仓服务,并实现数仓的数据与查询能力的弹性扩展。
4、日志服务
产品介绍:
日志服务(Simple Log Service,简称SLS)是行业领先的针对实时数据一站式服务,无缝的集成了提供数据采集、清洗、分析、可视化和告警功能。全面提升海量日志处理能力,实时挖掘数据价值,智能助力研发/运维/运营/安全等场景。
产品优势:
1)数据实时处理:实时采集、传输,可1秒内到服务端,百亿级数据量提供秒级查询,专为关键业务监控和分析设计。
2)开放灵活:与开源/闭源软件打通,无缝结合。
3)安全可靠:多种访问控制、加密算法、权限管理、审计日志等特性保障数据安全。不低于99.9%的可用性和99.999999999%持久性。
产品功能:
1)数据实时采集:通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括Metric、Event、BinLog、TextLog、Click等)。
2)智能查询分析:智能查询分析可以实时索引数据,支持标准SQL92语法,提供关键词、模糊、上下文、范围、SQL聚合等丰富查询手段,并提供原生的交互式分析仪表盘,告警、报表等功能。
3)实时计算与数据清洗:日志中枢支持与各种实时计算及服务对接,并提供完整的进度监控,报警等功能,并可以根据SDK/API实现自定义消费。
4)对接数据仓库:日志投递功能可以将日志中枢中数据投递至存储类服务,过程支持压缩、自定义隔离以及行列等各种存储格式。
5)成本账单管理:日志服务可以与阿里云账单中心联合使用,为用户提供费用预测、异常账单挖掘、自定义搜索分析、费用优化、报告自动发送等服务,解决因为用户众多,规模资源频繁伸缩等造成的成本管理问题。
5、表格存储
产品介绍:
表格存储(Tablestore)是阿里云自研的面向海量结构化数据的存储产品,被广泛用于社交互联网、物联网、人工智能、元数据和大数据等领域结构化数据业务场景。提供基于表抽象的多种数据模型,包括宽行模型 WideColumn、消息模型Timeline以及时序模型Timestream,可提供PB级存储、千万TPS以及毫秒级延迟的服务能力。
产品优势:
1)极简的数据写入:模式灵活,支持千万QPS高性能写入,毫秒级延迟。同时提供丰富的模型接入选择。
2) Serverless服务:业务全托管模式无需管理水位和容量,分布式架构规模自动横向拓展,支持单表10PB数据量级,自动故障检测与恢复。
3)强大的数据检索与分析:提供分布式索引系统,包括多元索引、二级索引能力。支持WideColumn、Timeline和Timestream模型,便于不同类型数据抽象。实时捕获表内数据的变化,提供全增量一体数据实时消费通道,帮助应用高效完成数据全链路处理分析。
4)完善的计算生态:提供数据实时消费通道,与开源体系(Spark、Flink等)和阿里系自研产品(MaxCompute、DLA)等无缝对接。快速挖掘数据价值。
5)更高的数据安全:提供云原生灵活的权限管理机制与网络安全能力,支持数据落盘加密。
产品功能:
1)多数据模型:支持WideColumn、Timeline和Timestream模型,便于不同类型数据抽象,未来会扩展更多NoSQL数据模型。
2)索引查询分析:提供分布式索引系统,包括多元索引、二级索引能力。满足不同场景数据查询分析需求。
3)数据实时消费通道:实时捕获表内数据的变化,提供全增量一体数据实时消费通道,帮助应用高效完成数据全链路处理分析。
4)数据安全:提供云原生灵活的权限管理机制与网络安全能力,支持数据落盘加密。
5)计算生态接入:对接多种大数据计算引擎、与MaxCompute、Spark、流计算和数据湖分析等计算产品无缝打通。
6、混合云存储
6.1混合云存储阵列(Hybrid Cloud Storage Array)
产品介绍:
阿里云混合云存储阵列集成了云存储网关的混合云存储及企业级存储的特性,可以像使用本地存储一样使用和管理本地和云端的各种存储资源(块、文件和对象),本地存储通过云缓存、云复制、云分层、云备份等方式无缝连通云存储。混合云存储阵列和云存储服务相结合提供了一种经济高效,易于管理的混合云存储解决方案。
产品优势:
1)灵活的部署方式:良好的存储协议兼容性支持数据中心标准机架部署,支持Cinder/Swift,iSCSI,CIFS/NFS,FC/FCoE等业界标准的传输协议。
2)性能强大:提供协议转换,云缓存,云数据分层,云备份等能力,提供去重和压缩的数据处理机制,提供同步和异步数据传输方式。
3)数据安全:混合云存储阵列提供多控多活机制,云端提供11个9的数据可靠性,同时还有端到端的数据加密,全链路的日志监控和完备的数据一致性校验机制确保您的数据安全。
产品功能:
1)设备利旧,无缝上云:不修改原有使用架构,无需修改代码,像使用传统阵列设备一样使用,简单配置,即可享受云端无限扩容,低成本的存储空间。在块存储的使用场景下,阿里云混合云存储阵列可以兼容95%的主流存储阵列产品,通过虚拟化能力统一管理旧存储的卷,实现数据迁移和利旧。
2)异地灾备方案:利用阿里云遍布全球的数据中心,搭建异地灾备解决方案,无需投入巨资建设异地物理备份机房。搭配阿里云存储产品,轻松拥有数据生命周期管理及云上云下、异地容灾的能力,满足等保2.0合规要求。
6.2云存储网关(Cloud Storage Gateway)
产品介绍:
云存储网关以阿里云对象存储为后端存储,为企业应用提供行业标准的文件存储和块存储服务。云存储网关可以部署在客户数据中心或阿里云上,帮助客户简化存储管理,实现企业应用和阿里云存储服务的无缝对接。
产品优势:
1)海量扩容:基于对象存储,提供海量扩展的文件存储和块存储服务。
2)高兼容性:支持标准企业存储协议,无缝对接企业应用,无需应用程序改造,开箱即用。
3)分层存储:支持冷热数据分层,同时享受本地高性能读写体验和云端海量存储空间,兼顾不同业务对性能和容量的需求。
4)灵活部署:云存储网关既支持客户本地数据中心多虚拟化平台的部署,也支持直接开通云上网关服务。
产品功能:
1)混合云部署:利用存储网关及公有云的成本优势,助力企业或组织实现本地存储与公共云存储的统一融合体系。
2)数据迁移上云:异步多线程上传机制和数据自动一致性校验校,可以实现本地数据中心到云端的快速迁移。
7、云灾备
7.1混合云备份(Hybrid Backup Recovery )
产品介绍:
混合云备份(简称HBR)是一种简单易用且高性价比的在线备份服务,可以为阿里云云服务器、文件存储、对象存储以及自建机房内的各类数据提供安全,高效的保护。
产品优势:
1)全面支持:可备份文件、文件存储、对象存储、SQL Server、SAP HANA数据库、VMware虚拟机,支持Windows、Linux等操作系统。
2)安全可靠:端到端的数据加密校验,保障备份数据传输与存储的安全。
3)高速高效:数据重删/压缩压缩比可达30:1,确保数据高效备份到云端。
4)弹性扩展:依托于备份库的无限扩展能力,可实现海量数据的保存。
产品功能:
1)云端备份:保护本地数据中心数据,包括办公文件、设计稿、音视频、医疗影像文件、VMware虚拟机以及数据库等等。通过配置数据保护策略,备份数据上云,当数据出现病毒感染,误删误改时从阿里云备份库上直接通过软件还原数据,也可以在云上直接恢复数据实现恢复演练和数据分析。
2)VMware虚拟机备份迁移:HBR提供了针对VMware的高性能无代理备份功能,无需在虚拟机内安装代理即可为虚拟机提供可靠的整机备份。虚拟机备份除了可以恢复回VMware,还可以在阿里云上整机恢复成阿里云云主机,让业务可以在云上继续运行,实现极低成本的业务级容灾。同时支持云上快速灾备演练。
7.2混合云容灾(Hybrid Disaster Recovery)
产品介绍:
混合云容灾(简称HDR) 则是为本地数据中心以及阿里云上的企业关键业务提供低至秒级RPO,分钟级RTO的容灾服务,保障业务连性。
产品优势:
1)高效恢复:秒级RPO,数据实时复制,分钟级RTO,云上快速整机拉起。
2)可验证:一键演练,10分钟完成验证,高细粒度恢复,可验证历史版本。
3)低成本:无需对等配置计算资源,平时仅消耗云盘和极少量计算CPU内存,云上VPC、vSwitch、流量完全免费。
产品功能:
1)云上应用容灾:阿里云上部署在云服务器上的应用通过HDR的CDR技术,实现跨可用区或跨地域的实时复制,实现秒级RPO,分钟级RTO的高性能应用级容灾。更有容灾编排能力,可以预制多节点复杂应用云上一键恢复流程,是真正平时可验证,容灾时可恢复的容灾方案。
2)本地数据云端容灾:本地数据中心的关键应用通过CDP技术实时保护,实现秒级RPO,分钟级RTO的高性能应用级云容灾。更有容灾编排能力,可以预制多节点复杂应用云上一键恢复流程,是真正平时可验证,容灾时可恢复的容灾方案。
8、闪电立方
产品介绍:
闪电立方(Lightning Cube)能够为用户提供安全、高效、便捷的数据传输服务。支持将对象存储、文件存储从不同设备、不同云服务商迁移和同步到阿里云。它提供在线迁移和离线迁移(闪电立方)两种迁移方式,致力于解决大规模数据传输效率、安全问题等难题。
产品优势:
1)易用灵活:支持在线迁移和离线迁移,可视化配置页面,仅需三步轻松设置迁移部署任务。迁移过程实时监控,在线显示迁移进度。迁移结果提供报告,完成情况一目了然。
2)安全可靠:保证数据一致性,支持MD5或CRC自动识别源端校验规范,进行读写双向校验。传输加密,传输时,采用HTTPS数据加密通道。
3)高性能:支持多任务、高并发。支持个性化流控,为避免迁移数据与在线业务访问争抢网络带宽,在线迁移执行任务时可指定时间段内的最大流量,方便客户根据业务波峰和波谷来设置迁移流控。
产品功能:
1)数据迁移至对象存储:用户数据存储在第三方云服务商的对象存储中,需要将数据迁移至阿里云对象存储上。用户要求迁移中,需保证业务的正常进行,不能影响其用户正常读取数据。迁移完成后,需保证数据完整,业务可无缝切换。
2)数据迁移至文件存储:用户数据存储在本地服务器的文件系统中,本地机房能够通过搭建专有网络使用专线,实现云上与本地机房的网络互通。利用在线迁移服务将本地数据迁移至阿里云文件存储中。
3)数据离线迁移:先将数据迁移至闪电立方不同容量规格的硬件中,再通过物理运输把闪电立方运输到阿里云机房。借助机房的高速网络,实现数据迁移到对象存储或文件存储。
9、批量计算
产品介绍:
阿里云批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。批量计算可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。批量计算广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域。
产品优势:
1)大规模并发:支持十万核级别以上并发,极大加速计算过程。
2)简单易用:一键提交作业,自动完成资源管理、作业调度。
3)分布式缓存加速I/O:通过独有分布式缓存技术加速共享数据访问,大幅提升I/O效率。
产品功能:
1)图片渲染:批量计算的高效集群管理可以帮助您轻松调度十万核以上的计算资源进行渲染,并且通过独有分布式缓存技术大幅提升共享场景文件的加载性能。同时提供简单易用的渲染管理系统,无需编程实现云上渲染。
2)样本数据分析:支持基于有向无环图轻松构建复杂工作流,结合批量计算独有的分布式缓存技术和OSS挂载功能,无需特别编程就可以实现稳定高效的大规模样本分析。
10、智能媒体管理
产品介绍:
阿里云智能媒体管理(Intelligent Media Management,简称 IMM)实现了数据的场景化封装及智能分析管理。为云上的文档、图片数据,提供一站式数据处理、分析、检索等管控体验。针对不同的业务场景,封装整合完整的处理能力,让数据快速流转。
产品优势:
1) 数据处理:结合业界最优秀识别、处理能力,为应用处理提供丰富的数据支持。
2)高效运维:提供Serverless化服务,提升业务运维效率,简单运维难度。
3)数据识别:多种文件格式的转化、预览与识别,可面向具体场景构建快捷的元数据管理应用。
产品功能:
1)多设备智能管理:可以对家庭、办公等设备的图片、视频数据处理,并在云上实现组合分析、智能管理。消耗极少的带宽即可得到图片、视频的 AI 元数据,快速享受云端AI的技术服务。
2)图片内容识别:基于 AI 检测图片的标签,提供内容识别能力。支持几十个主标签,上千个子标签。图片场景快速添加标签,实现图片内容的高效管理。
11、存储容量单位包
产品介绍:
存储容量单位包(SCU,StorageCapacityUnit)是一种预付费存储售卖形态,可以用来抵扣多种不同类型云盘的按量付费账单。相比于随包年包月云服务器实例购买的云盘或者直接购买的按量付费云盘,存储容量单位包与按量付费云盘的组合使用,兼具性价比与资源使用的灵活性。
产品优势:
1) 简:采用预付费模式,存储容量单位包可以同时抵扣高效云盘、SSD云盘和ESSD云盘等产品的按量付费账单,购买更简单。
2)省:相比于按量付费的存储账单,最多可节省67%的成本支出。
3)灵:云盘与实例解耦,支持与实例的任意挂载和卸载。
产品功能:
1)简单易用:解决DevOps、微服务在不同运行环境如开发环境、测试环境和生产环境之间需要频繁联动和调整问题。
2)统一管理:已规划季度或者财年的费用预算,需要集中采购或者提前预支的场景;业务场景中会使用多种存储产品,希望多产品能够简化购买,统一管理的客户。
四、有效的产品赋能
1、计算
异构计算正在变得司空见惯,GPU、ASIC、FPGA和推理引擎的使用大大增加。随着数据处理对存储和计算在规模、速度、容量和成本等维度的需求不断提高,计算与存储分离可以最大限度地解耦这两类不同的关键资源,使得各自相对独立地扩展和演进。
在计算存储分离架构下,云服务器的主要组件如QEMU是部署在计算集群,阿里云块存储的大部分组件部署在后端的存储集群,而两者相关联处,则是和QEMU一起部署在计算节点上的存储端接入组件块存储端TDC。不论是云盘、本地盘还是共享存储,在计算节点都是由TDC组件统一管理,TDC提供了创建/删除盘、打快照、设置QoS等接口给虚拟化和管控去调用。
在功能方面,块存储提供的云盘采用分布式多副本机制,支持在可用区内自动复制用户数据,防止硬件故障导致的数据不可用。除了满足基础的硬盘功能如分区、格式化、创建文件系统挂载使用等功能之外,还提供创建快照、快照回滚以及加密云盘等选项。在性能方面,根据后端存储类型的不同,块存储会为云服务器提供不同类型的云盘以满足各类场景的需求,例如系统盘就可以选用高效云盘来实现。
2、数据库
数据库行业经过四十年的发展之后,正在从结构化数据在线处理到海量数据分析的全新转变。越来越多的企业正将新应用向云转移,数据库是云上应用的关键一环,对数据存储和计算分析的能力要求不断加强,而云数据库天然具备云上灵活性,能够提供强大的创新能力、丰富多样的产品体系、经济高效的部署方式和按需付费的支付模式。因此,面向数据库的计算型存储的出现便成为必然。
计算型存储是一种可以将部分计算任务从CPU中卸载到近存储或存储内部的存储服务。例如,在CPU和SSD之间的数据链路中加入异构处理器(如FPGA),承担定制化的计算任务或使用自带处理单元的SSD(如ARM、FPGA 等),计算任务在SSD内部完成。
在数据库和实时业务分析场景下,阿里云推出全球百万级IOPS的企业级ESSD云盘,相比于SSD云盘分别提升40倍性能和降低70%读写延时,在实际的业务场景测试下,以MySQL和PostgreSQL为例,采用ESSD云盘可获得3到4倍的TPS性能提升。此外,ESSD云盘支持不停机扩展容量、不停机提高I/O读写性能上限、数据加密等高级数据服务功能,给客户在弹性、安全等方面带来了更多的技术红利。
3、容器
分析机构Gartner相关报告指出, 2022年有约75%的全球化企业将在生产中使用容器化应用。随着容器采用率的增长,一方面更好的实现了CPU、内存的统一调度,另一方面持久的有状态容器中的数据也需要备份和保护。虽然不能完全取代,但容器将增长到可以比肩虚拟机的量级。分析师预测,随着2020年Kubernetes的广泛采用,可能会出现更有竞争力的为容器提供备份服务的供应商。
作为云原生的重要基础,容器离不开云原生存储的支持。具体而言应该具备以下三点:
1)提升数据层面的一致性,比如参数优化和版本控制等;
2)构建统一的控制平台,提供面向客户声明的API;
3)在调度编排层面实现拓扑感知,实现云盘与本地盘的可用区调度;
目前云原生存储支持声明化的API,云原生负载可以直接通过数据层面无损耗的使用存储产品在容量、性能、吞吐,时延以及可访问性、共享/独享的能力,在控制平台继续提升面向用户应用的I/O可观测性,应用级的QoS,多租户的隔离能力,通过控制平台接口实现可声明的存储接口,并提供对部分数据存储生命周期的管理,容器编排还可以把业务应用和存储粘合成为实际的负载声明,让云存储发挥更大的作用。
由于公共云的基础设施存储产品较为完备,可以使用更加轻量化的数据平面来访问产品存储。专有云环境差异较大,虚拟化或者无虚拟化环境下,SAN和裸盘是主要存储方式,需要采用软件定义的方式,通过数据平面实现存储的访问。针对vSphere、OpenStack以及专有云,则采用公共云存储的方式。在容器共享存储、动态网站、DevOps开发测试、小文件读写等场景下,阿里云推出文件存储NAS极速型,提供百微秒级延时,同时提供文件系统级快照进一步提升数据安全性。此外,容器镜像的配置文件或初始加载数据存储可以在NAS文件存储上实现共享,在容器批量加载时实时读取,多POD间通过NAS共享持久化数据,在POD故障时可以进行故障切换。
4、网络
网络是存储系统中的重要性能瓶颈点。TCP从设计上并不适合长传,如果需要TCP在长传上提供较高的性能就需要对TCP各项参数进行调优,要考虑诸如三次握手、慢启动、收发窗口等因素对传输速度的影响。为此,阿里云存储的多款产品从设计上进行了优化。以对象存储为例,对象存储推出的全球传输加速服务是为加速远距离数据传输推出的新功能,此功能利用对象存储分布在全球的云机房,将来自全球各地的用户访问由DNS 路由至就近的对象存储接入点,用户请求到达对象存储就近节点后,会经过优化过的网络及协议访问Bucket所在的数据中心,将TCP并不擅长的长传变成短距离传输,进而实现传输加速。
此外,对象存储提供多线BGP接入,提供极致的访问体验。在钉钉的实际应用中,基于阿里云对象存储在传输加速方面的出色能力,钉钉在跨区域的图片处理、文档预览的并发处理速度上有了10倍的提升。
5、数据中台
在《数据中台:让数据用起来》一书中,数据中台被定义为一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断把数据变成资产并服务于业务的机制。数据中台是中台这一全新架构的基础。阿里巴巴的中台机制,能够将这些场景化的技术转化为通用类技术,沉淀出来的产品也就具有足够远见和竞争力。
数据中台本身起着承上启下的任务,对下为客户屏蔽复杂的数据采集、存储、加工、建模、分析等一系列数据处理流程,这就需要有经验的数据架构师帮助客户整体规划、设计;对上服务于企业的各类业务应用,需要有行业经验的业务架构师一起参与到业务梳理中,以业务应用反推数据建模和数据治理的工作。所谓“业务数据化、数据业务化”,业务和数据二者不可分割,业务需要数据予以展现,数据需要业务获得增长。因此,中台的建设不是一个简单的数据或业务项目,而是需要站在运营的角度去思考数据如何服务业务、数据如何驱动创新等问题。数据中台依赖底层的存储和计算引擎,必须和底层的存储和计算引擎深度绑定,必须借助于数据建模后的数据资产进行具体的数据应用,拿到具体的业务结果。在这个过程中,数据中台离不开云端的支持,包括存储在内的基础设施,需要能够从组织的维度、战略的维度进行全面云化的构建,这样对数据中台的落地实施将会带来更为有益的效果。