阿里云数据库李飞飞:云计算推动数据库向云原生快速演进

文章来源:36氪

12月30日,阿里云云原生数据库PolarDB举行年度发布。过去的一年是阿里云数据库硕果累累的一年。11月,Gartner公布阿里云进入全球数据库领导者象限,是国产数据库几十年积累的重大突破;12月,中国电子学会公布PolarDB获得科学技术奖一等奖。阿里云数据库深耕11年,至今已服务客户10万余。

阿里巴巴集团副总裁、阿里云智能数据库事业部总裁李飞飞表示,云计算正在推动数据库向云原生快速演进,阿里云数据库已全面布局云原生。

深耕11年10万余客户

2020年11月,“完美日记“上市了。迅速崛起的“完美日记”,从2017年的全新品牌,到如今的 “国货之光”,成为今年创投圈的现象级案例。

快速的业务发展背后,是高压力的系统挑战。“完美日记”找到了阿里云数据库。阿里云服务天猫“双11”多个年头,已具备丰富的应对大流量经验。

2020年4月,“完美日记”三周年大促,最后一天压测,订单系统下单速度达到1万笔/每秒,对应PolarDB数据库的写入速度10万TPS,比半年前的系统吞吐提升了50倍。在4月14日活动当天,抢购开始瞬间系统涌进了几百万用户。每秒成交的订单数创历史新高,订单峰值比历史最高峰值再次提高了几倍,高峰业务流量比半年前提高了50倍。

“完美日记”只是阿里云数据库的一个案例,是阿里云数据库11年以来,服务的10万多客户中的其中一个。

阿里云数据库始于2009年
2009年,阿里巴巴用开源的MySQL替代了Oracle。
2010年,阿里巴巴又基于MySQL着手打造开源数据库AliSQL,并对淘宝商品库进行改造。
2012年,AliSQL支撑了首个“双11”。那是“双11”的第四个年头,已从2009年销售额0.52亿、27家品牌参与,发展到了2012年销售额132亿、10000家品牌参与。
2013年,已经家喻户晓的淘宝下线最后一个Oracle数据库,这不仅是中国云计算发展的历史性节点,也是数据库技术变革的转折点。

就这样,阿里巴巴完成了从商业传统数据库到开源数据库的转变。

2016年,云计算在国内风起云涌,AlphaGo掀起了人工智能的热潮,在人工智能的助推下,云计算愈发火热。腾讯宣布“未来5年将投入100亿发展腾讯云”;后来成为云计算创业公司独角兽们的UCloud、青云、七牛云等纷纷拿到融资,各自以不同的姿势,崭露头角。
同年,”双11”销售额已达1207亿、98000家品牌参与。这时,阿里云数据库已支撑双11四年。
”双11”的场景对数据库提出了极高的要求。如果继续在开源数据库基础上进行改进已经无法满足业务需求。

于是,阿里巴巴启动了自研数据库

2017年,阿里云数据库推出首个云原生关系型数据库PolarDB,计算能力最高可扩展至1000核以上,性能比MySQL高6倍。

随后的几年,阿里云数据库飞速发展

2018年,阿里云数据库进入Gartner数据库魔力象限,是该榜单首次出现中国公司。
2019年,阿里云数据库再次入选Forrester数据库评估报告,成为国内首个获得两大*机构认可的科技公司。

进入“云原生”时代,全面布局云原生数据库

如今,阿里云数据库经历了传统商业数据库,走过了托管数据库,已经进入了以自研为主的云原生数据库产品阶段,并且开启了全面的云原生布局,进入“云原生”时代。

2020年的Gartner的报告中,“阿里云数据库”赫然出现在领导者象限中。

这是中国数据库历史上重大突破,也是中国基础软件行业首次进入Gartner魔力象限的全球领导者。

Gartner用“丰富和深厚的产品”来评价阿里云数据库。

在这次的发布会上,一张图诠释了阿里云数据库的“丰富的种类覆盖度和完善的产品布局”,这也是阿里云数据库云原生的布局。
阿里云数据库李飞飞:云计算推动数据库向云原生快速演进

*阿里云云原生数据库发展历程*

阿里云数据库的云原生布局,覆盖了在线交易型数据库、分析型数据库、NoSQL数据库。以PolarDB为代表的云原生数据库已经在助力客户从传统数据库升级到云原生数据库;在OLAP领域,利用云原生数据仓库AnalyticDB(简称ADB)、云原生数据湖分析DLA帮助客户实现从传统数据库仓库升级云原生数据仓库,实现数据库大数据一体化、离在线一体化。阿里云推出的云原生多模数据库Lindorm,以及云原生内存数据库Tair是NoSQL方向的代表,帮助客户在IoT等场景下的数据实现高效存储与处理。

为了简化用户使用云端数据库,阿里云构建了丰富的云原生数据库生态工具,包括传输、备份到管理,数据传输可以使用DTS,做端到端数据的同步;用DBS数据备份做多云多端的逻辑备份、物理备份;用DMS可以做企业级的开发建模流程;用ADAM则可以做针对基于传统数据库和数据仓库开发的应用评估和迁移。

此外,基于智能化的技术,阿里云数据库还构建了“自感知、自决策、自优化、自恢复”的云原生数据库管控平台。

下一代数据库的六大关键技术

李飞飞认为,云计算的本质是利用分布式技术将资源高效池化,云计算推进数据库向云原生体系快速演进。数据库大数据库一体化、Serverless、弹性已成为今天数据库的主题。

“从传统结构化数据,到在线数据库的交互式分析,再到今天多元异构数据处理,我们见证了数据库从关系型数据处理,演进到多元异构多模数据库等产品形态。”李飞飞谈到。

那么下一代数据库的关键技术有哪些呢?

第一是“HTAP:大数据数据库一体化”,处理分析一体化、离在线一体化。

第二是云原生+分布式,将云原生的资源解耦,资源池化的能力,和Share-nothing的分布式水平拓展能力结合起来。

第三是智能化,将机器学习和AI技术应用到数据库内核、管控平台,使数据库系统做到自感知、自决策、自优化、自恢复。

第四是“多模”,随着数据的多样性不断增长,需要多模系统对多元异构的数据进行处理,包括了传统的结构化数据、日志、文档、K-V数据等。

第五是“软硬件一体化”,需要充分发挥硬件优势,例如数据库如何发挥Intel AEP、RDMA高速网络等。

第六是“安全可信”,在传统可信的基础上,比如日志审计、访问控制、落盘加密,我们还提供了全加密链路、区块链技术来实现不可篡改的日志等。

这些,就是企业级数据库需要持续去突破的关键技术。

阿里云云数据库正以云原生在此实践。

以PolarDB为例,首先,是“安全增强”。李飞飞表示,从不同的方面,我们将PolarDB的安全推到了新的高度:支持了SSL传输、透明数据加密(TDE),从而实现全链路访问加密。另外,备份数据实现了永久保留,可以满足各类数据合规保留要求。PolarDB的可用性SLA,也从原来的99.95升级到99.99%。

从引擎支持的角度,阿里云的云原生数据库PolarDB第一个支持MySQL 8.0版本。今年,PolarDB发布了MySQL 5.7的支持,对所有主流的MySQL版本进行全面的覆盖,包括了5.6、5.7和8.0。另外,PolarDB还可以高度支持兼容Oracle,可以帮助客户快速、成熟的把传统数据库迁移到云原生数据库。

今年,PolarDB还发布了一系列的降本增效能力,例如存储包、金融云等都做了大幅降价,最高达降幅达50%。

随着数据量的爆发式增长,阿里云的核心产品企业级云原生分布式数据库PolarDB-X使用Share-Nothing架构,实现水平扩展,底层则使用Paxos协议实现三节点同步,具备金融级高可用、高可靠能力。PolarDB-X结合了历经多年“双11”考验的X-DB和分布式查询引擎DRDS实现。在今年,PolarDB-X发布全局二级索引与透明分区等能力,向用户提供了透明分布式的能力。具体的:全局二级索引的全新发布,帮助用户简单的实现多个不同维度的查询,业务系统则像使用单机系统一样,通过编写简单的SQL语句就可以实现复杂的、多维度的业务逻辑,而不用关心数据一致性、数据分布等复杂问题。通过基于成本的执行路径选择与流量转发,PolarDB-X的HTAP(混合事务与分析处理)能力发布使得用户可以更加的简单支持混合负载的业务。

在刚刚过去的“双11”,云原生数据库PolarDB和云原生数据仓库AnalyticDB首次在阿里巴巴大规模应用,PolarDB刷新处理峰值新纪录,TPS高达1.4亿,比去年提升60%;AnalyticDB处理了7.7万亿行实时数据,相当于5.5个国家图书馆的数据总量。

此外,云原生技术不仅在阿里内部大规模普及,也通过阿里云服务全社会。以物流行业为例,中国邮政引入PolarDB-X和AnalyticDB,应对“双11”期间超过上亿的订单业务峰值,10万人可同时查询包裹实时状态;申通快递将核心系统搬到云上,大规模部署阿里云容器,亿级包裹过境,系统稳如泰山,IT成本降低了30%。

上一篇:Flume数据导入ODPS方法


下一篇:pb程序在64位操作系统上使用Instant Client 连接oracle数据库