互联网业务的发展,推动着互联网技术的发展,后者对底层技术的需求也改变着以往底层技术的形态。无论技术形态如何变化,只要抓住互联网的技术本质,就可以看清技术的发展方向。
我认为,互联网 技术有两个本质:一是“ 极低的成本要求“,因为业务发展的不 确定性及算力代替人力 的大方向,必然会采用基千廉价、普惠硬件的技术路线 ;二是“极高 的吞吐要求“,那么只能是分布式技术,因为单机提供的算力和存储都是有限的。
要实现这两个要求 ,除技术创新外 ,往往要考虑分布式带来 的两大挑战 :一是运维复杂度问题;二是稳定性问题,这些都是非常关键的课题。本书不仅从使用哪种技术的角度,告诉大家如何更好地选择存储系 统,更重要的是从存储技术 的发展、架构方式上给出了两个本质和两个挑战的思路。
阿里云的产品是基千飞 天操作系 统进行建设的,而飞天操作系 统是巾三大关键技术组成的,分别是代表计算的神龙架构、代表虚拟网络的洛神架构,以及代表存 储的盘古架构。阿里存储从早 期的 TFS演化到今,经受了大 规模业务的考验,已经是世界上最为成熟 的产品之一。本书介绍 的对象存储基千盘古存储引 擎实现,后者和存储产品相结 合以进行研发演 进。
盘古架构为大量的存储产品提供了底层的架构支撑,这种架构设计为存储产品线的快速创新提供了 可能,除对象存储外,如数据库使用 的 DBFS, 使得分布式架 构的数据库存储和计算进行了分离,分布式数据库也实 现了资源预估的灵活性,计算资源和存储资源可 以按需扩展。当然类似的存储产品还非常多,在阿里云官网上,我们可以看到数十种存储产品,随着客户需求的迭代发展,新的存储产品会不断诞生。
阿里云的研发体系 ,正经历一个从研发到研究 的历史性进程。对象存储的技术 研究不 局限千某一种实现,更希望为产业带来系 统化的提升和思考。
蒋江伟(小邪)阿里云高级研究员2021年 7月于杭州