乔帮主的直播内容经精炼整理、分以下5篇:
一、分享介绍&架构三原则
二、云架构、架构的原始阶段和基础阶段
三、架构动静分离和分布式阶段
四、架构数据缓存阶段和两个维度拓展阶段
五、架构微服务阶段
架构微服务阶段:容器、Fast Data架构
在微服务阶段,结合容器技术,未来业务跨云平台分布式架构才是最主流的形态。如左边架构图所示,在这个架构阶段采用的云产品,相比水平扩展的分布式阶段,主要增加了DNS智能解析、时序数据库InfluxDB、阿里云容器服务kubernetes(ACK)、数据库传输服务DTS。
这阶段有四个核心技术特点。
第一点:我们通过容器技术DOCKER+K8S,让业务部署跨平台,不依赖云平台或者底层物理环境。
第二点:通过DNS智能解析,我们能将用户请求分别调度转发到不同平台中。说到DNS智能解析,其实CDN的就近访问核心功能就是依靠CDN的智能解析。
第三点:在跨云平台分布式架构中,最难的技术点其实就是核心技术点,就是数据同步。我们把业务部署在不同平台上,意味着数据在不同地域上,我们怎么样保障不同地域连接的数据库的数据做实时同步,保障数据一致性呢。阿里云有DTS成熟的同步方案,加上专线高速通道解决数据传输速度等问题,这也是这方面较成熟的解决方案。
第四点:采用时序数据库InfluxDB,实现海量数据实时采集及存储,并且实现海量数据的实时查询计算。具体我们看一个FAST DATA的案例:驻云DataFlux产品功能架构图。
驻云DataFlux当然也是采用微服务+容器的架构。在这里主要跟大家分享的是fast data技术特点,即如何体现在fast上?如图架构图,我主要说三个实时的技术特点,让大家理解fast data阶段的技术特性。
第一,数据的采集上,DataFlux可以采集各类业务场景数据源,并且是实时的采集的。采集器有驻云自主研发的datakit、wdf、pdf采集器,也支持telegraf、prometheus等热门采集器。这是第一个实时性。
第二,数据实时采集后,通过数据网关(类似zabbix proxy代理),上报到数据处理开发平台,进行实时处理。
第三,最为核心的实时性特点,数据经过实时处理后,核心通过influxdb时序数据库进行统一存储。
Influxdb是个分布式数据库,读写速度能轻松达到秒级千万级数据量。特别是在查询分析上这是influxdb的核心优势。利用这第三个实时性的特点,我们把数据输出到数据洞察等多种企业级应用场景中,能轻松应对大规模海量数据的实时分析。这也influxdb为什么适合物联网IOT海量数据读写的重要原因,也基本上是物联网IOT架构中不可缺少的技术环节。
通过“Fast Data”的一个案例,本次围绕“阿里云千万级架构构建”的主题分享就这些,更多精彩可购阅我新出版书籍哦。