结合过去5年在*、企业和教育等多个行业落地数据中台的实际经验，多数数据中台以混合云为主（满足企业私密化数据存储和访问需求的私有云部署平台+提供高伸缩性的公有云平台），私有云平台的部署可以选择使用阿里云飞天平台专有云，也可以基于开源体系如Hadoop 3.0 （作为底层Framework）+ Spark 3.2 +TensorFlow 2.0。 公有云平台部署一般选择阿里云云原生大数据计算服务 MaxCompute+大数据开发治理平台 DataWorks+机器学习平台PAI。以下简要概述公有云平台如何进行搭建以及基于阿里云公有云产品体系搭建有哪些好处。
- 一、海量数据仓库构建
海量数据仓库的构建主要基于阿里云云原生大数据计算服务 MaxCompute，相比于国内其他公有云离线分布式计算引擎， 总结了一下使用MaxCompute直观的几个优势：
- 整体使用费用低： 相比于其他公有云厂商产品，MaxCompute数据存储的使用成本优势明显，特别是按量计费部分，其计算资源和下载服务是按照实际使用量付费，而不像其他一些厂商名义上是按量计费，实际上是将包年包月转换成了按分钟按小时收费（哪怕实际上你只使用了存储资源，没有使用计算资源和下载服务也收取相应费用）。
- 核心引擎自主可控，满足很多项目客户的核心诉求，隐藏的BUG比较少，后期运维巡检和性能调优部分操作简单。
- 支持混合型分析场景： MaxCompute支持流批一体，支持开放数据生态，以统一平台满足数据仓库、BI、近实时分析、数据湖分析、机器学习等多种场景需要。
- 匹配业务发展的弹性扩展：存储和计算独立扩展，动态扩缩容，按需弹性，无需提前容量规划，满足突发业务增长。
根据实际体验，MaxCompute产品本身具有以下特点：
- 运维全托管： 阿里云公有云上MaxCompute以全托管的 Serverless 在线服务形式对客户提供服务，开箱即用，操作和使用都比较简单，并提供深度的弹性资源扩展，可以满足企业的超大规模集群资源需求。
- 数据安全保护能力强： 阿里云公有云上MaxCompute为企业提供了超过20项安全功能，帮助企业实现了从基础设施（Infrastructure）、平台层（Platform）到用户权限管理、隐私保护等多层安全功能。
- 湖仓一体： 提供了自有的湖仓一体功能，集成了对数据湖OSS或者 HDFS的访问分析，支持外表映射、Spark直接访问方式开展数据湖分析；在一套数仓服务和用户接口下，实现湖与仓的关联分析。
关于MaxCompute的更多功能，大家可以访问阿里云官网：云原生大数据计算服务 MaxCompute
- 二、大数据开发治理平台构建
相比于基于开源Kettle等工具构建大数据开发治理平台，直接使用阿里云DataWorks功能更全，操作也更简单，具体包括：
- 图形化支持：DataWorks提供100%的图形化操作支持，这一点对系统集成商来说很重要，可以极大的降低操作难度和实施成本，这是开源产品所不能比拟的。
- 支持的异构数据源比较多： DataWorks目前大约支持50种以上的异构数据源，比如传统的关系型数据库Oracle、DB2、MySQL、PostgreSQL、SQL Server， 开源产品如HDFS、Hive、HBase、Elasticsearch、Kafka、MongoDB、Redis等。
- 支持离线和实时数据同步场景
- 提供敏感数据智能识别，为存储环节的静态脱敏和使用环节的动态脱敏，内置数据水印算法，支持数据泄露后溯源可能的泄露源，并提供用户异常操作风险监控和审计。
- 三、机器学习平台构建
通过阿里云机器学习平台PAI进行各种机器学习和深度学习建模，比使用开源平台如TensorFlow等具有以下优势：
- 图形化支持力度强： 相比于开源机器学习平台更多的使用命令行和开发API的的使用方式，PAI提供完整的图形化操作支持， 极大的降低了操作使用难度。通过使用PAI-Studio可视化建模平台，用户可以进行各种分布式的大规模传统机器学习计算，也可以进行各种大规模分布式深度学习、强化学习训练， 并支持流批一体训练和计算。
- 提供了PAI-DSW云原生交互式建模平台，满足了用户灵活的交互式机器学习开发需求：内置JupyterLab、WebIDE及Terminal，适合不同业务场景及客户需求。
- 机器学习算法丰富： PAI内部封装了100多种机器学习算法，支持一键部署。