构建大数据中台实践经验分享

随着云计算、大数据和人工智能为代表的新一代信息技术迅猛发展,信息时代开始快速过渡到大数据时代。人工智能的发展为服务型*建设提供了技术支撑,管理型*向服务型*的转型也成为大势所趋。当前我们处于IT时代往DT时代转型、管理型*往服务型*转型的过程中。建设服务型*,应当创新传统的信息化项目运行管理模式。
大数据中台建设有以下建议:
1、 构建符合DT时代的更创新灵活的“大中台、小前台”的业务机制。
a) “大中台”主要是指构建大数据中台,搭建全市统一的大数据中台,支撑全市各业务部门对外提供数据化服务,通过数据中台打通全市各业务部门的数据,更精准地为全市提供全方位数据服务。
b) 前台是指全市各业务部门的不同应用组成的前端系统平台,例如,各业务部门搭建的业务系统、门户网站、手机APP、微信公众号等都属于前台。前台各种应用从大数据中台获取数据支持并将新增数据沉淀在大数据中台,但每个业务系统的开发不受大数据中台建设模式及其运营公司制约;大数据中台更多的是起到决策、支撑、监管、服务等方面的作用。
c) 通过采用“大中台、小前台”模式,实现了业务与数据的分离,数据成为了各部门业务系统共同需要的土壤。构建大数据中台的目的是实现数据的统一存储、统一管理、统一安全、统一模型和统一数据服务,强化对数据资源的整合利用。
d) 从技术复杂性角度分析,中台战略集中了平台大多数的核心技术,“小前台”所代表的各单位业务系统虽然数量多,但是对平台整体产生影响的技术含量小。
e) 对于比较复杂的综合性系统,可以在数据中台的基础上搭建业务中台,但鉴于该市业务系统数量较少、功能相对简单,不需要构建单独的业务中台。
2、 大数据中台构建需要选择成熟的基础架构和实施团队
a) 数据中台的概念是最早由阿里巴巴首次提出,是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题,也是中国乃至世界第一家系统地践行了中台战略的大型互联网公司。从2018年下半年开始,以中台战略为核心的组织和技术变革席卷互联网和各地方*。
b) 基于成熟基础架构构建大数据中台,不要再依靠拿来主义发展短平快的软件平台,摆脱对开源软件技术路线的依赖(无法真正做到自主可控,受制于人,Bug偏多,稳定性和扩展性差),采用依靠自主创新开发的具有自主可控特点的成熟基础架构软件。
c) 项目建设过程中选用在DT时代有成功落地经验的团队提供业务咨询和落地服务,尽量在别人的成功经验上进一步扩展平台,同时吸收别人的失败教训避免犯类似的错误。
d) 充分参考借鉴其他城市成功经验,如杭州、衢州等。
3、 采用渐近式实施策略
a) 由于各单位原有业务系统的复杂性,数据中台的建设和完善不可能一蹴而就,应当采取渐进式实施策略,将原有系统数据逐步整合接入大数据中台,新业务系统则一律直接构建在大数据中台之上。
b) 要把数据、系统看做是资产,探索对数据资产的运营,大力从数据中挖掘价值反哺投资的不足,促进数据资产的增值,从而实现大数据局和大数据公司之间的紧耦合。
c) 平台建设是一项一把手工程,具体建设时可以采取成立临时工作机构的方式,让各单位信息化管理人员集中办公,由市大数据局统一管理、统一考核,增强平台建设力量。
d) 建议大数据中台实施分期进行,可以尝试指定3到5年长期发展战略。

  1. 第1年主要关注大数据中台本身的落地,少量接入现有业务系统,并重点打造1到2个亮点业务功能。
  2. 第2年开始大量接入现有业务系统并开始为新建系统和老业务系统改造提供数据服务支撑。
  3. 第3年随着大量数据的落地,尝试提供全局级的数据调用服务和数据增值服务,为更多创新型业务提供数据支撑。
上一篇:接入层限流之ngx_http_limit_conn_module


下一篇:海量数据仓库:元数据管理分享