数据中台从何而来

DT时代,大数据成为人们谈论的焦点,2019年更被誉为数据中台元年。人人都在谈数据中台,却不是所有人都清楚,从历史逻辑来看,中台或者数据中台从何而来?

少数清楚这段历史的人中,有一位大数据老司机,人称「才院长」,他是回答这一问题的最佳人选。

他叫才言。奇点云首席战略官,9年大数据老司机,「数据交换区」专利操盘手。
数据中台从何而来

9年之前,才言初次踏入阿里巴巴大门。对才言来说,揭示未来趋势是个脚踏实地的研究历程,与其研究复杂的经济结构变化,不如抓住简单而明显的趋势,阿里巴巴是一个趋势,而数据则是下一个。

数据中台从何而来?才言用其亲身经历为我们回答。

01 缘起:作为生产要素的数据

在入职阿里之前,才言是管理咨询公司的一位战略咨询顾问,努力帮其客户理解趋势的同时,也在为自己寻找趋势。他发现,商业世界最不容忽视的一个简单趋势是,企业的数据正在变得越来越多。

才言清晰的记得,「2012年,大数据之所以兴起(的背景在于),有句话反复出现:人类迄今为止生成的数据中,有90%是在近两年内产生的。」

2011年,才言在在阿里研究中心(现阿里研究院),研究电商服务业并且以研究者身份进驻淘宝商家事业部,见证了淘宝数据开放的过程(API每日调用量千万次到百亿次)。

2011-2013 海量数据如何塑造新商业?

进入阿里之后,才言一头扎进了数据的海洋。他第一份工作是利用http://alibaba.com上的数据来预测中国的进出口。他发现,互联网数据颠覆了传统的宏观经济指标的抽样采集工作,互联网数据的加工可以做出全新的宏观经济变量。

「(在阿里研究中心的)这段经历部分回答了我的疑问:海量数据对商业世界有什么影响?——如果一家公司的数据极为丰富,会发生什么?能够有什么启示?」2009年,阿里研究中心发布网商报告,提出「海量个性化」这一新概念,才言也随之找到了自己的兴趣点,也有了越来越多发现。

因为研究电商服务业,他发现,从 「数据是生产要素」这一命题展开对新兴行业探求的话,数据是有成本的,而且一定程度上成本高昂,跟大家认识到的「数据几乎零成本复制」完全不同。不仅如此,在良好的用户体验这一约束下,数据的采集也有机会成本。从这两点来看,数据是稀缺的。它具备生产要素的特点,会极大影响企业的商业模型。

因为研究电子商务生态系统,他接触到同事们把理论物理的复杂系统分析方法引入到研究中来,第一次看到淘宝数据展现出的「自然分布律」适用于淘宝女装卖家,第一次用「连通性」等理论物理语言重塑产业研究。顿时,他感觉数据极为丰富之后行业研究这个职业都要变天了。

他从品牌商品在网络渠道的实时渠道数据里,第一次观测到品牌商「渠道灰度」:随着时间的延展,商品(某类sku)的价格和数量变动的情况,实时反映了渠道结构与关系。「在线下人们只是感知到这个规律存在,而在数据极其丰富的线上,借助强大的计算平台这些都得以直观展现。」才言说。

才言对数据的认知在改变的同时,他也在思考,阿里的生态可以利用阿里的数据做些什么?

才言当时的本职工作是对淘宝生态业务的跟踪研究,需要思考淘宝开放平台(以及服务市场)的运转机制究竟是什么?应该是什么?需要解释的是,淘宝开放平台即后来为人们所知的共享服务平台(即阿里的业务中台),不光服务淘宝还服务外部,职责是把淘宝的数据开放给淘宝认可的合作方。其中,数据服务的方式是API服务方式。

在做业务的过程中亲手实践了「封装API服务ISV」,才言陆续意识到问题所在:从供给需求的角度,自2010年起经过三年多的数据开放现有的1000多个API覆盖范围极广,但平台供给给市场的数据数量和类型是有限的,导致了交易市场上的ISV的APP供给也是有限的(超过6000多个),使得市场竞争趋于同质化。然而在API封装的过程中,大量的数据、算法因为过严的安全审核无法对外开放,一定要去寻找新的数据服务方式。

2012年阿里巴巴同步「聚石塔」发布而诞生的CDO(数据平台部),极大地刺激了才言。在2013年的淘宝服务商大会上,才言提出了「在CDO的基础上构建新的电商服务业」的想法,并且随后就转岗到了CDO。

2014-2015 A如何用B的数据?

「到岗第一天的会议里,老A讲到淘宝数据还处在自给自足的原始状态。各种光怪陆离的情况层出不穷,」才言回忆起CDO,不禁哈哈大笑:「当时有个实习生刚入职3个月,表的生产总数全淘宝第一。还有个资历非常深的BI因为在公司工作很久,合法积累了很多数据使用权,于是很多团队的算法合作不得不找他,因为他有数据霸权。有了计费计量之后,有个勤奋的员工在宽表里跑一段sql,花掉上百万RMB,太可怕了。更可怕的是他的工作后来经过审计还是合理且必要的。」

这大概就是数据极为丰富之后如何治理的最初状态。

春江水暖鸭先知,阿里巴巴的状况也将预示着数据如果进入有序的提供价值的状态时,商业世界变化极大。当时,CDO团队所共识的大数据理念是「数据从业务中来,回到业务中去」,共同的愿景是解决「A如何用B的数据?」的问题。

才言在CDO做的第一件事就是担任商家数据中心(2015年迁回淘宝后改为品牌数据银行)PM。这一项目首次尝试把商家散落淘宝的所有数据大集中,解决商家在经营决策中的数据工具问题。

在梳理某知名淘品牌的商家数据时,他大吃一惊:商家想要看一份正式的BI报表,但这份BI报表的数据源分散在13个淘宝的部门,而依据阿里集团数据安全规则,谁生产数据谁对数据的使用负责。这些数据存储在不同的数据库、不同类型的数据库,甚至不同的计算集群。在技术上尽管当时CDO做出来了享誉阿里的DXP数据交换平台,但割裂的数据如何通过可信可靠的方式对内对外服务?显然还有很长的路要走。

商家数据中心应该实现什么功能?为了了解商家需求,才言找了大(年收入十亿级别)、中(年收入亿级别)、小(年收入千万级别)三家典型商家进行试验,商家数据中心第一次尝试把淘宝给商家用的数据尽量集中,方便商家加工数据,继而做分析和洞察。这也是淘宝生态里第一个BI工具(数云NewBI)的缘起。

「大数据最终会影响各行各业,要想在这个行业做出点什么,我决定两步走,一是扎实的基本功,尽可能熟悉基础的大数据技术。我花了接近两年的时间,把数据平台CDO最重要的3个引擎——BI引擎、推荐引擎、营销引擎都做了一遍。二是在工程实践的基础上尽可能掌握行业实践。了解多行业多领域就会触类旁通,只呆在其中一个环节导致视野变窄。」他说道,「很幸运,在深入电商4-5年后有机会在阿里这个大平台上从数据的角度接触几乎所有行业,明白了数据平台最重要的框架结构和主要应用场景。」

在挖掘数据的业务价值、推动数据在业务中应用方面,标志性的事件是TCIF(淘宝消费者信息库)——统一拉通阿里的消费者数据,并进行标签化,形成了3000个消费者标签。这些标签在具体的使用过程中,才言接触到了「表级别字段级别的数据开放」、接触到数据交换区在阿里各BU的推进。

「我的小伙伴把友盟等BU的数据上云,对于那些没有上云的BU比如UC,他们如何合理合法合规且安全地使用TCIF以及TCIF延伸出来的数据服务。这是我当时的工作。」对比之前在淘宝开放平台的工作,才言认为,数据安全和数据价值是相对而言的,重要的是数据技术本身在不断演进,以API形式开放的形式是数据开放方式里未来一定不是主流,这也是他从计算广告的实践中获得的认知。

以智能广告为例,整个页面从请求广告、智能推荐、调取广告素材并展现,整个过程就200ms。数据服务是一个高速运转的闭环链路,数据金矿若想被服务商更好地利用,主流不是API开放的方式。

2015-2017 如何让数据产生价值?

2014年的阿里技术论坛上,后来的奇点云创始人兼CEO行在(张金银,TCIF创立者)发表演讲《大连接》,认为大数据的本质就是大连接。「这一点我非常认可。」才言提到:「如何让数据产生价值,第一件事就是数据要连接。有些一些脏活苦活累活必须要干,这是有价值的。」

自2012年7月成立以来,阿里内部各BU在马总「one company」战略下持续推进数据大连接、大集中。

在连接的过程中,数据和业务逐渐实现双赢。以TCIF为例,一方面行在团队通过 TCIF 服务集团内部各业务方,另一方面业务方使用数据服务的过程中,也产生数据回馈CDO的ID mapping服务,使之更强大。从实践出发,行在总结了「数据共建共享」的数据交换理念。
出于对「大连接」和「共建共享」理念的认同,才言参与了行在主导的数据项目——整合阿里上市前后收购的全资子公司之间的数据,进而推动数据交换区。

作为「数据交换区」专利的落地操盘手,才言帮助UC第一个成功使用专利成果,合规地使用阿里巴巴集团的数据。经过半年多的努力,阿里巴巴前20个数据交换区多数都是才言建立,他认为数据交换区是数据平台未来的最高阶应用,「最狂妄的时候我有这样的错觉:没有数据交换区的数据平台都是扯淡」。

「我们发现在数据使用的过程中存在奇点。」才言复盘数据交换这件事的意义时谈到,「先有需求再有供给。业务方是要到知道业务可以数字孪生,业务可以数字化;知道业务提升的瓶颈,感受到痛;他知道他需要什么数据时,数据交换才会发挥价值——这个临界点就是奇点,这个临界点过后AI跑出来的效果才可能超过业务专家。」

那年一个重要变化是,阿里云内部提出了要从DBA到DA(Data Architect,数据架构师),才言转岗成为第一个DA:「真正的DA大多对各类计算平台很熟悉,懂数据架构,知道算法如何工作,且能够深入业务场景。只有这样,他们才能和机器一起在生产率上超过业务专家。」

02 转折:数据中台从何而来

不管是当时还是现在,阿里巴巴对数据的认知和应用能力都是超前的,不仅是技术超前、人才储备超前,应用场景也超前,成本收益也与众不同。2015年,行在创立了数加平台,提出了「普惠大数据」,把阿里的大数据技术和能力通过一个新的平台对外透出,让大数据普惠各行各业。

才言也参与数加平台在阿里内部的创业,在云栖小镇的平台垦荒岁月里,才言负责数加的业务板块,建立了数加23个工作室(由阿里云合作伙伴建立,形成大数据能力服务各细分行业)。
数据中台从何而来

(2016年数加平台在云栖大会正式发布)

找到一个合适的客户

「普惠大数据」的具体实践中,有两大问题:一是鸡同鸭讲——你跟客户讲技术客户跟你讲行业;二是大炮打蚊子——平台功能大而全要解决的问题很具体充满细节。

「第一个客户是华数,华数认同阿里的大数据技术是一回事,但是让华数明白甚至构建数据平台是另一回事。虽然阿里最终提出了「数据中台」的理念,但是服务2B客户时客户听不懂,没法落地。同时,阿里内部组织叫做数据平台事业部,需要对大数据在组织中的作用重新定义,否则无法落地。」才言回忆当时碰到了不少问题。

一家好的合适的客户,对于大数据理念的落地至关重要。

如何找到合适的客户?在经过23个工作室的实践和筛选后,才言初步得出一个结论:零售和*会率先践行大数据的落地。「离开阿里云之后,我们创建奇点云时剑指这两个行业。行在提出了两句话:帮助*高效治理,帮助实体零售转型升级。」才言补充,这与2019年阿里云的组织结构调整后行业分布不谋而合。

「我们(当时)接触了传统电商和传统实体零售企业。」才言回忆,「对于传统电商,数加平台能够帮助这类纯电商平台做好智能应用,常见的是广告和推荐,但纯电商平台的业务重点还是流量获取优先于流量转化。」那时,流量获取已经开始往线下走,并且有了直播、短视频等等苗头。

「而对于传统实体零售企业,数加平台能够帮助他们做好智能决策(主要是BI),但是纯实体零售企业信息化尚待完善,人货场的数字化还在未来。」才言说,在2015年的时点上,这两类零售客户显然都不是理想客户。

直到后来的奇点云联合创始人兼COO公主(刘莹,时任阿里云西南大区负责人)带来了一个客户,「我们详细访谈了(客户的)各部门后发现:他们花10年时间在各零售业态建立起品类优势,然后再花10年的时间在信息化、互联网、移动互联网、O2O时代都做成了品类第一。」才言掩饰不住兴奋,评价这个客户:「老板对组织创新想法非常大胆且敢于执行。对于战略卡位点敢于投入,比如抓住移动互联网的机遇时,内部有10多个团队各自根据消费者的场景发展业务独立开发APP,3个月拼一次生死,最后活下来的业务最终代表了公司竞争力,指明了方向。」

但即使这样,仍然经过了七轮沟通,双方才最终确定了合作关系。

客户命名了数据中台

这次合作的客户有别于传统实体零售企业:老板掌握了平台开发的特点,但迫切需要对技术平台进行微服务改造;并且借鉴阿里2015年底提出的「大中台战略」,提出了「多端卡位,相互PK」的战略部署。

「与阿里最大的不同是,阿里自2007年起就「去SAP」,后来惊天动地地提出「去IOE」。而这位老板先后把Oracle和SAP用过一遍,最后自己组织团队开发。」才言说客户的痛点很有代表性,「如果技术架构不变,他们认为SAP的Idoc接口效率太低,会拖死他们。就像大多数实体零售企业的底层管理信息系统仍在建设中,客户在SAP上做大量定制,成本高昂。」

客户提出,已经尝试搭建过数据仓库且失败了(信息化之后需要把数据合到某个地方去加工,10T左右的数据量,传统的IOE已经不能承受),需要立项一个新的数据项目。

「对于项目是否能验收,客户有两大要求:一是能够支撑业务转型,最后我们通过Datav实现了四个部门跨13个环节的作战,通过推荐实现了旗舰APP的个性化智能化等等,二是广泛应用到阿里云的产品,最后我们用了18多款产品,其中包括8款数加的大数据产品,10款阿里云的云服务。」才言说,最后团队总结客户的需求是「两云一端」,用以概括支撑业务O2O转型的系统技术架构。

「两云」指的是业务中台+数据中台,「一端」指的是AIOT终端,到目前为止,这仍然是对中台最精辟的总结,而这个客户项目也正是「两云一端」的第一次成功实践。

1、业务中台:「名称是客户取的,早在我们合作之前就有。」
业务中台当时解决两个问题:首先是业务方需要数据时,可以通过一个接口平台来调用,如果前端的业务系统太多影响应用效率;第二个问题是业务方系统数据太分散,需要把会员、商品、订单等重要的数据重新在逻辑上内聚、集中。

「后来,业务中台往门店端、营销端和供应链端不断延伸,技术上不断去中心化,业务上不断中心化支撑前台多变的需求。」才言提到客户的现状:「这是一个不断侵蚀的过程。上一轮信息化的所有成果,在新的系统架构里从功能和架构层面都再做了一遍。」

2、数据中台:客户不满意「数据平台」的提法,新的数据项目命名为数据中台。
客户发现,现有的后台业务系统(ERP、CRM、TMS等)具备深度的行业属性,跟公司内外的业务流程深度融合,必须持续投入增强竞争力,但是持续投入就产生了组织问题——如果生搬硬套用阿里的「数据平台」,这个部门在组织内部成长不起来,也成为不了最底层的业务。
在了解了微服务架构(业务中台的雏形)之后,客户认为,有了前台系统,有了后台系统,顾名思义应该有数据中台,中台面向业务应用,而平台则不具备业务特征,因此把新项目命名为数据中台,以方便内部项目推进,并且在投入产出上可以算清楚数据账(数据存储与计算的投入产出比)。

3、AIOT终端:终端智能化提升业务竞争力。
「从消费者、企业、技术服务各端的变化来看,我的垂直类目优势面临挑战。」才言回忆客户老板谈到,消费者会走向无现金,客户店铺无现金支付比例已经接近20%(2015年),刷脸支付带来了方便的同时,智能物联使得门店台面变得越来越智能。零售企业受到即时物流和近场零售的挑战,如果业务不再进行一次碎片化再重组,将经受不起任何冲击。

「技术上,你们比我们懂,阿里在推中台战略,AI在兴起,还有很多新技术层出不穷。」这位老板认为市场决胜的关键是:未来智能门店IOT逐步具备性价比,需要将业务高度集成一体化,需要将三代技术体系兼容打通,业务重构形成新零售平台。

数据中台走向成熟

第一个客户的合同落地很困难。

「特别痛苦,在当时的阿里云组织架构里,没有签过类似的合同。合同落地需要跟法务财务做大量沟通,而且在项目组织上算法、数据甚至计算等技术人员调动、协同难度极大。」才言回忆到。

「在客户的“威逼利诱”下,我们项目组饱受折磨之后,有了2016年年底这一稿,第一次从架构上定名为数据中台。后来,这个词广为人知,并且,阿里云在2018年年中第一次对外发布双中台。」才言的成就感从微笑的眉角溢出,「我们实践了业界第一个客户项目,第一次把双中台画出来做出来,一步步调整架构图,后来,这些PPT被很多人查阅,也被人反复修改。」
才言回忆往事仍然历历在目:「2016年云栖大会马总提出新零售等五新,我们当天在大数据分论坛上发布了双中台架构图。」

数据中台从何而来

(业界第一个双中台雏形)

客户项目获得了成功,公主告诉才言:「客户的项目负责人在组织内部连升三级,这就是项目的价值所在。」通过这个项目,才言他们还学习到了要敬畏传统行业,或者说叫做敬畏线下:电商平台虽有平台的搭建和运营的经验,但是线上场景里缺少供应链相关的内容,而传统零售企业的「端到端」供应链则是他们的立身之本。

「有必要回顾一下阿里提出业务中台和数据中台的历史,这里有无数阿里大侠们的智慧结晶。」才言回忆起这个过程时满怀敬仰。「数据平台是长期以来阿里巴巴对内部大数据团队的叫法,数据中台是阿里面向2B客户提出的理念,也是云上PASS的解决方案。」

才言回忆2014-2015年,他通过App-push 智能化推广项目获取的经验,淘宝运营团队对流量极端渴求,推动了技术的大胆应用,「淘宝就是一个强大的共享服务中台支撑了200多个团队四面八方打仗,利益优先全方位无敌国外交,开展合作不管内外。」

「阿里B2B有句老话:技术支撑业务,我入职B2B时最喜欢的一句话。」才言认为中台技术在阿里的形成历程是业务驱动技术进步:阿里是首先发展业务,再建共享中台。

  • 2009年,阿里巴巴开始建共享服务平台,不叫业务中台;
  • 2012年开始建数据平台,当时还不叫数据中台,数据平台在系统架构上处于底层;
  • 2015年大数据能力通过阿里云数据平台透出,对外提供数据服务;
  • 2015年,阿里巴巴开启了企业架构调整:业务中台化,前端业务部门可以像搭积木一样调用平台上的产品技术模块,从而快速搭建新业务场景,通过「业务数据化」实现了业务的数字孪生;数据中台化,打破了不同业务部门之间的烟囱式IT架构,打通了数据孤岛,为「一切数据业务化」打好了基础。

「2015年是标志性的一年,搜索完胜人工运营,从收购雅虎中国起,长达十年的争论结束了。这是一个精细化,业务专家不断AI化的过程。」才言兴奋的说:「一旦从投入产出上迈过了大规模数据存储和计算的高成本,将会产生持续的高效创新。我第一次看到机器把人分成两类,指挥机器的人和被机器指挥的人,淘宝这个终端会快速走向机器人化」。

数据中台替代数据平台,则从名称上标志着数据技术走向可认知可利用。才言认为,如果客户还称之为数据平台,那么说明客户还是在做数据仓库项目;如果客户叫数据中台,则说明客户决策层已经认识到数据的价值,开展数据业务。

03 认知:中台创新不只是一个技术问题

中小企业是否需要中台?

「这是伪命题,一点都不明白企业主的思考逻辑。」才言对这个业界争论的问题提出自己的观点。「信息化、渗透率、云化,老板可能不关心这些。但是正视威胁,业务竞争力的提升,以及通过机器长期吸纳业务专家的经验来优化人才结构,最终形成一个有竞争力的组织。这是战略和组织的问题,老板一定关心。」

才言认为,中台创新是一次巨大的商业技术浪潮,可比较的是1972年SAP成立后对商业的影响,中台技术的商业化,可以利用美国人的原创技术和思想帮助中国企业弯道超车。这不只是一个技术问题,还是组织和文化的问题。

「马总说阿里未来的组织像美军的大中台小前端。自从2015年开始做第一个数据中台项目,我就越来越关注军事工业。」才言再次提到美国对中台的借鉴作用,「企业的数字化转型就像二战后美国*的转轨。」

《美国国防工业转轨》里提到:国防部战略从作战平台(舰船、飞机、坦克)为基础的,转变为以信息为基础。才言提出这段话说清楚了信息时代作战的本质,也是信息的作用,因此企业老板的战略思想和执行层的战术原则,都需要因时而变:「美国1945年就开始变,从总统、到国防部、到NASA、到军工复合体,到商务部。以史为鉴,你应该变。」

对企业老板而言,数据中台首先是一个咨询问题。在数据平台的策略从用户量优先转向营收优先之后,才言签下了第一个数据中台的咨询项目,在他看来,数据中台要想落地,首先需要咨询的帮助,因为数据中台不只是技术问题,更是一个战略选择问题、组织管理问题,是一个决策难题,甚至是文化落地问题。

1、战略选择问题(怎么选?):互联网巨头以平台的方式对各行各业产生了巨大的影响。平台经济是未来企业发展的共识,也是企业家的危机意识所在——自家企业要么平台化,要么成为平台的生态。

2、组织管理问题(怎么管?):现代企业管理理念开始从「控制」转向为「赋能」。传统的管控线对待创新是不友好的,而组织赋能的好处在于,一方面决策灵活应对多变的市场环境,另一方面全程数字化足以推进权力进一步下放。赋能式管理是对创新的尊重。

3、复杂的决策难题(怎么办?):数据中台从技术上讲是架构上的变化,项目立项对企业的影响将是全方位的。甲方不仅要决策数据中台产生的应用价值(解决具体问题的投入产出比),还需要决策大数据支撑AI来强化原有产品或者服务的竞争优势(AI构建新竞争壁垒的可能性),更需要决策数字化转型中组织结构所必需的IT投入(投入够不够的风险)。

4、文化落地的问题(怎么想?):数据中台推动了「大中台小前端」的组织变革,大中台对协同的要求之高,小前端对优胜劣汰的要求之高,是前所未有的。这是科学博弈的竞争文化。不光要求老板转过来思想,而且要渗透在组织行为的日常中。这些势必会产生文化冲突。

才言研究过企业的发展史,200年不到的实践中,所有的企业都从杜邦、福特、通用、戴尔、ebay等标杆性的美国企业身上学习过工业化技术和经营管理经验,在才言看来,中台背后的技术革新和产业实践,始作俑者都是美国人,但是用的最好的是中国人,中台就是代表。

「2016年之后,我开始跟我的咨询业前辈大量传播数据中台和业务中台,我甚至认为这是中国咨询业可以弯道超车的一个历史机遇。」不仅是咨询业,用中台帮助所有中国企业强大(这个时代的所谓「强大」是迈过奇点,真正拥抱人工智能),这也是才言心里最简单的出发点。
奇点云CEO行在在创立奇点云的一段话,可以用来代表才言的初心:「所以叫奇点云,我们一直希望这家公司,能够帮助*能够高效治理,帮助商业企业更加智能。*的高效治理能够服务好企业,加之企业更加智能各行各业强化了比较优势,中国经济的竞争力会更强。这些都是吸纳中台技术和经验后中国*和企业能够做到的。」

中台,表面上是一个简单的词,有前有后,逻辑简单,概念普适,也很符合中国人「中庸」的理念,但是作为战略的卡位点和经营的着力点,中台也并不简单。在参与多个中台项目之后,通过与各行各业客户和业界前辈沟通,才言总结了三点:

1、中台为前台而生,要扛业务KPI。
从技术架构上来看,中台要负责从ERP等70多个系统里同步数据,数据计算成完后展现给前台的业务系统,前台的业务系统直接面向消费者,中台的「中」字就是这么来的。

「不是买了阿里云的云产品就可以建中台了。中台有强大的业务内涵。不过阿里云的那几十款产品还是要了解掌握的。」才言笑着指出,前台是由各类前台系统组成的前端平台;后台是由后台系统组成的后端平台;中台是真正为前台而生的平台,为了更好的服务前台规模化创新,响应用户,使企业做到自身能力与用户需求对接。

前台业务足够丰富、业态复杂,需要中台做承接,把各个平台的数据集中打通。需要中台的客户说明他们的业务正在平台化,中台的核心是中间件技术,中间件技术是为了平台使用的,客户的组织往扁平化发展,需要双中台的系统。

2、中台 for 业务,不只是 for 管理。
中台是为了让业务系统更加高效,而不是让管理系统更加万能。

抛开技术本身,大数据根本不是一个底层的问题,它是一个上层「for 业务」的问题。数据转型和应用,一定是强调从业务出发的,因为数据是业务的映射,业务上有什么需求,才相应抓取、分析、挖掘相关的数据。

比如,经常提到的问题是,中台里的会员中心和CRM系统是什么关系?从「for 业务」的视角分拆来看,CRM系统里,流程协作的功能会进入到前台终端,「for 管理」的数据分析与建模需要强大数据中台来支撑,而其他部分都分拆进入了中台里的营销中心或者会员中心。

顺便提一句,数据中台是企业业务和数据的沉淀,利用数据中台,可以提升效能、更好支持业务发展和创新,不仅减少烟囱式协作的成本,也是差异化竞争优势所在。

3、中台全部自建投入巨大,需要借助外力。
中台是企业掌握ABC(人工智能、大数据、云计算)技术的基础设施,技术冲击给商业组织带来了重要命题:如何利用这些生产工具来提升工作效率?延伸而来的是公司内部的组织关系会发生什么变化。

中台需要至少持续5-10年的技术规划,不是一两个技术项目可以覆盖的,中台是一个有技术和业务深度的企业服务领域。对企业而言,企业的CTO需要转变为CDO(首席数据官),信息部门要大变,人才结构也会大变,这都不是单靠企业自身能解决的问题。

04 落地:亲历奇点云AI驱动的数据中台

「一家公司的成功, 七分战略,三分管理。大趋势大浪潮比什么都重要。」2017年,才言加入奇点云创始团队,回忆起他在咨询公司时,老板说的这句话,他认为,数据中台就是下一个大趋势,尽管当时大数据还只是一个小圈子的玩意。

把大数据说成小圈子,才言的理由是在客户眼里,大数据尚不成熟:

1、从使用者的角度:「中国真正有PB级数仓的开发经验的人,其实很少。2014年我第一次搭建100TB级别的互联网数据传输通道,那个时候阿里云的产品还不成熟,数仓的秘钥,在线存储的安全漏洞。」才言提到伤心事:「一天到晚低声下气向人请教,周会上压力太大直接把我气哭了。我反省我是一个无知的人,后来意识到这是无人区。」

2、从搭建者的角度:大公司的场景特殊,比如阿里巴巴太特殊以至于hadoop跟不上业务创新,*自研。但是绝大多数企业,开源社区足以满足需求。「代码都在那里,关键是太过于复杂,开源社区更新如此之快。」产品化成为当务之急,客户可以拿来即用。

3、从业务方的视角:教科书上,数据仓库的传统应用是BI和CRM。而实际场景中业务方都在提出数据引擎的需求,这些需求超越了营销、商业智能、推荐等常态的业务范围。更重要的是,业务创新在不断拓展产品深度,「数据一旦走出了自给自足的状态。这又对数据安全产生了更高要求。开源的演进还在持续。」

工程实践在业界的稀缺性,使得奇点云这一类阿里系的创业公司有了先发优势。

「奇点云开始只是一个技术强国的初心愿景。真正化为行动,我们要坚持的是产品在云和端同时布局,拥抱2B时代。」才言说,2015年,马总提出互联网前20年就是技术产生的20年,接下来的30年是技术应用的30年,大数据、云计算、深度学习、机器学习在过去的20年产生了,接下来面临的就是应用问题,前面二十年是信息化的浪潮,应用技术的过程就是智能化的浪潮。

创业的高风险,迫使奇点云创始人行在一直在思考业务聚焦:在「智慧零售」和「数据中台」这两条赛道上,不是要左右逢源,而是集中力量打歼灭战。

在数据中台赛道上,「AI驱动的数据中台是我对市场竞争的回答,也是我认同的唯一解。」才言提到:「所有的这类公司会走向趋同。而奇点云与他们有着本质不同」。

数据中台从何而来

(数据中台的分层:三层的技术架构)

从技术架构上看,客户对数据中台的这三层需求,边界清晰,很好地满足了市场需求,仅仅只做其中一层都有问题,他是自上而下的,也是自下而上的。是因为AI只有在具体的场景与可控的边界解决问题,数据中台是中间层,尤其对实体零售业态多、绑定具体的业务场景时,对CIO、COO、CEO来说都很好理解。

从技术到产品,是奇点云迈过的第一个鸿沟。

「产品大图,其实是客户的需求大图。奇点云相信数据红利给客户带来的价值,挖掘它赋能业务又体现出了数据平台的基础价值。」才言说:「这就是行在提的:端滋养云,云赋能端。」

「我非常认同马总提的DT时代。在我看来数据中台就做了2件事,把AI落地,把BI系统升级」,才言总结到:「在这张产品大图里,任意的云端组合都只为一个目的:在可信可靠的数据基础上做数据智能的应用,针对性地解决客户某个具体场景中降本和增效的问题,是一个范围明确、产出清晰、可量化、可立项、能落地的事,帮助客户储备大数据人才,比以前做BI的厂商采用数仓的解决方案要好的多。」市场上本来就有这种需求,数据中台出来后,正好以新的基础设施的形式结合深度学习的浪潮,原有的需求被新的基础设施满足。

「数据中台最重要的产出是要有闭环的数据服务,去服务前台的业务。对服务线下实体零售来说,线下智能在线化就是通过智能硬件,在数据反馈闭环的同时要掌握前台的端。」才言说这个大数据业界对云端的共识,将会在零售行业真正落地。

从产品到服务,则是奇点云走过的第二条路。

奇点云倡导的数据中台五维度服务体系包含数据中台咨询、数据中台产品设计、敏捷交付、数据智能应用、团队赋能,是完整的一套解决方案。

「数据中台解决方案是解决具体场景问题的,对团队有严苛的要求,一定要有数据团队、算法技术团队,而奇点云从成立第一天起就开始做算法研究,应用场景丰富。」才言提到。

从服务体系到走进行业客户,则是奇点云走向成功的关键。具备百购商超、大时尚、大快消、*、创新孵化等多行业成功经验,实实在在为客户创造了价值。

未来,是一个数据即经济的时代。在赋能企业的道路上,才言将与奇点云一起脚踏实地,帮助企业找准大数据应用的切入点,快速推动企业数字化转型升级。

上一篇:Linux 原始套接字抓包实例


下一篇:复制数据库表数据到另外一张表