6月15日,阿里云流计算杭州峰会在阿里巴巴西溪园区曼陀山庄隆重举行,原本限定100人的规模,现场座无虚席。本次阿里云流计算杭州峰会,聚焦实时大数据处理,邀请了袋鼠云、鸥新软件和阿里集团技术、产品深入分享基于阿里云进行大数据处理的解决方案、最佳实践、开发实战等内容,并侧重交流阿里云流计算产品以及业务场景,解决遇到的计算难题。
流计算的产生即来源于对于上述数据加工时效性的严苛需求: 数据的业务价值随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理。而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式,即以小时甚至以天为计算周期对当前数据进行累计并处理,显然这类处理方式无法满足数据实时计算的需求。
在诸如实时大数据分析、风控预警、实时预测、金融交易等诸多业务场景领域,批量(或者说离线)处理对于上述对于数据处理时延要求苛刻的应用领域而言是完全无法胜任其业务需求的。而流计算作为一类针对流数据的实时计算模型,可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本,最终有效满足实时处理大数据的业务需求。
阿里云流计算脱胎于阿里集团内部双十一实时大屏业务,经历了全球历次双十一的技术大考——‘1.8亿/秒的数据洪峰’,‘全链路延迟三秒,流计算延迟一秒以内’。阿里云流计算产品已具有国际领先的产品优势,在吞吐/时延、SQL支持、开发体验、窗口支持、乱序支持、上下游对接等多方面都优于其他云厂商的产品。通过它,您可以快速搭建具有亿级QPS处理能力的流式大数据系统。
陈守元(巴真)
阿里巴巴
产品专家
相对于批数据来说,流计算其实还是算是一个比较新颖的概念。但也同样拥有着相当广泛的运用场景。随着互联网+、物联网、大数据时代的逐渐到来,数据在推动社会进步和变革的步伐越来越快。流计算也有了越来越多的机会帮着传统企业进行转型和升级。可能很多用户目前还没有意识到流计算的内容、作用。我们也是希望通过这种一系列的活动来告诉大家,什么是流计算,流计算能为大家做什么,以及在具体业务中怎么提升企业效率和经济效益。
让业务实时,让数据发电
郭华(付空)
阿里巴巴
流计算产品负责人
付空主要从产品层面,介绍了阿里流计算的工作内容、与大数据实时化的解决方案,阿里对于流计算的思考,以及典型案例。此前,流计算一般宣传用户实时报表,演示大屏的场景较多。而现在实时推荐,实时风控等场景也在逐渐成为流计算的实践案例。
如何巧妙运用流计算?
蔡新峰
鸥新软件
技术总监、合伙人
上海鸥新与阿里云流计算合作较早,使用场景中,对流计算更有创新性的运用。蔡新峰主介绍了原理、应用场景,以及鸥新在客流分析系统上使用阿里云流计算带来的效益。
Blink SQL技术及原理揭秘
孙金城(金竹)
阿里巴巴
技术专家
随着近些年大数据技术的不断发展和成熟,无论在传统行业还是互联网公司,批处理计算都无法再满足对数据与日俱增的实时性的要求。流计算已经从Nice to Have变成了Must to Have,流处理的场景越来越多,需求越来越强烈。金竹的演讲重介绍Flink SQL关键核心技术,并对个别算子进行底层实现和原理进行介绍。
袋鼠云如何解决茅台销售过程中的‘黄牛’问题?
訚赛华(勒蔑)
袋鼠云
技术架构师
基于茅台电商的业务痛点和实时业务监控需求,结合阿里云流计算平台,袋鼠云在如何新零售行业,提升企业运营和决策效率的问题上也有很多自己的思考。
Blink之数据湖
张荣(荣蓉)
阿里巴巴
高级产品经理
荣蓉重点介绍流计算推出的新功能:Data Lake场景下的数据清洗,数据传输以及数据分析等能力。结合IoT行业具体场景,展示Blink在数据湖场景下的使用方式及优势。
蒋晓伟(量仔)
阿里巴巴
研究员
此外,阿里巴巴实时计算团队负责人量仔在现场接受了浙江电台的专访。
量仔也对流计算团队和业务作了总结和介绍:我们整个部门是阿里集团计算平台事业部,负责阿里集团整个底层数据计算平台的构建,目前阿里集团内部所有的大数据业务的计算都运行在由我们构建的基础平台之上。同时,我们对外通过阿里云平台,向全社会开放我们的计算能力,希望人人都能够享受到阿里巴巴一流的计算能力。我这里团队主要基于Apache Flink构建阿里集团的实时计算平台,我们希望通过Flink领先的技术,能够推动阿里集团以及外面各行各业的大数据全面进入实时计算。
阿里云流计算可以提供BlinkSQL协助用户简单轻松完成流式计算逻辑的处理。同时,受限于SQL代码功能有限无法满足某些特定场景的业务需求,阿里云流计算提供全功能的UDF函数,帮助用户完成业务定制化的数据处理逻辑。在流数据分析领域用户直接使用BlinkSQL+UDF即可完成大部分流式数据分析处理逻辑,目前的流计算更擅长于做流式数据分析、统计、处理。主要解决了用户的三大痛点:
1.流式数据的及时性;
2.一站式的流式数据处理;
3.SQL化的流式分析
同时,实现实时的数据监控/分析。比如BI人员可以看到自己网站实时的访客数据变化,购买情况,交易额波动等,不需要一段时间后才能做统计和分析。之前150人/月的工作,现在只需3个人/月就可以轻松解决,效率提升了50倍。
阿里云流计算在4月商业化正式上线,上周推出‘新用户免费试用一个月’活动,同时起售门槛降至‘2个CU’,对流计算有场景需求的用户可以立即申请:https://data.aliyun.com/product/sc。
嘉宾演讲PPT下载:
阿里巴巴-付空《流计算-让业务实时,让数据发电》:https://yq.aliyun.com/download/2815
上海鸥新-蔡新峰《应用分享》:https://yq.aliyun.com/download/2816
阿里巴巴-金竹:《Blink SQL关键技术及实现原理》:https://yq.aliyun.com/download/2817
袋鼠云,勒蔑《流计算,让新零售起飞》:https://yq.aliyun.com/download/2819
阿里巴巴-荣蓉《Blink_Data_Lake》:https://yq.aliyun.com/download/2820
活动录播视频:http://www.itdks.com/eventlist/detail/2287