贝壳找房基于 Flink 的实时平台建设和Flink 在小米的应用与实践

2023-10-13 13:55:52

《Flink 在小米的应用与实践》

夏军

小米流式平台负责人

嘉宾简介：夏军，小米流式平台负责人，主要负责流式计算，消息队列，大数据集成等系统的研发工作，主要包括Flink，Spark Streaming，Storm，Kafka等开源系统和一系列小米自研的相关系统。

内容简介：1）小米流式计算发展历史 ?2）小米Flink具体应用场景解析?3）未来展望

《贝壳找房基于 Flink 的实时平台建设》

刘力云

贝壳找房-数据智能中心实时计算负责人

嘉宾简介：目前任职于贝壳找房数据智能部，实时计算负责人。曾任职于滴滴、IBM、新东方。工作领域涉及实时计算、大数据平台、推荐系统、文本分析、知识图谱等。目前负责贝壳找房实时计算平台的设计开发，该平台承载了公司的实时ETL、数据分析等任务；支持实时数仓、实时指标的建设。在滴滴期间负责数据平台知识图谱项目的调研、设计和开发，为数据平台提供更智能化的数据查找方式。在新东方期间从0到1搭建了新东方教育集团大数据平台，包含数据总线 CDC 的设计开发、数仓建设、查询平台搭建；开发了符合教育系统的实时推荐系统、文书比对查重系统等。在 IBM 期间负责的 ECM 产品中的重要组件的设计开发。

内容简介：实时计算在贝壳找房的发展历程：贝壳的实时计算最初以定制开发的方式，满足各种业务需求，随着需求越来越多，越来越复杂，定制开发已经远远不能满足日益增长的需求，也很难应对需求的变化。开发通用的实时计算平台成为了当务之急，贝壳实时计算平台 hermes 应运而生。目前平台能够支持模板任务、场景任务以及自定义任务的开发，提供了对平台上任务的全方位管理和监控，保障了任务的稳定、高效运行。贝壳找房实时数仓建设：随着实时计算平台功能的不断完善，使得实时数仓建设成为了可能。贝壳实时数据仓整体设计吸取了 lamda 架构和 kappa 架构的有点，为公司的二手、租赁、新房等业务的实时指标、实时分析提供了很好的支持。实时数仓在贝壳找房的未来发展方向：业务部门对实时数据的需求越来越强烈，涉及的方面也越来越多。实时运营、实时营销、实时风控、实时推荐等场景将来会是实时计算、实时数仓重要的应用场景。