【行业应用】阿里云实时计算 Flink 版在线教育解决方案

行业挑战

随着互联网技术快速发展、经济水平不断提高、社会对教育重视程度也越来越高,在线教育行业的发展呈显著增长趋势。iiMedia Research(艾媒咨询)数据显示,2020 年中国在线教育用户规模将达 3.09 亿人,市场规模将达到 4538 亿元。受政策利好、社会教育意识加强以及中小学学生升学压力等因素的积极影响,未来 K12 在线教育市场需求还将继续扩大。

同时,在线教育行业与大数据及 AI 的结合也越来越紧密:

  • 人工智能:利用 AI 技术可以将知识点进行分解,构建学生知识网络,精准发现学生的知识漏洞,并即时反馈,从而有针对性的推送相关教学内容,促进个性化教学,提高学习效率。
  • 大数据:运用大数据和生物特征识别技术,可以分析学生的特征和学习状态,精准描述用户画像,掌握学生学习时的专注度和投入度。

在线教育行业实时化和智能化转型的过程中,对实时数据处理面临很多问题:

  • 数据量大:包括日志、数据库、业务集群数据等均有实时分析需求。
  • 低延时:很多场景对低延时需求非常迫切。
  • 使用角色多样化:公司中各个角色,包括 BI 分析师、其他技术人员、业务运营人员等对实时报表都有需求。
  • 需求复杂:在线教育行业业务模型复杂,一些实时 BI 场景逻辑也非常复杂,需要平台有完善的 SQL 支持。

解决方案

【行业应用】阿里云实时计算 Flink 版在线教育解决方案

在线教育行业,实时计算 Flink版的典型使用场景:

  1. 实时 ETL&索引构建:提供 Flink SQL,大大简化计算模型,降低用户使用 Flink 的门槛。
  2. 实时统计&分析:实时数仓构建。
  3. 实时机器学习平台:实时特征处理,为下游机器学习模型训练准备数据。
  4. 实时事件处理:在线教育行业定型的监控及风控业务。

实时计算 Flink版在这些场景的优势:

  1. Flink SQL大大降低实时数据处理的门槛,BI 分析师、普通工程师、业务运营人员等都可开发 Flink 任务。
  2. Checkpoint 实现 exactly-once 语意。
  3. Watermark 解决数据延时和乱序问题。
  4. 丰富的 Window 实现,满足不同业务需求。
  5. 多种内置 Connector 支持,无缝对接各种开源及云产品,大大降低生态对接成本。

成功案例

VIPKID

客户简介

VIPKID 是全球增长速度最快的在线青少儿英语教育品牌,纯北美外教 1 对 1 在线授课,通过互联网的方式将中国小朋友与北美老师连接起来。2017 年 8 月,VIPKID 推出全球首个 100% 浸入式教学在线少儿中文教育平台 Lingo Bus,正式发力中文出海业务。2019 年 6 月 11 日,VIPKID 入选“2019 福布斯中国最具创新力企业榜”。截至 2019 年 8 月,VIPKID 平台付费学生规模超过 70 万人,北美外教数量超过 9 万人。2019 年 12 月,教育部办公厅公布第一批教育 App 备案名单,VIPKID 通过备案。

*数据来源:百度百科

业务需求

  1. BI 实时指标计算:VIPKID 的核心业务场景中,需要实时统计当前时间的约课数量,是计算平台团队的一个核心需求。
  2. 实时 ETL:VIPKID 日常的业务中,包含大量的数据 ETL 工作,数据来源也非常多样,包括:

    • 在线教室网络链路的状态和日志
    • 业务系统日志
    • 业务数据
    • 操作日志

系统架构

【行业应用】阿里云实时计算 Flink 版在线教育解决方案

实时计算处理架构为 MQ + 实时计算 Flink 版:

  • 使用 MQ 对接上游的数据来源,包括日志信息、数据库、业务数据集群。
  • 然后通过实时计算 Flink版,完成对于数据的“抽取”、“转换”、“装载”;之后对接到下游的数据库,Kafka 队列、ES、大数据集群(Hadoop)。

业务总结

  1. 实时计算 Flink 版提供了完整的SQL能力,能够大大降低用户使用实时计算的门槛。VIPKID 计算平台团队使用实时计算 Flink 版,能够快速构建计算模型,响应实时指标计算需求,完成对业务需求的快速适配。
  2. 基于阿里云实时计算 Flink版,计算平台团队为公司建设了统一的实时计算平台,目前支撑了监控告警、数据清洗以及一些实时消息处理方面的需求

未来规划

  1. 从业务平台到公司平台:基于实时计算Flink 版建设实时数仓能力,延伸数据 ETL 平台到更多业务线。
  2. 商业智能从 1 到 N:扩展更多 BI 业务场景,为业务提供实时统计和数据支撑。
  3. 实时视频分析和预警:与视频分析结合,尝试实现在线教育场景分析和业务实时预警

实时计算 Flink 版产品交流群

【行业应用】阿里云实时计算 Flink 版在线教育解决方案

阿里云实时计算Flink - 解决方案:
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例:
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页:
https://www.aliyun.com/product/bigdata/product/sc

上一篇:Swift中文教程(五)--对象和类


下一篇:SSIS高级转换任务—模糊分组