行业挑战
随着互联网技术快速发展、经济水平不断提高、社会对教育重视程度也越来越高，在线教育行业的发展呈显著增长趋势。iiMedia Research(艾媒咨询)数据显示，2020 年中国在线教育用户规模将达 3.09 亿人，市场规模将达到 4538 亿元。受政策利好、社会教育意识加强以及中小学学生升学压力等因素的积极影响，未来 K12 在线教育市场需求还将继续扩大。
同时，在线教育行业与大数据及 AI 的结合也越来越紧密：
- 人工智能：利用 AI 技术可以将知识点进行分解，构建学生知识网络，精准发现学生的知识漏洞，并即时反馈，从而有针对性的推送相关教学内容，促进个性化教学，提高学习效率。
- 大数据：运用大数据和生物特征识别技术，可以分析学生的特征和学习状态，精准描述用户画像，掌握学生学习时的专注度和投入度。
在线教育行业实时化和智能化转型的过程中，对实时数据处理面临很多问题：
- 数据量大：包括日志、数据库、业务集群数据等均有实时分析需求。
- 低延时：很多场景对低延时需求非常迫切。
- 使用角色多样化：公司中各个角色，包括 BI 分析师、其他技术人员、业务运营人员等对实时报表都有需求。
- 需求复杂：在线教育行业业务模型复杂，一些实时 BI 场景逻辑也非常复杂，需要平台有完善的 SQL 支持。
解决方案
在线教育行业，实时计算 Flink版的典型使用场景：
- 实时 ETL&索引构建：提供 Flink SQL，大大简化计算模型，降低用户使用 Flink 的门槛。
- 实时统计&分析：实时数仓构建。
- 实时机器学习平台：实时特征处理，为下游机器学习模型训练准备数据。
- 实时事件处理：在线教育行业定型的监控及风控业务。
实时计算 Flink版在这些场景的优势：
- Flink SQL大大降低实时数据处理的门槛，BI 分析师、普通工程师、业务运营人员等都可开发 Flink 任务。
- Checkpoint 实现 exactly-once 语意。
- Watermark 解决数据延时和乱序问题。
- 丰富的 Window 实现，满足不同业务需求。
- 多种内置 Connector 支持，无缝对接各种开源及云产品，大大降低生态对接成本。
成功案例
VIPKID
客户简介
VIPKID 是全球增长速度最快的在线青少儿英语教育品牌，纯北美外教 1 对 1 在线授课，通过互联网的方式将中国小朋友与北美老师连接起来。2017 年 8 月，VIPKID 推出全球首个 100% 浸入式教学在线少儿中文教育平台 Lingo Bus，正式发力中文出海业务。2019 年 6 月 11 日，VIPKID 入选“2019 福布斯中国最具创新力企业榜”。截至 2019 年 8 月，VIPKID 平台付费学生规模超过 70 万人，北美外教数量超过 9 万人。2019 年 12 月，教育部办公厅公布第一批教育 App 备案名单，VIPKID 通过备案。
*数据来源：百度百科
业务需求
- BI 实时指标计算：VIPKID 的核心业务场景中，需要实时统计当前时间的约课数量，是计算平台团队的一个核心需求。
-
实时 ETL：VIPKID 日常的业务中，包含大量的数据 ETL 工作，数据来源也非常多样，包括：
- 在线教室网络链路的状态和日志
- 业务系统日志
- 业务数据
- 操作日志
系统架构
实时计算处理架构为 MQ + 实时计算 Flink 版：
- 使用 MQ 对接上游的数据来源，包括日志信息、数据库、业务数据集群。
- 然后通过实时计算 Flink版，完成对于数据的“抽取”、“转换”、“装载”；之后对接到下游的数据库，Kafka 队列、ES、大数据集群（Hadoop）。
业务总结
- 实时计算 Flink 版提供了完整的SQL能力，能够大大降低用户使用实时计算的门槛。VIPKID 计算平台团队使用实时计算 Flink 版，能够快速构建计算模型，响应实时指标计算需求，完成对业务需求的快速适配。
- 基于阿里云实时计算 Flink版，计算平台团队为公司建设了统一的实时计算平台，目前支撑了监控告警、数据清洗以及一些实时消息处理方面的需求
未来规划
- 从业务平台到公司平台：基于实时计算Flink 版建设实时数仓能力，延伸数据 ETL 平台到更多业务线。
- 商业智能从 1 到 N：扩展更多 BI 业务场景，为业务提供实时统计和数据支撑。
- 实时视频分析和预警：与视频分析结合，尝试实现在线教育场景分析和业务实时预警
阿里云实时计算Flink - 解决方案：
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例：
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页：
https://www.aliyun.com/product/bigdata/product/sc