作者：明誉

---

大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。

离线大数据分析概述

主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：

• Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。
• Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流处理和图形计算等多种计算范式，能够与Hadoop很好地结合。
• Storm适用于处理高速、大型数据流的分布式实时计算，为Hadoop添加可靠的实时数据处理能力。

海量离线数据分析可以应用于多种场景，例如：

• 商业系统环境：电商海量日志分析、用户行为画像分析。
• 科研行业：海量离线计算分析和数据查询。
• 游戏行业：游戏日志分析、用户行为分析。
• 商业用户：数据仓库解决方案的BI分析、多维分析报表。
• 大型企业：海量IT运维日志分析。

架构图

方案优势

• 高性能、低成本
• 快速部署
• 弹性
• 多种计算模式
• 无缝对接开源生态
• 一站式管理平台

方案详情

详情请参见E-MapReduce弹性低成本离线大数据分析最佳实践

---

对开源大数据感兴趣的同学可以加小编微信（图一二维码，备注进群）进入技术交流微信2群。也可钉钉扫码加入社区的钉钉群

阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区，定期推送精彩案例，技术专家直播，问答区数个Spark技术同学每日在线答疑，只为营造纯粹的Spark氛围，欢迎钉钉扫码加入！

Apache Spark技术交流社区公众号，微信扫一扫关注