Preface　前　　言

本书讲解了Apache Spark和Hadoop的基础知识，以及如何通过简单的方式将它们与最常用的工具和技术集成在一起。所有Spark组件（Spark Core、Spark SQL、DataFrame、Dataset、Conventional Streaming、Structured Streaming、MLlib、GraphX和Hadoop核心组件）、HDFS、MapReduce和Yarn 都在 Spark + Hadoop 集群的实现示例中进行了深入的探讨。
大数据分析行业正在从 MapReduce 转向Spark。因此，本书深入讨论了 Spark 相比 MapReduce 的优势，从而揭示出它在内存计算速度方面的好处。我们还会讲解如何运用 DataFrame API、Data Sources API，以及新的 Dataset API 来构建大数据分析应用程序。书中还讲解了如何使用 Spark Streaming 配合 Apache Kafka 和 HBase 进行实时数据分析，以帮助构建流式应用程序（streaming application）。新的结构化流（Structured Streaming）概念会通过物联网（Internet of Things，IOT）用例来解释。在本书中，机器学习技术会使用 MLLib、机器学习流水线和 SparkR 来实现；图分析则会利用Spark的GraphX 和GraphFrames 组件包来进行。
本书还介绍了基于Web的笔记本（如Jupyter和Apache Zeppelin）和数据流工具Apache NiFi，它们用于分析和可视化数据，以及利用 Livy 服务器把Spark作为一个服务提供给用户。

目录

第1章　从宏观视角看大数据分析

1.1　大数据分析以及 Hadoop 和 Spark 在其中承担的角色
1.2　大数据科学以及Hadoop和Spark在其中承担的角色
1.3　工具和技术
1.4　实际环境中的用例
1.5　小结

第2章　Apache Hadoop和Apache Spark入门

2.1　Apache Hadoop概述
2.2　Apache Spark概述
2.3　为何把 Hadoop 和 Spark 结合使用
2.4　安装 Hadoop 和 Spark 集群
2.5　小结

第3章　深入剖析Apache Spark

3.1　启动 Spark 守护进程
3.2　学习Spark的核心概念
3.3　Spark 程序的生命周期
3.4　Spark 应用程序
3.5　持久化与缓存
3.6　Spark 资源管理器：Standalone、YARN和Mesos
3.7　小结