2.对比Hadoop与Spark的优缺点。
与 Hadoop 的 MapReduce 相比,Spark 基于内存的运算要快
Spark 支持 各种编程语言还支持超过 很多种高级算法,使用户可以快速构建不同的应用。
Spark可以非常方便地与其他的开源产品进行融合。
因为不需要做任何数据迁移就可以使用 Spark 的强大处理能力。
3.如何实现Hadoop与Spark的统一部署?
Hadoop生态系统中的一些组件所实现的功能,目前还是无法由Spark取代的 。Spark则无法做到毫秒级响应。企业中已经有许多现有的应用,但是都是基于现有的Hadoop组件开发的,完全转移到Spark上需要一定的成本。由于Hadoop MapReduce、HBase、Storm和Spark等,都可以运行在资源管理框架YARN之上,因此,可以在YARN之上进行统一部署