Spark 和 Hadoop 架构区别(全新视角)

文章目录:

1、Spark和Hadoop的架构区别

Hadoop :mapreduce 有Map和reduce两个阶段,并通过Shuffle将两个阶段连接起来的。但是套用MapReduce 模型解决问题,不得不将
问题分解为若干个有依赖关系的子问题,每个子问题对应一个MapReduce作也,最终将作业生成一个DAG。

Spark :是通用的DAG框架,可以将多个依赖关系放入作业转换为一个大的DAG。核心思想是将map和reduce两个操作进一步拆分为多个元操作,
这些元操作可以灵活组合,产生新的操作,并经过一些控制程序组装后形成一个大的DAG作业。

2、Spark 和Hadoop的中间计算结果处理区别

Hadoop :在DAG 中,由于多个MapReduce作业生成,每个作业都会从HDFS上读取一次数据和写一次数据(默认写三份),即使这些MapReduce
作业产生的数据是中间数据也需要写HDFS。这种表达作业依赖关系的方式比较抵效,会浪费大量不必要的磁盘和网络IO,根本原因是作业之间产生的数据不
是直接流动的,而是借助HDFS作为共享数据存储系统。

Spark :在Spark 中,使用内存(内存不够使用本地磁盘)替代了使用HDFS存储中间结果。对于迭代运算效率更高。

3、Spark 和Hadoop的操作模型区别

Hadoop:只提供了map和reduce两种操作所有的作业都得转换成Map和reduce操作。
Spark:提供了多种数据集操作类型比如:
Teansformations包括:
Map,
filter,
flatMap,
sample,
groupbyKey,
reduceByKey
sory,
partitionByKey 等 …

actions包括:
count,
collect,
reduce,
lookup,
save等多种。

寄语专区:

《转载注明出处,你的点赞是我的动力。》

Spark 和 Hadoop 架构区别(全新视角)

上一篇:大数据基础之Spark


下一篇:Exchange 2019 DAG配置