【大数据面试】【框架】Shuffle优化、内存参数配置、Yarn工作机制、调度器使用

三、MapReduce

1、Shuffle及其优化☆

Shuffle是Map方法之后,Reduce方法之前,混洗的过程

【大数据面试】【框架】Shuffle优化、内存参数配置、Yarn工作机制、调度器使用

Map-->getPartition(标记数据的分区)-->对应的环形缓冲区(一侧存数据,一侧存索引,默认大小为100M,达到80%时进行反向溢写以提高空间利用率)

(溢写前需要对数据进行排序,默认快排,对key的索引排序,按照字典顺序排)(会产生大量的溢写文件)

【如何对溢写文件进行排序】:按照指定分区进行归并排序

优化:

环形缓冲区调整为200m,反向溢写的比例达到90+%,减少溢写的个数

 

溢写前进行一次combiner求和,默认一次归并10个,调大其数值(服务器性能可以,不会OOM内存溢出)

对数据进行压缩

【哪些地方能够对数据进行压缩?如何压缩】

Map输入输出端、Reduce的输出端

Map输入:数据量超过128M时,看是否有必要对数据切片,lzo、bzip2支持切片(数据量大时)

Map输出:快的是snappy、lzo

Reduce的输出端:看数据的最终流向(下一个MR看是否支持切片)(永久保存考虑压缩比最高)

【100个分区的数据,默认一次拉取5个,增大每批次拉取的个数,和reduce阶段的内存】

2、NodeManager的默认内存

企业服务器默认内存是128G

NodeManager的默认内存:8G【通常需要调整】

Map Task

Reduce Task

【大数据面试】【框架】Shuffle优化、内存参数配置、Yarn工作机制、调度器使用

 

 16G的任务,OOM

默认不配置就是8G内存,生产环境下需要配置到90-100G左右,给其他服务器资源留10G左右

3、配置单任务的默认内存

单任务的默认内存:8G

如果有1G/1T/10T的数据

如何调整其内存

估计,128M数据,对应1G内存

1G数据,对应8G内存左右

2G数据量,对应16G内存左右

4、其他默认

Map Task:1G

Reduce Task:1G

如果数据量是128M,不用调整

如果数据量大,且不支持切片,如500M,就需要根据比例调整,配置4G的内存

 进入reduce的数据量比较大,适当增大内存

5、配置参数的等级优先级

defaul==》site.xml==》Idea的配置文件==》代码

6、Hadoop命令行如何提交文件

maven打包

hadoop jar wc.jar Class类名 输入路径 输出路径

7、内存设置

【大数据面试】【框架】Shuffle优化、内存参数配置、Yarn工作机制、调度器使用

 

 【大数据面试】【框架】Shuffle优化、内存参数配置、Yarn工作机制、调度器使用

 

8、其他

Spark Shuffle和Hadoop Shuffle的区别

各讲一下其原理

四、Yarn

1、Yarn工作机制(笔试题)【客户端和集群】

客户端

集群:ResourceManager

集群模式(xml是参数的等级,切片影响MapTask的个数)

【大数据面试】【框架】Shuffle优化、内存参数配置、Yarn工作机制、调度器使用

 

任务在队列中排队,nodemanager接收并执行任务

ApplicationMasterr负责执行,内部container容器拉取指定分区数据

Map按照分区存储在磁盘上-》reduce阶段,拉取完指定数据后释放

【大数据面试】【框架】Shuffle优化、内存参数配置、Yarn工作机制、调度器使用

2、Yarn的调度器(与生产环境相关)

常见调度器:FIFO、容量、公平调度器

默认调度器是?Apache和CDH

FIFO调度器:支持单队列、先进先出(生产环境不会用)

容量调度器(Apache消耗资源少):支持多个队列,优先保证先进来的资源执行

公平调度器(CDH,占用资源多,需要内存大):保证所有任务公平享有资源,每个任务都分配2G,新进入任务,其他任务释放一定资源。保证每个任务公平享有资源

3、生产环境下如何选择

如果对并发度要求比较高,选择公平调度器,要求服务器性能必须好【大公司】

中小公司一般使用容量调度器,集群服务器资源不太充裕

4、容量调度器默认几个队列

默认只有一个default队列

5、生产环境下如何创建队列

两种方式

可以按照框架:hive/spark/flink放入指定的队列中【企业不常用】

也可以按照业务模块划分:登录队列、注册、购物车、下单、业务部门1、业务部门2

原因:怕新员工写递归死循环代码,导致所有资源全部耗尽

切记,不要使用rm -rf /* 

也可以对任务队列划分优先级,集群资源不够用,只留重点资源的执行,对其他资源进行降级

上一篇:Hadoop配置文件之(yarn-site.xml)


下一篇:C#调用EXE执行档