常用调优测试语句 ： 

 

①显示当前hive环境的参数值：

set 参数名;

如：  

hive> set mapred.map.tasks;
mapred.map.tasks;

 

②设置hive当前环境的参数值，但仅对本次连接有效

set 参数名 = 值;

如：

hive>
set mapred.map.tasks;
mapred.map.tasks=2;

 

④查看当前hive环境的所有参数值：

set -v;

⑤重置当前hive环境的所有参数值：

reset;

 

 

 

hive job的并行化执行，在job之间没有依赖关系时可以同时执行，并行数另外配置,默认为8，开启并行会消耗更多的集群资源来提高执行速度，可对特定作业作并行执行合适。

hive.exec.parallel=true;

Job并行最大数，与job并行配置配合使用，但受集群资源与Job之间是否依赖的因素影响，即最大数为64但资源稀缺或存在不依赖的job数不够也无法达到最大值。

hive.exec.parallel.thread.number=8

 

hive.exec.mode.local.auto=true;

当一个job满足如下条件会使用本地模式：

①job的输入数据大小必须小于：

        hive.exec.mode.local.auto.inputbytes.max  (默认128)

②job的map数必须小于参数：

        hive.exec.mode.local.auto.tasks.max  (默认4)

③job的reduce数必须为0或者1

 

hive.merge.smallfiles.avgsize=256000000;

当输出文件平均大小小于该值，启动新job合并文件

hive.merge.size.per.task=64000000;

合并之后的文件大小

 

mapred.job.reuse.jvm.num.tasks=20;

JVM
重利用可以使job长时间保留slot（下个map无需再次初始化jvm），直到作业结束，这个对于较多任务和较多小文件的任务是非常有意义的，减少执行
时间。当然这个值不能设置过大，因为有些作业会有reduce任务，如果reduce任务没有完成，则map认为占用的slot不能释放，其他的作业可能
就需要等待。

 

中间压缩就是处理hive查询的多个job之间的数据，对于中间压缩，最好选择一个节省CPU耗时的压缩方式

 

hive查询最终的输出也可以压缩

 

 

mapred.map.taskes=10;

(1)默认map个数

　　default_num = total_size / block_size;

(2)期望大小

　　goal_num = mapred.map.casks;

(3)设置处理的文件大小

　　split_size = max(mapred.min.split.size,block_size);

　　split_num = total_size / split_size;

(4)计算的map个数

　　compute_map_num = min(split_num,max(default_num,goal_num));

 

 经过以上的分析，在设置map个数的时候，可以简单的总结为一下的几点：

 

情况1：输入文件size巨大，但不是小文件）

增大mapred.min.split.size的值

情况2：输入文件数量巨大，且都是小文件，就是单个文件的size小于blockSize。（造成网络负载大）

这种情况通过增大mapred.min.split.size不可行，需要使用CombineFileInputFormat将多个input path合并成一个InputSplit送个mapper处理，从而减少mapper的数量

 

 

map端聚合（执行combine）

hive.map.aggr=true; //消耗更多的内存来提高效率

推测执行(多启动一个map来防止map失败)

mapred.map.tasks.speculative.execution

 

mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true
hive.mapred.reduce.tasks.speculative.execution=true;

 

Map端	Reduce端
io.sort.mb io.sort.spill.percent min.num.spill.for.combine io.sort.factor io.sort.record.percent	mapred.reduce.parallel.copies mapred.reduce.copy.backoff io.sort.factor mapred.job.shuffle.input.buffer.percent mapred.job.reduce.input.buffer.percent

 

 

 

 

（1）设置reduce数

mapred.reduce.tasks = 10  (设置了也未必全用，使用个数公式如下)

hive.exec.reducers.max 默认999

hive.exec.reducer.bytes.per.reducer 默认：1G

 

reduce使用个数的计算公式

numRTasks = min [ maxReducers,input.size / perReducer ]

maxReducers = hive.exec.reducers.max

perReducer = hive.exec.reducers.bytes.per.reducer

 

（2）推测执行

 

mapred.reduce.tasks.speculative.execution

hive.mapred.reduce.tasks.speculative.excution

 

 

注意：如果hql使用多个distinct是无法使用这个参数去解决倾斜问题，可以改用sum（）+group by解决

 

hive.optimize.skewjoin 
//是否优化数据倾斜的 Join，对于倾斜的 Join 会开启新的 Map/Reduce Job 处理。 

 

数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob
中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作。

• http://www.cnblogs.com/yshb/p/3147710.html
• http://www.aboutyun.com/thread-7794-1-1.html
• http://blog.csdn.net/w13770269691/article/details/17232947
• https://blog.csdn.net/q412774506/article/details/46998713