hadoop之 reduce个数控制

1、参数变更
1.x 参数名                                                         2.x 参数名 
mapred.tasktracker.reduce.tasks.maximum     mapreduce.tasktracker.reduce.tasks.maximum
mapred.reduce.tasks                                       mapreduce.job.reduces

 

2、参数设置

2.1、mapred.tasktracker.reduce.tasks.maximum设置为逻辑CPU个数

<property> 
<name>mapred.tasktracker.reduce.tasks.maximum</name> 
<value>8</value> 
<final>true</final> 
</property>


2.2.1、 hadoop 服务器端参数设定
mapred.reduce.tasks <= mapred.tasktracker.reduce.tasks.maximum <= 单台 datanode 逻辑cpu个数

2.2.2、应用端调用 job. setNumReduceTasks(int n) 方法指定

文章可以转载,必须以链接形式标明出处。


本文转自 张冲andy 博客园博客,如需转载请自行联系 原作者原文链接:http://www.cnblogs.com/andy6/p/8410590.html
上一篇:《网络空间欺骗:构筑欺骗防御的科学基石》一1.6.1 目的:合法与被控制的凭证


下一篇:Js拆分字符串split多出一个空字符