Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

首先,来说的是,reduce并发任务数,默认是1。

即,在jps后,出现一个yarnchild。之后又消失。

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

这里,我控制reduce并发任务数6

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

有多少个reduce的并发任务数可以控制,但有多少个map的并发任务数还没

其实啊,有多少个map的并发任务数还没(是在分片中控制的)。

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

jps ->   生成个Runjar  ->

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

jps -> 生成个Runjar  ->  生成个MRAppMaster(运行map任务)

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

soga

jps  ->  生成个Runjar  ->  生成个MRAppMaster(运行map任务) -> 查看map并发任务数 ->

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

jps  -> 生成个Runjar  ->  生成个MRAppMaster(运行map任务) -> 查看map并发任务数 ->

Map的Task进程被回收  ->查看reduce并发任务数 -> Reduce的Task进程被回收 –> jps

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

以上是单独控制了Mapreduce的map并发任务数和reduce并发任务数

前者Mapreduce的map并发任务数默认是1,控制reduce并发任务数为6。

后者控制map并发任务数为4,Mapreduce的reduce并发任务数默认是1。

综合即控制map,又控制reduce,不再赘述。

上一篇:java线程的几个方法


下一篇:c++l类