看《Hadoop：权威指南》的时候收集了书上写的一些需要优化的参数，记录了一下子，给大家分享一下吧。
1.mapred.task.timeout
任务超时时间，默认是10分钟
2.mapred.map.max.attempts mapred.reduce.max.attempts
默认任务失败重复次数为4
3.mapred.max.map.failures.percent mapred.reduce.map.failures.percent
不触发错误的失败的最大百分比
4.mapred.jobtracker.taskScheduler
作业调度算法设置,默认是FIFO
5.io.sort.mb io.sort.spill.percent
缓冲区大小默认为100MB，以及缓冲区阀值默认为0.8，超过80%就保存到硬盘
6.io.sort.factor
默认为10，一次只能合并10个溢出文件
7.mapred.compress.map.output
默认为false，不压缩输出文件
压缩算法由mapred.map.output.compression.codec指定
8.tracker.http.Threads
tasktracker用于默认为40的啦
9.mapred.reduce.parallel.copies
reduce复制map输出的线程数，默认是5个
10.mapred.inmem.merge.threshold
控制map输出阀值，如果reduce函数的内存需求不大，那么设置为0
mapred.job.reduce.input.buffer.percent设置为1，可以带来性能的提升。
11.io.sort.factor
合并因子，默认为10，意思是一次合并多少个Map输出
如果Map输出为50个文件，则每次把10个合并成一个文件，最后有5个中间文件。
12.mapred.child.java.opts
设置任务节点的内存大小
13.io.file.buffer.size
缓冲区，默认为4KB的缓冲区
14.mapred.map.tasks.speculative.execution mapred.reduce.tasks.speculative.execution
推测执行默认值为true，
15.mapred.job.reuse.jvm.num.tasks
默认值为1，指定作业的jvm执行任务的最大数，如果为-1，则同一作业中的任务可以共享一个JVM,数量不限
16.mapred.linerecordreader.maxlength
数据行长度的最大值，防止因为内存溢出导致的错误
17.SkipBadRecord开启跳跃模式，跳过失败的坏记录
mapred.map.max.attemps mapred.reduce.attemps 一次只能跳过一个错误记录
18.关闭安全模式
hadoop dfsadmin -safemode leave