MapReduce(二) MR的高级特性-序列化、排序、分区、合并

一、序列化

   (*) 核心接口:Writable接口。如果有一个类实现了Writable接口,就可以作为Map/Reduce的key和value.

       举例:

      读取员工数据,生成员工对象,直接存储在HDFS

      序列化的顺序和反序列化 的顺序要保持相同。

      public void readFields(DataInput input) throws IOException{

      }

      pubic void write(DataOutput output) throws IOException{

       }

二、排序 

  排序规则:按照key2排序。key2可以是基本数据类型,也可以是对象(可序列化的对象)。

      基本数据类型:        

        ByteWritable:单字节数值
        IntWritable:整型数
        LongWritable:长整型数
        FloatWritable:浮点数
        DoubleWritable:双字节数值
        BooleanWritable:标准布尔型数值        
        Text:使用UTF8格式存储的文本
        NullWritable:当<key,value>中的key或value为空时使用

        常用的数据类型,排序规则的实现:

          (*)Int 数字:默认升序,可以改变默认的排序规则,通过创建自己的比较器。

                    创建一个类(比如叫做NewIntCompare)继承并重写 IntWritable.Comparator 类中的compare方法,

                    在main函数中,通过Job类对象配置比较器,在Map类设置语句的后面,添加job.setSortComparatorClass(NewIntCompare.class)

 

          (*)字符串:默认字典序,可以改变默认的排序规则,通过创建自己的比较器。                    

                    创建一个类(比如叫做NewTextCompare)继承并重写 Text.Comparator类中的compare方法,

                    在main函数中,通过Job类对象配置比较器,在Map类设置语句的后面,添加job.setSortComparatorClass(NewTextCompare.class)

                    

          (*)对象:实现WritableComparable接口

  

三、分区

  1、需求分析:把最终结果中,不同类型的数据,输出到不同的文件。比如,将相同城市的数据输出到一个文件中,或者把相同性别的数据输出的一个文件中。

     2、MR中分区的特点:

    (1)在MR中,一个reducer任务对应一个输出文件,分区的数量也是reducer任务的数量。

    (2)Reducer的输入数据来自于Mapper,分区工作由Mapper任务来完成。

    (3)Mapper任务划分数据的过程叫做Partition,MR中负责划分数据的类叫做Partitioner。

    (4)自定义分区规则,需要创建新的分区类(以MyPartitioner为自定义类的名字),继承Partitioner,并重写getPartition()方法,代码如下。

1 import org.apache.hadoop.mapreduce.Partitioner
2 
3 public void MyPartitioner extends Partitioner<K,V>{
4      @Override
5       // 默认使用key的hash值与Integer的做大值做“与运算”,避免出现溢出的情况    
6       public int getPartiton(K key ,V value , int numReduceTasks){
7              return (key.hashCode() &&  Integer.MAX_VALUE) % numReduceTasks;
8       }        
9 }    

    (5)MyPartitioner类是用于处理Mapper任务的输出的,getPartition方法的三个参数分别是,Mapper输出的key,value,和设置的Reducer任务数量(即,分区数量)。

    (6)getPartition方法的返回值为0~numReduceTasks-1 ,分别代表 numReduceTasks个分组;

    (7)分区数 numReduceTasks的设置,在主函数中完成,代码如下:

job.setPartitionerClass(Mypartitioner.class);
job.setNumReduceTasks(3); //比如,设置分区数量为3个

 

四、合并(combiner)

  1、hadoop中娥的combiner函数其实本质上也是Reduce,设计的初衷是为了降低Mapper和Reducer之间的 IO的数据量,将Mapper输出的数据在Mapper端进行合并。

  2、注意事项:

    (1)combiner并不是用于所有的业务场景,比如,求平均数的时候就不能使用。

    (2)combiner的输入是Mapper的输出,而输出是Reducer的输入,然后在MapReduce中,Mapper的输出数据类型与Reducer的输入数据类型是相同的。所以在设计Mapper/Reducer

      之前要充分考虑,防止因为combiner的出现,对Reducer最终的输出产生影响。

  3、在主函数中设置combiner,代码如下  

job.setCombinerClass(MyCombiner.class);

 

     

上一篇:Mr.D_速学“凯利公式”


下一篇:hadoop 环境 mr任务指定python版本