一、序列化
(*) 核心接口:Writable接口。如果有一个类实现了Writable接口,就可以作为Map/Reduce的key和value.
举例:
读取员工数据,生成员工对象,直接存储在HDFS
序列化的顺序和反序列化 的顺序要保持相同。
public void readFields(DataInput input) throws IOException{
}
pubic void write(DataOutput output) throws IOException{
}
二、排序
排序规则:按照key2排序。key2可以是基本数据类型,也可以是对象(可序列化的对象)。
基本数据类型:
ByteWritable:单字节数值
IntWritable:整型数
LongWritable:长整型数
FloatWritable:浮点数
DoubleWritable:双字节数值
BooleanWritable:标准布尔型数值
Text:使用UTF8格式存储的文本
NullWritable:当<key,value>中的key或value为空时使用
常用的数据类型,排序规则的实现:
(*)Int 数字:默认升序,可以改变默认的排序规则,通过创建自己的比较器。
创建一个类(比如叫做NewIntCompare)继承并重写 IntWritable.Comparator 类中的compare方法,
在main函数中,通过Job类对象配置比较器,在Map类设置语句的后面,添加job.setSortComparatorClass(NewIntCompare.class)
(*)字符串:默认字典序,可以改变默认的排序规则,通过创建自己的比较器。
创建一个类(比如叫做NewTextCompare)继承并重写 Text.Comparator类中的compare方法,
在main函数中,通过Job类对象配置比较器,在Map类设置语句的后面,添加job.setSortComparatorClass(NewTextCompare.class)
(*)对象:实现WritableComparable接口
三、分区
1、需求分析:把最终结果中,不同类型的数据,输出到不同的文件。比如,将相同城市的数据输出到一个文件中,或者把相同性别的数据输出的一个文件中。
2、MR中分区的特点:
(1)在MR中,一个reducer任务对应一个输出文件,分区的数量也是reducer任务的数量。
(2)Reducer的输入数据来自于Mapper,分区工作由Mapper任务来完成。
(3)Mapper任务划分数据的过程叫做Partition,MR中负责划分数据的类叫做Partitioner。
(4)自定义分区规则,需要创建新的分区类(以MyPartitioner为自定义类的名字),继承Partitioner,并重写getPartition()方法,代码如下。
1 import org.apache.hadoop.mapreduce.Partitioner 2 3 public void MyPartitioner extends Partitioner<K,V>{ 4 @Override 5 // 默认使用key的hash值与Integer的做大值做“与运算”,避免出现溢出的情况 6 public int getPartiton(K key ,V value , int numReduceTasks){ 7 return (key.hashCode() && Integer.MAX_VALUE) % numReduceTasks; 8 } 9 }
(5)MyPartitioner类是用于处理Mapper任务的输出的,getPartition方法的三个参数分别是,Mapper输出的key,value,和设置的Reducer任务数量(即,分区数量)。
(6)getPartition方法的返回值为0~numReduceTasks-1 ,分别代表 numReduceTasks个分组;
(7)分区数 numReduceTasks的设置,在主函数中完成,代码如下:
job.setPartitionerClass(Mypartitioner.class); job.setNumReduceTasks(3); //比如,设置分区数量为3个
四、合并(combiner)
1、hadoop中娥的combiner函数其实本质上也是Reduce,设计的初衷是为了降低Mapper和Reducer之间的 IO的数据量,将Mapper输出的数据在Mapper端进行合并。
2、注意事项:
(1)combiner并不是用于所有的业务场景,比如,求平均数的时候就不能使用。
(2)combiner的输入是Mapper的输出,而输出是Reducer的输入,然后在MapReduce中,Mapper的输出数据类型与Reducer的输入数据类型是相同的。所以在设计Mapper/Reducer
之前要充分考虑,防止因为combiner的出现,对Reducer最终的输出产生影响。
3、在主函数中设置combiner,代码如下
job.setCombinerClass(MyCombiner.class);