I/O操作中的数据检查
校验和方式是检查数据完整性的重要方式。一般会通过对比新旧校验和来确定数据情况,如果两者不同则说明数据已经损坏。比如,在传输数据前生成了一个校验和,将数据传输到目的主机时再次计算校验和,如果两次的校验结果不同,则说明数据已经损坏。因为Hadoop采用HDFS作为默认的文件系统,因此具有两方面的数据完整性。
1、本地文件I/O的检查
本地文件系统的数据完整性由客户端负责,重点是在存储和读取文件时进行校验和的处理。每当Hadoop创建文件a时,Hadoop就会同时在同一文件夹下创建隐藏文件a.crc,这个文件记录了文件a的校验和。针对数据文件的大小,每512字节Hadoop就会生成一个32位的校验和(4字节)。
2、对HDFS的I/O数据进行检查
DataNode接收数据后,存储数据前。它接收数据一般有两种情况:一是用户从客户端上传数据;二是DataNode从其他DataNode上接收数据。Hadoop不会在数据每流动到一个DataNode时都检查校验和,它只会在数据流动到最后一个节点时检验校验和。
3、在MapReduce程序中使用压缩
设置Map处理后数据的压缩代码示例如下:
JobConf conf = new JobConf();
conf.setBoolean("mapred.compree.map.output",true);
//设置output输出压缩
conft.setBoolean("mapred.output.compress",true);
conf.setClass("mapred.output.compression.codec",GzipCodec.class,CompressionCodec.class);
4、数据的I/O中序列化操作
序列化是将对象转化为字节流的方法,或者说用字节流描述对象的方法。与序列化相对的是反序列化,反序列化是将字节流转化为对象的方法。序列化有两个目的:进程间通信;数据持久性存储。
Hadoop采用RPC来实现进程间通信,一般而言,RPC的序列化机制有以下特点:
紧凑:紧凑的格式可以充分利用带宽,加快传输速度。
快速:能减少序列化和反序列化的开销,这会有效减少进程间通信的时间。
可扩展:可以逐步改变。
在Hadoop中,并没有采用JAVA提供的序列化机制,而是自己重新写了一个序列化机制Writables。Writables具有紧凑、快速的优点。但不易拓展。
Text
这是Hadoop中对string类型的重写,但是又与其有一些不同。Text使用标准的UTF-8编码,同时Hadoop使用变长类型VInt来存储字符串,其存储上线是2GB。Text类型与String类型的主要差别在于:
1、 Stirng的长度定义为String包含的字符个数;Text的长度定义为UTF-8编码的字节数。
2、String内的indexOf()方法返回的是char类型字符的索引。Text的find()方法返回的是字节偏移量。
3、String的charAt()方法返回的是指定位置的char字符;而Text的charAT()方法需要指定偏移量。
SequenceFile类
SequenceFile记录的是key/value对的列表,是序列化之后的二进制文件,因此是不能直接查看的。可通过:hadoop fs -text mySequenceFile查看
参考:《Hadoop实战》