hadoop编程小技巧（5）---自定义输入文件格式类InputFormat

2022-10-26 11:53:39

Hadoop代码测试环境：Hadoop2.4

应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。

Hadoop内置的输入文件格式类有：

1）FileInputFormat<K,V>这个是基本的父类，我们自定义就直接使用它作为父类；

2）TextInputFormat<LongWritable,Text>这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，value代码当前行字符串；

3）SequenceFileInputFormat<K,V>这个是序列文件输入格式，使用序列文件可以提高效率，但是不利于查看结果，建议在过程中使用序列文件，最后展示可以使用可视化输出；

4）KeyValueTextInputFormat<Text,Text>这个是读取以Tab（也即是\t）分隔的数据，每行数据如果以\t分隔，那么使用这个读入，就可以自动把\t前面的当做key，后面的当做value；

5）CombineFileInputFormat<K,V>合并大量小数据是使用；

6）MultipleInputs，多种输入，可以为每个输入指定逻辑处理的Mapper；

原理：

InputFormat接口有两个重要的函数:

1)getInputSplits，用于确定输入分片，当我们继承FileInputFormat时，就可以忽略此函数，而使用FileInputFormat的此函数即可；

2）createRecordReader ，针对数据如何读取的类，定义输入文件格式，其实也就是定义此类；

在每个map函数中，最开始调用的都是nextKeyValue()函数，这个函数就是在RecordReader中定义的（我们自定义RecordReader就是使用不同的实现而已），所以这里会调用我们指定的RecordReader中的nextKeyValue函数。这个函数就会处理或者说是初始化key和value，然后返回true，告知已经处理好了。接着就会调用getCurrentKey 和getCurrentValue获取当前的key和value值。最后，返回map，继续执行map逻辑。

自定义输入文件格式类：

  1. package fz.inputformat;
  2. import java.io.IOException;
  3. import org.apache.hadoop.io.Text;
  4. import org.apache.hadoop.mapreduce.InputSplit;
  5. import org.apache.hadoop.mapreduce.RecordReader;
  6. import org.apache.hadoop.mapreduce.TaskAttemptContext;
  7. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  8. /**
  9. * 自定义输入文件读取类
  10. *
  11. * @author fansy
  12. *
  13. */
  14. public class CustomInputFormat extends FileInputFormat<Text, Text> {
  15. @Override
  16. public RecordReader<Text, Text> createRecordReader(InputSplit split,
  17. TaskAttemptContext context) throws IOException,
  18. InterruptedException {
  19. // TODO Auto-generated method stub
  20. return new CustomReader();
  21. }
  22. }

这里看到如果继承了FileInputFormat 后，就不需要关心getInputSplits了，而只需要定义RecordReader即可。

自定义RecordReader

  1. package fz.inputformat;
  2. //import java.io.BufferedReader;
  3. import java.io.IOException;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.fs.FSDataInputStream;
  6. import org.apache.hadoop.fs.FileSystem;
  7. import org.apache.hadoop.fs.Path;
  8. import org.apache.hadoop.io.Text;
  9. import org.apache.hadoop.mapreduce.InputSplit;
  10. import org.apache.hadoop.mapreduce.RecordReader;
  11. import org.apache.hadoop.mapreduce.TaskAttemptContext;
  12. import org.apache.hadoop.mapreduce.lib.input.FileSplit;
  13. import org.apache.hadoop.util.LineReader;
  14. public  class CustomReader extends RecordReader<Text ,Text>{
  15. //  private BufferedReader in;
  16. private LineReader lr ;
  17. private Text key = new Text();
  18. private Text value = new Text();
  19. private long start ;
  20. private long end;
  21. private long currentPos;
  22. private Text line = new Text();
  23. @Override
  24. public void initialize(InputSplit inputSplit, TaskAttemptContext cxt)
  25. throws IOException, InterruptedException {
  26. FileSplit split =(FileSplit) inputSplit;
  27. Configuration conf = cxt.getConfiguration();
  28. Path path = split.getPath();
  29. FileSystem fs = path.getFileSystem(conf);
  30. FSDataInputStream is = fs.open(path);
  31. lr = new LineReader(is,conf);
  32. // 处理起始点和终止点
  33. start =split.getStart();
  34. end = start + split.getLength();
  35. is.seek(start);
  36. if(start!=0){
  37. start += lr.readLine(new Text(),0,
  38. (int)Math.min(Integer.MAX_VALUE, end-start));
  39. }
  40. currentPos = start;
  41. }
  42. // 针对每行数据进行处理
  43. @Override
  44. public boolean nextKeyValue() throws IOException, InterruptedException {
  45. if(currentPos > end){
  46. return false;
  47. }
  48. currentPos += lr.readLine(line);
  49. if(line.getLength()==0){
  50. return false;
  51. }
  52. if(line.toString().startsWith("ignore")){
  53. currentPos += lr.readLine(line);
  54. }
  55. String [] words = line.toString().split(",");
  56. // 异常处理
  57. if(words.length<2){
  58. System.err.println("line:"+line.toString()+".");
  59. return false;
  60. }
  61. key.set(words[0]);
  62. value.set(words[1]);
  63. return true;
  64. }
  65. @Override
  66. public Text getCurrentKey() throws IOException, InterruptedException {
  67. return key;
  68. }
  69. @Override
  70. public Text getCurrentValue() throws IOException, InterruptedException {
  71. return value;
  72. }
  73. @Override
  74. public float getProgress() throws IOException, InterruptedException {
  75. if (start == end) {
  76. return 0.0f;
  77. } else {
  78. return Math.min(1.0f, (currentPos - start) / (float) (end - start));
  79. }
  80. }
  81. @Override
  82. public void close() throws IOException {
  83. // TODO Auto-generated method stub
  84. lr.close();
  85. }
  86. }

这里主要是两个函数，initial和nextKeyValue。

initial主要用于初始化，包括打开和读取文件，定义读取的进度等；

nextKeyValue则是针对每行数据（由于这里使用的是LineReader，所以每次读取的是一行，这里定义不同的读取方式，可以读取不同的内容），产生对应的key和value对，如果没有报错，则返回true。这里可以看到设置了一条规则，如果输入数据是以ignore开始的话就忽略，同时每行只取得逗号前后的数据分别作为key和value。

实战：

输入数据：

  1. ignore,2
  2. a,3
  3. ignore,4
  4. c,1
  5. c,2,3,2
  6. 4,3,2
  7. ignore,34,2

定义主类，主类的Mapper是默认的Mapper，没有reducer。

  1. package fz.inputformat;
  2. import org.apache.hadoop.conf.Configuration;
  3. import org.apache.hadoop.conf.Configured;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.Text;
  6. import org.apache.hadoop.mapreduce.Job;
  7. import org.apache.hadoop.mapreduce.Mapper;
  8. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  9. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  10. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
  11. import org.apache.hadoop.util.Tool;
  12. import org.apache.hadoop.util.ToolRunner;
  13. public class FileInputFormatDriver extends Configured implements Tool{
  14. /**
  15. * @param args
  16. * @throws Exception
  17. */
  18. public static void main(String[] args) throws Exception {
  19. // TODO Auto-generated method stub
  20. ToolRunner.run(new Configuration(), new FileInputFormatDriver(),args);
  21. }
  22. @Override
  23. public int run(String[] arg0) throws Exception {
  24. if(arg0.length!=2){
  25. System.err.println("Usage:\nfz.inputformat.FileInputFormatDriver <in> <out>");
  26. return -1;
  27. }
  28. Configuration conf = getConf();
  29. Path in = new Path(arg0[0]);
  30. Path out= new Path(arg0[1]);
  31. out.getFileSystem(conf).delete(out, true);
  32. Job job = Job.getInstance(conf,"fileintputformat test job");
  33. job.setJarByClass(getClass());
  34. job.setInputFormatClass(CustomInputFormat.class);
  35. job.setOutputFormatClass(TextOutputFormat.class);
  36. job.setMapperClass(Mapper.class);
  37. job.setMapOutputKeyClass(Text.class);
  38. job.setMapOutputValueClass(Text.class);
  39. //      job.setOutputKeyClass(LongWritable.class);
  40. //      job.setOutputValueClass(VectorWritable.class);
  41. job.setNumReduceTasks(0);
  42. //      System.out.println(job.getConfiguration().get("mapreduce.job.reduces"));
  43. //      System.out.println(conf.get("mapreduce.job.reduces"));
  44. FileInputFormat.setInputPaths(job, in);
  45. FileOutputFormat.setOutputPath(job, out);
  46. return job.waitForCompletion(true)?0:-1;
  47. }
  48. }

查看输出：

hadoop编程小技巧（5）---自定义输入文件格式类InputFormat

这里可以看到，ignore的数据已经被忽略掉了，同时每行只输出了逗号前后的数据而已。

同时需要注意到：

hadoop编程小技巧（5）---自定义输入文件格式类InputFormat

这里有一行数据读入的是空字符串，这个暂时还没找到原因。

总结：自定义输入数据格式可以针对不同的数据做些过滤，进行一些简单的逻辑处理，有点类似map的功能，但是如果仅仅是这点功能的话，那完全可以使用map来取代了。其实输入数据格式还有其他的功能，比如合并大量的小数据，以提高效率，这个在下篇再说。

上一篇：编程小技巧之 Linux 文本处理命令


下一篇：github如何查看提交历史呢