开发者学堂课程【Hadoop 分布式计算框架 MapReduce:序列化案列 Driver】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/94/detail/1495
序列化案列 Driver
目录:
1. 获取 job 对象
2. 设置 jar 的路径
3. 关联 mapper 和 reducer
4. 设置 mapper 输出的 key 和 value 类型
5. 设置最终输出的 key 和 value 类型
6. 设置输入输出路径
7. 提交 job
1.获取 job 对象
Job job=Job.getInstance(conf);
2.设置 jar 的路径
job.setJarByClass(FlowsumDriver.class);
3.关联 mapper 和 reducer
job.setMapperClass(FlowCountMapper.class);
job. setReducerClass (FlowCountReducer. class);
4.设置 mapper 输出的 key 和 value 类型
job. setMapOutputKeyClass (Text. class);
job. setMapOutputValueClass (FlowBean. class);
5. 设置最终输出的 key 和 value 类型
job.setoutputkey Class (Text. class);
job.setoutputValueClass(FlowBean.class);
6.设置输入输出路径
FileInputFormat. setInputPaths (job, new Path (args[0]));
FileOutputFormat.setoutputPath(job,newPath(args[1]));
7.提交 job
boolean result = job.waitForCompletion(true);
System.exit(result?0:1);