序列化案列 Driver| 学习笔记

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:序列化案列 Driver】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1495


序列化案列 Driver


目录:

1. 获取 job 对象

2. 设置 jar 的路径

3. 关联 mapper 和 reducer

4. 设置 mapper 输出的 key 和 value 类型

5. 设置最终输出的 key 和 value 类型

6. 设置输入输出路径

7. 提交 job

 

1.获取 job 对象

Job job=Job.getInstance(conf);


2.设置 jar 的路径

job.setJarByClass(FlowsumDriver.class);


3.关联 mapper 和 reducer

job.setMapperClass(FlowCountMapper.class);

job. setReducerClass (FlowCountReducer. class);


4.设置 mapper 输出的 key 和 value 类型

job. setMapOutputKeyClass (Text. class);

job. setMapOutputValueClass (FlowBean. class);


5. 设置最终输出的 key 和 value 类型

job.setoutputkey Class (Text. class);

job.setoutputValueClass(FlowBean.class);


 6.设置输入输出路径

FileInputFormat. setInputPaths (job, new Path (args[0]));

FileOutputFormat.setoutputPath(job,newPath(args[1]));

7.提交 job

boolean result = job.waitForCompletion(true);

System.exit(result?0:1);

 

上一篇:【Python学习 】Python获取命令行参数的方法


下一篇:4星|《DK商业百科》:主要商业思想与事件的概括