WordCount 案例测试| 学习笔记

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例测试】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1485


WordCount 案例测试

 

简介:

1、运行程序驱动

2、输入输出

 

1、运行驱动程序:

//1获取 Job 对象

Job job = Job.getInstance(conf);

//2设置 jar 存储位置

job.setJarByClass(WordcountDriver.class);

//3关联 Map 和 Reduce 类

job.setMapperClass(wordcountMapper.class);job.setReducerClass(WordcountReducer.class);

//4设置 Mapper 阶段输出数据的 key 和 value 类型

job. setMapOutputKeyClass(Text.class);

job.setMapOutputValueclass(Intwritable.class);

//5设置最终数据输出的 key 和 value 类型

job.setOutputKeyClass(Text.class);

job.setOutputValueClass (Intwritable.class);

//6设置输入路径和输出路径

FileInputFormat.setInputpaths(job,new Path(args[0]));

FileoutputFormat.setOutputPath(job,new Path(args[1]));

//7提交 job

// job.submit();

boolean result = job.waitForCompletion(true);

System.exit(result ? 0 : 1);


2、输入输出:

输入到:E 盘→inputorder→inputword

WordCount  案例测试| 学习笔记

输出到:E 盘→新建 input

WordCount  案例测试| 学习笔记

运行结束

上一篇:Apache Hive--DML--select 查询| 学习笔记


下一篇:shell变量