多 Job 串联案例第一个 Job |学习笔记

开发者学堂课程【Hadoop 企业优化及扩展案例:多 Job 串联案例第一个 Job】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/96/detail/1573


多 Job 串联案例第一个 Job


目录:

一、编写 OneIndexMapper 类

二、写 Mapper 方法

三、写 Reduce 方法

四、驱动

 

1. 编写 OneIndexMapper 类

public class OneIndexMapper extends Mapper(String name;@Overrideprotected void setup(Mapper  Context context)throws I0Exception, InterruptedException f
//获取文件名称
FileSplit inputSplit = (FileSplit) context. getInputSplit();name=inputSplit. getPath() . getName();@Overrideprotected void map(LongWritable key, Text value, Mapper . Context context)throws I0Exception, InterruptedException {


2.写 Mapper 方法

protected void map(LongWritable key, Text value, Mapper .Context context)throws I0Exception, InterruptedException f//atguigu pingping
// 1获取一行
String line = value . toString();
//2切割
String[] fields = line.split(" ");
//写出
for(String word : fields) {
k.set(word+"--"+name);

context.write(k, v);

}

 

3.写 Reduce 方法


public class OneIndexReducer extends ReducerfIntWritable V = new IntWritable();@0verrideprotected void reduce(Text key, Iterable values,Context context) throws I0Exception, InterruptedException {int sum= 0;//1累加求和for (IntWritable value : values) {

sum += value.get();
v.set(sum);
//写出
context .write(key, v);

}


4.驱动

多 Job 串联案例第一个 Job |学习笔记

上一篇:Consul实践之Consul常见应用场景及方案梳理(FAQ)


下一篇:故障重构(Fault reconstruction,FR)原理及应用