hadoop学习;自己定义Input/OutputFormat;类引用mapreduce.mapper;三种模式

hadoop切割与读取输入文件的方式被定义在InputFormat接口的一个实现中。TextInputFormat是默认的实现,当你想要一次获取一行内容作为输入数据时又没有确定的键。从TextInputFormat返回的键为每行的字节偏移量,但眼下没看到用过

曾经在mapper中曾使用LongWritable(键)和Text(值),在TextInputFormat中,由于键是字节偏移量。能够是LongWritable类型,而当使用KeyValueTextInputFormat时,第一个分隔符前后都是Text类型,所以你必须改动mapper的实现以及map()方法来适应这个新键类型

hadoop学习;自己定义Input/OutputFormat;类引用mapreduce.mapper;三种模式

一个MapReduce的输入不一定是外部数据,经常是一些其它MapReduce的输出数据,还能够自己定义输出格式,默认的输出格式与KeyValueTextInputFormat能够读取的的数据格式保持一致(记录中的每行均为一个由制表符分隔的键和值),只是Hadoop提供了更加有效的二进制压缩文件格式。称为序列文件,这个序列文件为hadoop处理做了优化。当连接多个MapReduce作业时,它是首选,读取序列文件的类为SequenceFileInputFormat,序列文件的键和值对象能够由用户自己定义。输出和输入类型必须匹配

自己定义InputFormat,实现两个方法:

getSplit()确定全部用于输入数据的文件,并将输入数据切割为输入分片,每一个map任务处理一个分片

getRecordReader()循环提取给定分片中的记录,并解析每一个记录为提前定义类型的键和值

在实际情况中一个分片总是以数据块为大小,在HDFS中默认一个块为64MB

FileInputFormat中isSplitable()方法。检查你能否够将给定文件分片,默认返回为true。有时你可能想要一个文件为其自身的分块,这时能够设定返回为false

LineRecordReader实现RecordReader,基于实现的封装,大多数操作存放在next中

我们通过扩展FileInputFormat生成我们的InputFormat类,并实现一个factory方法来返回recordreader

除了类的构建之外,TimeUrlRecordReader会在RecordReader实现6种方法,它主要在KeyValueInputFormat之外的一个封装,但吧记录的Text类型转换为URLWritable

输出数据到文件时,使用的是OutputFormat。由于每一个reducer仅需将它的输出写入自己的文件里,输出不须要分片。

输出文件放在一个公用文件夹中。通常命名为part-nnnnn。这里的nnnnn是reducer的分区ID。RecordWriter对输出结果进行格式化。而RecordReader对输入格式进行解析

NullOutPutFormat简单的实现了OutputFormat,无输出。并不须要继承FileOutputFormat。更基本的是OutputFormat(InputFormat)处理的是数据库。并不是文件

个性化输出能够在继承了FileOutputFormat的类中的封装的继承RecordReader类中的write()方法。假设不仅仅想输出到文件里

jar -xvf  ../example.jar  解压jar包

向hdfs迁移本地文件能够,程序中地址别写错了,别写成其它不关联的机子上的

在eclipse中写完程序,打成jar包。放到hadoop目录下,执行hadoop指令能够查看结果

若运用第三方插件fatjar,将mapreduce的jar包和jedis的jar包整合到一起放入hadoop。这样不须要改动manifest配置信息

hadoop学习;自己定义Input/OutputFormat;类引用mapreduce.mapper;三种模式

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbmVlZGthbmU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

我们导出jar包(不用包括hadoop的jar包)放入hadoop目录下,执行hadoop命令,类用长名

package com.kane.hdfs;





import java.io.IOException;





import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.BlockLocation;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.hdfs.DistributedFileSystem;

import org.apache.hadoop.hdfs.protocol.DatanodeInfo;





public class FindFileOnHDFS {





/**

* @param args

* @throws IOException 

*/

public static void main(String[] args) throws IOException {

// TODO Auto-generated method stub

getHDFSNodes();

getFileLocal();

}

public static void getHDFSNodes() throws IOException {

//HDFS集群节点数

Configuration conf=new  Configuration();

FileSystem fs=FileSystem.get(conf);

//获取分布式文件系统

DistributedFileSystem hdfs=(DistributedFileSystem)fs;

//获取全部的节点数

DatanodeInfo[] dataNodeStats=hdfs.getDataNodeStats();

//循环打印

for (int i = 0; i < dataNodeStats.length; i++) {

System.out.println("DataNode_"+i+"_Name:"+dataNodeStats[i].getHostName());


}

}

/**

* 查找某个文件在HDFS集群的位置

* @throws IOException 

*/

public static void getFileLocal() throws IOException {

Configuration conf=new Configuration();

FileSystem hdfs=FileSystem.get(conf);



Path fPath=new Path("user/hadoop/20120722");//word.txt

//获取文件系统里面的文件信息

FileStatus fileStatus=hdfs.getFileStatus(fPath);

//获取文件的块信息

BlockLocation[] blkLocations=hdfs.getFileBlockLocations(fileStatus, 0, 1000);

int blockLen=blkLocations.length;

for (int i = 0; i < blockLen; i++) {

String[] hosts=blkLocations[i].getHosts();

System.out.println("block_"+i+"_location"+hosts[0]);

}

}





}

hadoop学习;自己定义Input/OutputFormat;类引用mapreduce.mapper;三种模式

hadoop学习;自己定义Input/OutputFormat;类引用mapreduce.mapper;三种模式

搭建三种模式,一般默认单机模式:不使用HDFS,也不载入不论什么守护进程,主要用于开发调试

伪分布模式在“单节点集群”上执行hadoop,当中全部守护进程都在一台机子上,添加了代码调试功能。同意检查内存使用情况,HDFS输入输出。以及其它的守护进程交互

全分布模式。真实情况用这样的模式。强调分布式存储和分布式计算,明白声明了NameNode和JobTracker守护进程所在的主机名。

增大了HDFS备份參数发挥分布式存储优势

上一篇:[转]通过Spring Boot三分钟创建Spring Web项目


下一篇:ASP.NET 5探险(3):使用UMEditor并实现图片上传