开发者学堂课程【Hadoop 分布式计算框架 MapReduce：FilelnputFormat 切片机制和配置参数】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/94/detail/1500

FilelnputFormat切片机制和配置参数

 

内容简介：

一、切片机制​

二、案例分析

 

1、切片机制

(1)简单地按照文件的内容长度进行切片

(2)切片大小，默认等于 Block 大小

(3)切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

 

2、案例分析

(1)输入数据有两个文件：

filel.txt  file2.txt

320M    10M

(2) 经过 FilelnputFormat 的切片机制运算后，形成的切片信息如下：

 filel.txt.splitl-- 0~128

filel.txt.split2-- 128~256

filel.txt.split3--256~320

file2.txt.splitl--0~10M

FilelnputFormat切片大小的参数配置

 (1)源码中计算切片大小的公式Math.max(minSize.Math.min(maxSize.blockSize)):mapreduce.input.fileinputfonmat.split.minsize=1 默认 值为1

mapreduce.input.fileinputformat.split.maxsize=Long.MAXValue 默认值Long.MAXValue

因此，默认情况下，切片大小=blocksize。

（2)切片大小设置

maxsize (切片最大值)：参数如果调得比 blockSize 小，则会让切片变小，而且就等于配置的这个参数的值。

 minsize (切片最小值)：参数调的比 blockSize 大，则可以让切片变得比 blockSize还大。

（3）获取切片信息 API// 获取切片的文件名称

String name = inputSplit.getPath().getName();

 //根据文件类型获取切片信息

FileSplit inputSplit =(FileSplit)context.getInputSplit();