FileInputFormat切片机制和配置参数

1. FileInputFormat中默认的切片机制

(1)简单地按照文件的内容长度进行切片 
(2)切片大小,默认等于block大小
    (本地模式块大小32M,yarn模式128M,老的版本64M)
(3)切片时不考虑数据集整体,而是逐个针对每一个文件单独切片
 
    比如待处理数据有两个文件:
    file1.txt    330M
    file2.txt    10M
    经过FileInputFormat的切片机制运算后,形成的切片信息如下:  
    file1.txt.split1--  0~128
    file1.txt.split2--  128~256
    file1.txt.split3--  256~330
    file2.txt.split1--  0~10M

2.FileInputFormat切片大小的参数配置

通过分析源码,在FileInputFormat中,计算切片大小的逻辑为 Math.max(minSize, Math.min(maxSize, blockSize));

切片主要由这几个值来运算决定
mapreduce.input.fileinputformat.split.minsize=1 默认值为1
mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue
因此,默认情况下,切片大小=blocksize。

maxsize(切片最大值)
参数如果调得比blocksize小,则会让切片变小,而且就等于配置的这个参数的值。

minsize(切片最小值)
参数调的比blockSize大,则可以让切片变得比blocksize还大。

3. 获取切片信息API

// 根据文件类型获取切片信息
FileSplit inputSplit = (FileSplit) context.getInputSplit();
 
// 获取切片的文件名称
String name = inputSplit.getPath().getName();
 
上一篇:MapReduce并行度机制


下一篇:常量缓冲区(使用根描述符表)