MapReduce的FileInputFormat实现类对比

FileInputFormat实现类对比

切片 KV值
TextInputFormat 按块大小,小文件就是文件个数 K:偏移量longWritable; V:这一行内容
KeyValueTextInputFormat 按块大小,小文件就是文件个数 K:文件第一列 V:文件该行剩下的内容
NLineInputFormat 按N行切片。看N值, K: 偏移量; V:这一行内容
CombineTextInputFormat 与设置最大值有关,文件小于最大值,会将小文件合并到一起(合并到大于最大值为止)为一个切片 K: 偏移量longWritable; V:这一行内容
自定义InputFormat 按块大小,小文件就是文件个数 K: Text V:BytesWritable 自己定义的
上一篇:Hadoop MapReduce 框架原理 | InputFormat 数据输入


下一篇:MapReduce并行度机制