FileInputFormat实现类对比
类 | 切片 | KV值 |
---|---|---|
TextInputFormat | 按块大小,小文件就是文件个数 | K:偏移量longWritable; V:这一行内容 |
KeyValueTextInputFormat | 按块大小,小文件就是文件个数 | K:文件第一列 V:文件该行剩下的内容 |
NLineInputFormat | 按N行切片。看N值, | K: 偏移量; V:这一行内容 |
CombineTextInputFormat | 与设置最大值有关,文件小于最大值,会将小文件合并到一起(合并到大于最大值为止)为一个切片 | K: 偏移量longWritable; V:这一行内容 |
自定义InputFormat | 按块大小,小文件就是文件个数 | K: Text V:BytesWritable 自己定义的 |