hive数据格式

1 textfile
行式存储
数据不进行压缩 网络开销比较大

·2 sequencefile 二进制文件
二进制文件,它将数据(key,value)的形式序列化到文件里
·3 ORC file
1. ORC是列式存储,有多种文件压缩方式,并且有着很高的压缩比。
2. 文件是可切分(Split)的。因此,在Hive中使用ORC作为表的文件存储格式,不仅节省HDFS存储资源,查询任务的输入数据量减少,使用的MapTask也就减少了
3. 提供了多种索引,row group index、bloom filter index。
4. ORC可以支持复杂的数据结构(比如Map等)
·4parquet
https://blog.51cto.com/11964104/2071800

上一篇:ORC格式文件读取


下一篇:得到categoryId展开的表数据 子查询按照categoryId进行分区