创建parquet table :
create table tabname(a int,b int) STORED AS PARQUET;
创建带压缩的parquet table:
create table tabname(a int,b int) STORED AS PARQUET TBLPROPERTIES('parquet.compression'='SNAPPY');
如果原来创建表的时候没有指定压缩,后续可以通过修改表属性的方式添加压缩:
ALTER TABLE tabname SET TBLPROPERTIES ('parquet.compression'='SNAPPY');
或者在写入的时候
set parquet.compression=SNAPPY;
不过只会影响后续入库的数据,原来的数据不会被压缩,需要重跑原来的数据。
采用压缩之后大概可以降低1/3的存储大小。
相关文章
- 03-30Hive插入parquet格式进行压缩
- 03-30Hive文件存储格式和hive数据压缩
- 03-30使用Sqoop导入导出parquet格式的Hive表
- 03-30HIVE存储格式ORC、PARQUET对比
- 03-30Hive(数据仓库)数据压缩、数据存储格式
- 03-30parquet和orc选型以及压缩格式
- 03-30hive的压缩存储格式
- 03-30Hive性能调优(一)----文件存储格式及压缩方式选择
- 03-30Hive 分区表 进行动态插入
- 03-30用原生JS进行CSS格式化和压缩