Hive支持的文件格式与压缩算法

2022-02-02 04:31:12

Hive支持的文件格式与压缩算法

概述

只要是配置了正确的文件类型和压缩类型(比如Textfile+Gzip、SequenceFile+Snappy等)，Hive都可以按预期读取并解析数据，提供SQL功能。

SequenceFile本身的结构已经设计了内容进行压缩。所以对于SequenceFile文件的压缩，并不是先生成SequenceFile文件，再对文件进行压缩。而是生成SequenceFile文件时，对其中的内容字段进行压缩。最终压缩后，对外仍体现为一个SequenceFile。

RCFile、ORCFile、Parquet、Avro对于压缩的处理方式与SequenceFile相同。

文件格式

  1. Textfile
  2. SequenceFile
  3. RCFile
  4. ORCFile
  5. Parquet
  6. Avro

压缩算法的编解码器

Hive支持的文件格式与压缩算法

TEXTFILE



    

  1. --创建一个表，格式为文本文件： 
    2. 

  2. CREATE EXTERNAL TABLE student_text (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED  
    4. 

  4.     FIELDS TERMINATED BY ','  
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS TEXTFILE; 
    7. 

  7. --导入数据到此表中,将启动MR任务 
    8. 

  8. INSERT OVERWRITE TABLE student_text SELECT * FROM student; 
    9. 



可查看到生成的数据文件的格式为非压缩的文本文件：




    

  1. hdfs dfs -cat /user/hive/warehouse/student_text/000000_0 
    2. 

  2.  
    3. 

  3. 1001810081,cheyo 
    4. 

  4. 1001810082,pku 
    5. 

  5. 1001810083,rocky 
    6. 

  6. 1001810084,stephen 
    7. 

  7. 2002820081,sql 
    8. 

  8. 2002820082,hello 
    9. 

  9. 2002820083,hijj 
    10. 

  10. 3001810081,hhhhhhh 
    11. 

  11. 3001810082,abbbbbb 
    12. 



文本文件,DEFLATE压缩




    

  1. --创建一个表，格式为文件文件： 
    2. 

  2. CREATE TABLE student_text_def (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS TEXTFILE; 
    7. 

  7. --设置压缩类型为Gzip压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.output.compress=true; 
    10. 

  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;  
    11. 

  11. --导入数据： 
    12. 

  12. INSERT OVERWRITE TABLE student_text_def SELECT * FROM student; 
    13. 

  13. --查看数据 
    14. 

  14. SELECT * FROM student_text_def; 
    15. 



查看数据文件,可看到数据文件为多个.deflate文件。




    

  1. hdfs dfs -ls /user/hive/warehouse/student_text_def/ 
    2. 

  2. -rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000000_0.deflate 
    3. 

  3. -rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000001_0.deflate 
    4. 

  4. -rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000002_0.deflate 
    5. 



文本文件,Gzip压缩




    

  1. --创建一个表，格式为文件文件： 
    2. 

  2. CREATE TABLE student_text_gzip (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS TEXTFILE; 
    7. 

  7. --设置压缩类型为Gzip压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.output.compress=true; 
    10. 

  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 
    11. 

  11. --导入数据： 
    12. 

  12. INSERT OVERWRITE TABLE student_text_gzip SELECT * FROM student; 
    13. 

  13. --查看数据 
    14. 

  14. SELECT * FROM student_text_gzip; 
    15. 



查看数据文件,可看到数据文件为多个.gz文件。解开.gz文件，可以看到明文文本：




    

  1. hdfs dfs -ls /user/hive/warehouse/student_text_gzip/ 
    2. 

  2. -rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000000_0.gz 
    3. 

  3. -rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000001_0.gz 
    4. 

  4. -rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000002_0.gz 
    5. 



文本文件,Bzip2压缩




    

  1. --创建一个表，格式为文件文件： 
    2. 

  2. CREATE TABLE student_text_bzip2 (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS TEXTFILE; 
    7. 

  7. --设置压缩类型为Bzip2压缩： 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.output.compress=true; 
    10. 

  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec; 
    11. 

  11. --导入数据 
    12. 

  12. INSERT OVERWRITE TABLE student_text_bzip2 SELECT * FROM student; 
    13. 

  13. --查看数据： 
    14. 

  14. SELECT * FROM student_text_bzip2; 
    15. 



查看数据文件,可看到数据文件为多个.bz2文件。解开.bz2文件，可以看到明文文本：




    

  1. hdfs dfs -ls /user/hive/warehouse/student_text_bzip2 
    2. 

  2. -rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000000_0.bz2 
    3. 

  3. -rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000001_0.bz2 
    4. 

  4. -rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000002_0.bz2 
    5. 



文本文件,lzo压缩




    

  1. --创建表 
    2. 

  2. CREATE TABLE student_text_lzo (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS TEXTFILE; 
    7. 

  7. --设置为LZO压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.output.compress=true; 
    10. 

  10. SET mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec; 
    11. 

  11. --导入数据 
    12. 

  12. INSERT OVERWRITE TABLE student_text_lzo SELECT * FROM student; 
    13. 

  13. --查询数据 
    14. 

  14. SELECT * FROM student_text_lzo; 
    15. 



查看数据文件,可看到数据文件为多个.lzo压缩。解开.lzo文件，可以看到明文文本。


未实测,需要安装lzop库


文本文件,lz4压缩




    

  1. --创建表 
    2. 

  2. CREATE TABLE student_text_lz4 (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS TEXTFILE; 
    7. 

  7. --设置为LZ4压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.output.compress=true; 
    10. 

  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.Lz4Codec; 
    11. 

  11. --导入数据 
    12. 

  12. INSERT OVERWRITE TABLE student_text_lz4 SELECT * FROM student; 
    13. 



查看数据文件,可看到数据文件为多个.lz4压缩。使用cat查看.lz4文件，可以看到是压缩后的文本。




    

  1. hdfs dfs -ls /user/hive/warehouse/student_text_lz4 
    2. 

  2. -rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000000_0.lz4 
    3. 

  3. -rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000001_0.lz4 
    4. 

  4. -rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000002_0.lz4 
    5. 



文本文件,Snappy压缩




    

  1. --创建表 
    2. 

  2. CREATE TABLE student_text_snappy (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS TEXTFILE; 
    7. 

  7. --设置压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.compress.map.output=true; 
    10. 

  10. SET mapred.output.compress=true; 
    11. 

  11. SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 
    12. 

  12. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
    13. 

  13. SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 
    14. 

  14. --导入数据 
    15. 

  15. INSERT OVERWRITE TABLE student_text_snappy SELECT * FROM student; 
    16. 

  16. --查询数据 
    17. 

  17. SELECT * FROM student_text_snappy; 
    18. 



查看数据文件,可看到数据文件为多个.snappy压缩文件。使用cat查看.snappy文件，可以看到是压缩后的文本:




    

  1. hdfs dfs -ls /user/hive/warehouse/student_text_snappy 
    2. 

  2. Found 3 items 
    3. 

  3. -rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000000_0.snappy 
    4. 

  4. -rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000001_0.snappy 
    5. 

  5. -rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000002_0.snappy 
    6. 



SEQUENCEFILE


Sequence文件,DEFLATE压缩




    

  1. --创建一个表，格式为文件文件： 
    2. 

  2. CREATE TABLE student_seq_def (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS SEQUENCEFILE; 
    7. 

  7. --设置压缩类型为Gzip压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.output.compress=true; 
    10. 

  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;  
    11. 

  11. --导入数据： 
    12. 

  12. INSERT OVERWRITE TABLE student_seq_def SELECT * FROM student; 
    13. 

  13. --查看数据 
    14. 

  14. SELECT * FROM student_seq_def; 
    15. 



查看数据文件,是一个密文的文件.




    

  1. hdfs dfs -ls /user/hive/warehouse/student_seq_def/ 
    2. 

  2. -rw-r--r--  /user/hive/warehouse/student_seq_def/000000_0 
    3. 



Sequence文件,Gzip压缩




    

  1. --创建一个表，格式为文件文件： 
    2. 

  2. CREATE TABLE student_seq_gzip (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS SEQUENCEFILE; 
    7. 

  7. --设置压缩类型为Gzip压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.output.compress=true; 
    10. 

  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 
    11. 

  11. --导入数据： 
    12. 

  12. INSERT OVERWRITE TABLE student_seq_gzip SELECT * FROM student; 
    13. 

  13. --查看数据 
    14. 

  14. SELECT * FROM student_seq_gzip; 
    15. 



查看数据文件,是一个密文的文件，无法通过gzip解压：




    

  1. hdfs dfs -ls /user/hive/warehouse/student_seq_gzip/ 
    2. 

  2. -rw-r--r--  /user/hive/warehouse/student_seq_gzip/000000_0 
    3. 



RCFILE


RCFILE,Gzip压缩




    

  1. CREATE TABLE student_rcfile_gzip (id STRING, name STRING) 
    2. 

  2. ROW FORMAT DELIMITED 
    3. 

  3.     FIELDS TERMINATED BY ',' 
    4. 

  4.     LINES TERMINATED BY '\n' 
    5. 

  5. STORED AS RCFILE; 
    6. 

  6.  
    7. 

  7. --设置压缩类型为Gzip压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.output.compress=true; 
    10. 

  10. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 
    11. 

  11. --导入数据： 
    12. 

  12. INSERT OVERWRITE TABLE student_rcfile_gzip SELECT id,name FROM student; 
    13. 

  13. --查看数据 
    14. 

  14. SELECT * FROM student_rcfile_gzip; 
    15. 



ORCFile


ORCFile有自己的参数设置压缩格式，一般不使用上述Hive参数设置压缩参数。


ORCFile,ZLIB压缩




    

  1. --创建表 
    2. 

  2. CREATE TABLE student_orcfile_zlib (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS ORCFILE TBLPROPERTIES ("orc.compress"="ZLIB"); 
    7. 

  7.  
    8. 

  8. --导入数据 
    9. 

  9. INSERT OVERWRITE TABLE student_orcfile_zlib SELECT id,name FROM student; 
    10. 

  10. --查询数据 
    11. 

  11. SELECT * FROM student_orcfile_zlib; 
    12. 



ORCFILE,Snappy压缩




    

  1. --创建表 
    2. 

  2. CREATE TABLE student_orcfile_snappy2 (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS ORCFILE TBLPROPERTIES ("orc.compress"="SNAPPY"); 
    7. 

  7.  
    8. 

  8. --导入数据 
    9. 

  9. INSERT OVERWRITE TABLE student_orcfile_snappy2 SELECT id,name FROM student; 
    10. 

  10. --查询数据 
    11. 

  11. SELECT * FROM student_orcfile_snappy2; 
    12. 



一般不使用下述方式。下述方式压缩后，结果与上述同类型压缩(SNAPPY)不同。具体原因待进一步研究。




    

  1. --创建表 
    2. 

  2. CREATE TABLE student_orcfile_snappy (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS ORCFILE; 
    7. 

  7. --设置压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.compress.map.output=true; 
    10. 

  10. SET mapred.output.compress=true; 
    11. 

  11. SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 
    12. 

  12. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
    13. 

  13. SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 
    14. 

  14. --导入数据 
    15. 

  15. INSERT OVERWRITE TABLE student_orcfile_snappy SELECT id,name FROM student; 
    16. 

  16. --查询数据 
    17. 

  17. SELECT * FROM student_orcfile_snappy; 
    18. 



Parquet


Parquet,Snappy压缩




    

  1. --创建表 
    2. 

  2. CREATE TABLE student_parquet_snappy (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS PARQUET; 
    7. 

  7. --设置压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.compress.map.output=true; 
    10. 

  10. SET mapred.output.compress=true; 
    11. 

  11. SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 
    12. 

  12. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
    13. 

  13. SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 
    14. 

  14. --导入数据 
    15. 

  15. INSERT OVERWRITE TABLE student_parquet_snappy SELECT id,name FROM student; 
    16. 

  16. --查询数据 
    17. 

  17. SELECT * FROM student_parquet_snappy; 
    18. 



Avro


Avro,Snappy压缩




    

  1. --创建表 
    2. 

  2. CREATE TABLE student_avro_snappy (id STRING, name STRING) 
    3. 

  3. ROW FORMAT DELIMITED 
    4. 

  4.     FIELDS TERMINATED BY ',' 
    5. 

  5.     LINES TERMINATED BY '\n' 
    6. 

  6. STORED AS AVRO; 
    7. 

  7. --设置压缩 
    8. 

  8. SET hive.exec.compress.output=true; 
    9. 

  9. SET mapred.compress.map.output=true; 
    10. 

  10. SET mapred.output.compress=true; 
    11. 

  11. SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 
    12. 

  12. SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
    13. 

  13. SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 
    14. 

  14. --导入数据 
    15. 

  15. INSERT OVERWRITE TABLE student_avro_snappy SELECT id,name FROM student; 
    16. 

  16. --查询数据 
    17. 

  17. SELECT * FROM student_avro_snappy; 
    18. 






本文作者：hulubo


来源：51CTO
上一篇：ALB Ingress发布！轻松应对云原生应用流量管理

下一篇：高效 NMS