Hadoop_常用存储与压缩格式

HDFS文件格式

file_format:
  TEXTFILE    默认格式
  RCFILE     hive 0.6.0 和以后的版本
  ORC       hive 0.11.0 和以后的版本
  PARQUET     hive 0.13.0 和以后的版本,该数据格式企业中最常用
  AVRO      hive 0.14.0 和以后的版本

数据存储的方式

1. 按行存储 textfile
2. 按列存储 orc/parqurt
  --orcfile
    每列数据有类似于元数据的索引信息,可以确定列内容,需要某列信息时可以直接锁定列内容,效率优于按行存储
    压缩出来的文件比例最小,以时间换存储
  --parquet
    比较复杂,支持嵌套数据结构和高效其种类丰富的算法(以应对不同值分布特征的压缩)
    压缩率不如orcfile,时间与压缩比适中
  压缩率
  TEXTFILE(不压缩) RCFILE(14%) parquet(62%) orcfile(78%) 其中ORCFILE是RCFILE一个升级

常见的压缩技术

1. 压缩格式: bzip2,gzip,lzo,lz4,snappy等
2. 压缩比: bzip2>gzip>lzo bzip2最节省存储空间
3. 解压速度: lzo>gzip>bzip2 lzo解压速度最快
4. mapreduce
    --> input --> map --> shuffle --> reduce --> output
      --> shuffle
        --> map shuffle
          --> spill
          --> partition: 决定map的输出交给那个reduce处理
          --> sort: 两种方式,WritableComparable/Comparable
          --> combiner: map端的reduce
          --> 压缩
        --> reduece shuffle
          -->merger
          --> 分组: 将相同key的value进行合并
5. hadoop中的压缩
  --> 减少网络IO
  --> 减少了磁盘IO存储
  --> 注意压缩必须有可分割性(在map输出经过shuffle到reduce时需要解压缩,保证单个数据还可以被解压)
  --> hadoop支持的压缩格式:zlib/gzip/bzip2/lzo/lz4/snappy
6. hadoop中编译snappy压缩
  --> Linux安装snappy库
  --> 下载hadoop-snappy-master.zip 编译生成支持hadoop的snappy.so
  --> 将生成的jar包放到hadoop目录下的lib
  --> 添加配置文件
  core-site.xml
    <property>
      <name>io.compression.codecs</name>
      <value>
        org.apache.hadoop.io.compress.GzipCodec,
        org.apache.hadoop.io.compress.DefaultCodec,
        org.apache.hadoop.io.compress.BZip2Codec,
        org.apache.hadoop.io.compress.SnappyCodec
      </value>
    </property>
上一篇:c#常见的错误集合


下一篇:Atitit. visual studio vs2003 vs2005 vs2008  VS2010 vs2012 vs2015新特性 新功能.doc