hadoop默认不支持lzo的压缩格式；

lzo压缩工具，支持对超过block大小的数据进行切分，在生产中可以提高Job的处理效率；

lzo所需组件：

    lzo

    lzop

    hadoop-gpl-packaging：gpl-packaging的作用主要是对压缩的lzo文件创建索引，否则的话，无论压缩文件是否大于hdfs的block大小，都只会1个map操作。

编译安装lzo：

#安装相关依赖
yum -y install  lzo-devel  zlib-devel  gcc autoconf automake libtool

#编译lzo
cd /usr/local/src
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
tar -zxvf lzo-2.06.tar.gz
cd lzo-2.06
export CFLAGS=-m64
./configure -enable-shared -prefix=/usr/local/lzo
make
make install

注：编译完lzo包之后，会在/usr/local/lzo/目录下生成一些文件。
[root@hadoop004 lzo]# ll
total 0
drwxr-xr-x 3 root root  17 Apr 19 10:30 include
drwxr-xr-x 2 root root 103 Apr 19 10:30 lib
drwxr-xr-x 3 root root  17 Apr 19 10:30 share

#查看lzop命令：
[root@hadoop004 lzo]# which lzop 
/usr/bin/lzop

#lzo命令使用方法及压缩测试
lzo压缩：lzop -v filename
lzo解压：lzop -dv filename

[root@hadoop004 hadoop]# du -sh *
69M	access.log
16M	access.log.lzo

注：.lzo为压缩过后的文件，可以看到压缩比例很高。