Hadoop支持LZO压缩配置

支持LZO压缩配置

  1. hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下。

    hadoop-lzo编译(点我打开)

  2. 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/

  3. 同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104

xsync hadoop-lzo-0.4.20.jar
  1. core-site.xml增加配置支持LZO压缩
	<property>
		<name>io.compression.codecs</name>
		<value>
			org.apache.hadoop.io.compress.GzipCodec,
			org.apache.hadoop.io.compress.DefaultCodec,
			org.apache.hadoop.io.compress.BZip2Codec,
			org.apache.hadoop.io.compress.SnappyCodec,
			com.hadoop.compression.lzo.LzoCodec,
			com.hadoop.compression.lzo.LzopCodec
		</value>
	</property>
	<property>
		<name>io.compression.codec.lzo.class</name>
		<value>com.hadoop.compression.lzo.LzoCodec</value>
	</property>
  1. 同步core-site.xml到hadoop103、hadoop104
xsync core-site.xml
  1. 启动及查看集群(启动之前先停止原先的集群)
start-dfs.sh
start-yarn.sh

版权声明:
作者:十下
链接:http://blog.edkso.cn/?p=475
来源:十下博客
文章版权归作者所有,未经允许请勿转载。

上一篇:MapReduce的shuffle及优化


下一篇:CDH启动lzo压缩