Hadoop集群中pig工具的安装过程记录

在Hadoop环境中安装了pig工具,安装过程中碰到了一些问题,在此做一下记录:

  主要安装流程参考:http://www.cnblogs.com/yanghuahui/p/3768270.html

主要碰到的问题:

   由于是从直接下载的pig包,所以在mapreduce模式中会报:

     Hadoop: java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected

根据步骤,需要运行:ant clean jar-all -Dhadoopversion=23重新编译,通过yum安装完ant之后,运行命令发现报错:Buildfile: build.xml

BUILD FAILED
/home/hadoop/pig-0.12.1/build.xml:720: Problem: failed to create task or type scriptdef
Cause: the class org.apache.tools.ant.taskdefs.optional.script.ScriptDef was not found.
This looks like one of Ant's optional components.
Action: Check that the appropriate optional JAR exists in
-/usr/share/ant/lib
-/home/hadoop/.ant/lib
-a directory added on the command line with the -lib argument Do not panic, this is a common problem.
The commonest cause is a missing JAR. This is not a bug; it is a configuration problem Total time: 0 seconds

而且此时,jdk环境应为ant原因已经变成Openjdk1.6。

研究Ant的官方文档,通过运行命令:

#ant -diagnostics

发现通过yum安装的ant环境,缺少了所有的的option Task,造成build.xml中使用optionTask时报错。

官方文档提示,可以通过ant -f fetch.xml -Ddest=option来安装缺少的Option Task。

但是从本地的环境中发现,缺少基本的文件fetch.xml ,造成无法运行。

因此删除原有环境

rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-6.1.13.4.el6_5.x86_64
rpm -e --nodeps java-1.6.0-openjdk-devel-1.6.0.0-6.1.13.4.el6_5.x86_64
rpm -e --nodeps tzdata-java-2014e-1.el6.noarch
rpm -e --nodeps java_cup-0.10k-5.el6.x86_64
rpm -e --nodeps ant-1.7.1-13.el6.x86_64

从官网下载二进制包来配置ant环境:

#tar zxvf apache-ant-1.9.4-bin.tar.gz

在环境变量中设置:

export ANT_HOME=/home/hadoop/apache-ant-1.9.4
PATH=$PATH:$ANT_HOME/bin
作者:sdjnzqr

出处:http://www.cnblogs.com/sdjnzqr/

版权:本文版权归作者和博客园共有

转载:欢迎转载,但未经作者同意,必须保留此段声明;必须在文章中给出原文连接;否则必究法律责任

上一篇:JAVAEmail工具错误java.lang.ClassNotFoundException: javax.activation.DataSource


下一篇:manjao linux下玩转arduino