impala编译

impala编译 编译系统centos 5.10

说明:版本1.3.x----2.1.x都能编译

一、预装库

1.gcc安装

yum install gcc44

yum install gcc44-c++

下面的单独安装在编译过程中会与系统自带的低版本冲突

mpc-0.9.tar.gz

mpfr-3.1.2.tar.gz

gmp-5.0.1.tar.bz2

gcc-4.4.7.tar.gz

gcc-g++-4.4.7.tar.gz

http://blog.sina.com.cn/s/blog_868618f00101ij4a.html

注:安装之后中需要将原来的/usr/bin 下的4.1.2的cc,gcc 指向4.4.7版本

并且指向的是 /usr/bin/x86_64-redhat-linux6E-gcc44而不是gcc44

g++同样指向/usr/bin/x86_64-redhat-linux6E-g++44

卸载掉gcc-c++,它是4.1.2版本。因为有在编译时使用的有可能是c++而不是g++编译器,造成版本过低会引起无法识别msse4.2参数。具体情况没有证明,我只是把它卸载了。

2.boost库安装

boost_1_53_0.tar.gz

安装到系统默认路径

编译参数

./bjam   --toolset=gcc  --layout=tagged --build-type=complete     --with-regex  --with-system  --with-thread  --with-filesystem install --with-date_time

3.其它库安装

git-1.9.4.tar.gz  ./configure  --prefix=/usr/local/git-1.9.2

Python-2.7.8.tgz  ./configure  --prefix=/usr/local/python-2.7.8

lzo-2.06.tar.gz  ./configure  --enable-shared

yum install cmake libtool zlib-devel openssl-devel bzip2-devel cyrus-sasl-devel

下面的两个LZO库直接解压

hadoop-lzo-0.4.15-gplextras5.0.1-SNAPSHOT.tar.gz

hadoop-lzo-release-0.4.19.tar.gz

impala-lzo-1.3.1-gplextras5.0.1-SNAPSHOT.tar.gz

文件下载地址

http://archive.cloudera.com/gplextras/

不同操作系统下对应的rpm包找到后直接解压就会找到jar包。

4.工具安装

jdk-6u45-linux-x64.bin

apache-maven-3.0.4-bin.tar.gz

setuptools-0.6c11.tar.gz 此工具用来编译python脚本

安装过程:

tar zxvf setuptools-0.6c11.tar.gz
cd setuptools-0.6c11
python setup.py build
python setup.py install

5 .LLVM安装

llvm-3.3.src.tar.gz, cfe-3.3.src.tar.gz,
compiler-rt-3.3.src.tar

所需要的包以及放位置参考或文档《LLVM编译安装.txt》

有一个已经将以上三个包打好的完全源码包vip-llvm-3.3.src.tar

直接解压可编译安装

http://clang.llvm.org/get_started.html

二、环境变量

其它库的环境变量是否需要看安装路径,如果安装在默认路径就不需要,以下库安装在指定路径,其它库在默认路径

export GIT_HOME=/usr/local/git-1.9.2

export HADOOP_LZO=/root/hadoop-lzo-0.4.15

export IMPALA_LZO=/root/impala-lzo-1.3.1

export PYTHON2_HOME=/usr/local/python-2.7.8

export MAVEN_HOME=/root/apache-maven-3.0.4

export JAVA_HOME=/root/jdk

export
PATH=$GIT_HOME/bin:$PYTHON2_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

三、编译

./buildall.sh  -noclean  -skiptests  -codecoverage_release  -codecoverage_debug

错误0:

/usr/local/lib/../lib/libstdc++.so:
could not read symbols: File in wrong format

表示没有安装boost库到标准路径,而直接使用了标准C++造成的,直接将上面编译boosts时安装到标准路径

错误一:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/statestore/failure-detector.cc:
In member function ‘virtual impala::FailureDetector::PeerState
impala::TimeoutFailureDetector::UpdateHeartbeat(const std::string&, bool)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/statestore/failure-detector.cc:41:
错误:‘lock_guard’
在此作用域中尚未声明

解决:修改头文件failure-detector.h加入#include <boost/thread/lock_guard.hpp>

错误二:

/home/flh/boost_1_53_0/build/include/boost/move/core.hpp:48:
错误:放松 ‘boost::rv<T>::~rv()
[with T = impala::TNetworkAddress]’ 的 throw 限定

/home/flh/impala-1.3.0-cdh5.0.0/be/generated-sources/gen-cpp/Types_types.h:180: 错误:  覆盖了 ‘virtual
impala::TNetworkAddress::~TNetworkAddress() throw ()’

解决:Types_types.h头文件中产生的所有类的析构函数的后面的throw() 关键词去掉

错误三:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/util/simple-logger.cc:
In member function ‘impala::Status impala::SimpleLogger::AppendEntry(const
std::string&)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/util/simple-logger.cc:77:
错误:‘lock_guard’
在此作用域中尚未声明

解决:修改头文件simple-logger.h添加#include <boost/thread/lock_guard.hpp>

错误四:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/transport/TSaslServerTransport.cpp:
In member function ‘virtual
boost::shared_ptr<apache::thrift::transport::TTransport> apache::thrift::transport::TSaslServerTransport::Factory::getTransport(boost::shared_ptr<apache::thrift::transport::TTransport>)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/transport/TSaslServerTransport.cpp:110:
错误:‘lock_guard’ is not a member of ‘boost’

解决:修改头文件TSaslServerTransport.h添加#include <boost/thread/lock_guard.hpp>

Impala 编译6.5以上系统

一、预装库

1.gcc编译器安装

yum install gcc

yum install gcc-c++

默认都是4.4.7版本

2.boost库安装

同上

3.其它库安装

同上

4.工具安装

同上

5.LLVM安装

同上

如果有错误,删除了多编译几次

二、环境变量

其它库的环境变量是否需要看安装路径,如果安装在默认路径就不需要,以下库安装在指定路径,其它库在默认路径

export
HADOOP_LZO=/root/hadoop-lzo-0.4.15

export IMPALA_LZO=/root/impala-lzo-1.3.1

export PYTHON2_HOME=/usr/local/python-2.7.8

export MAVEN_HOME=/root/apache-maven-3.0.4

export JAVA_HOME=/root/jdk

export
PATH=$PYTHON2_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

三、编译

同上

上一篇:此实现不是 Windows 平台 FIPS 验证的加密算法的一部分


下一篇:详解 IntelliJ IDEA 配置和启动maven 项目 步骤