apache tez 编译安装与验证

2023-12-31 20:23:28

基本介绍

Apache Tez是构建于Apache Hadoop YARN上，基于有向无环图进行数据处理的框架。

主要设计主题：

授权终端用户
- 表达性数据流定义API
- 灵活的输入处理输出运行模型
- 数据类型无关
- 极易部署
执行性能
- 优于mapreduce
- 优化资源管理
- 运行时计划重新配置
- 动态物理数据流决策

通过允许像Apache Hive和Apache Pig这样的项目运行复杂的DAG任务，Tez可以用来处理数据，以前需要多个MR任务，现在只需要一个Tez任务，如下所示。

下载地址

https://tez.apache.org/releases/index.html

安装部署

版本适配

对于Tez版本0.8.3和更高，Tez需要Apache Hadoop版本2.6.0或更高。对于Tez版本0.9.0及更高版本，Tez需要Apache Hadoop版本2.7.0或更高。所以说，我们在选用tez时，是需要先确定我们的hadoop版本的。

适配hadoop版本进行tez源码编译

编译平台

操作系统：centos 7.6

CPU架构：x86_64

依赖安装

首先确保已经安装

jdk8
maven3

protobuf-2.5.0安装

yum install protobuf protobuf-devel

源码编译

在确定我们使用的hadoop版本之后，选择合适的tez进行源码编译。这边以

tez-0.9.2
hadoop-3.2.0

为例对tez进行源码编译。

源码下载与解压

wget https://mirror.olnevhost.net/pub/apache/tez/0.9.2/apache-tez-0.9.2-src.tar.gz
tar zxvf apache-tez-0.9.2-src.tar.gz

源码编译

cd apache-tez-0.9.2-src && mvn clean package -Dtar -Dhadoop.version=3.2.0 -DskipTests

编译完成之后，得到tez-dist/target/tez-0.9.2.tar.gz

功能测试

首先确保hadoop正常安装，包括hdfs和yarn

参考：如何安装hadoop yarn

将tez-0.9.2.tar.gz上传到hdfs的/app/tez目录

hdfs dfs -put tez-0.9.2.tar.gz /app/tez/

新建tez目录，并将tez-0.9.2.tar.gz复制到tez钟

mkdir -p /data/tez/conf
cp tez-0.9.2.tar.gz /data/tez
cd /data/tez && tar zvf tez-0.9.2.tar.gz

新建tez-site.xml，内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<configuration>
<property>
<name>tez.lib.uris</name>
<value>/app/tez/tez-0.9.2.tar.gz</value>
</property>
</configuration>

修改/etc/profile，新增

export TEZ_CONF_DIR=/data/tez/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_CONF_DIR:/data/tez/*:/data/tez/lib/*

修改mapred-site.xml，将

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

改为

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

执行测试脚本：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /test/ output-1

得到结果：

码农公寓