Tachyon编译部署
-
编译Tachyon
-
单机部署Tachyon
-
集群模式部署Tachyon
1、Tachyon编译部署
Tachyon目前的最新发布版为0.7.1，其官方网址为http://tachyon-project.org/。Tachyon文件系统有3种部署方式：单机模式、集群模式和高可用集群模式，集群模式相比于高可用集群模式区别在于多Master节点。下面将介绍单机和集群环境下去安装、配置和使用Tachyon。
1.1 编译Tachyon
1.1.1 下载并上传源代码
第一步 下载到Tachyon源代码：
对于已经发布的版本可以直接从github下载Tachyon编译好的安装包并解压，由于Tachyon与Spark版本有对应关系，另外该系列搭建环境为Spark1.1.0，对应下载Tachyon0.5.0，版本对应参考http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html描述
下载地址为https://github.com/amplab/tachyon/releases ，为以下演示我们在这里下载的是tachyon-0.5.0.tar.gz源代码包，文件大小为831K，如下图所示：
第二步 在主节点上解压缩
$cd /home/hadoop/upload/ $tar -xzf tachyon-0.5.0.tar.gz
第三步 把tachyon-0.5.0.tar.gz改名并移动到/app/complied目录下
$mv tachyon-0.5.0 /app/complied/tachyon-0.5.0-src $ll /app/complied
1.1.2编译代码
为了更好地契合用户的本地环境，如Java版本、Hadoop版本或其他一些软件包的版本，可以下载Tachyon源码自行编译。Tachyon开源在GitHub上，可以很方便地获得其不同版本的源码。Tachyon项目采用Maven进行管理，因此可以采用 mvn package 命令进行编译打包。编译Tachyon源代码的时候，需要从网上下载依赖包，所以整个编译过程机器必须保证在联网状态。编译执行如下脚本：
$cd /app/complied/tachyon-0.5.0-src $export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" $mvn clean package -Djava.version=1.7 -Dhadoop.version=2.2.0 -DskipTests
整个编译过程编译了约3个任务，整个过程耗时大约4分钟。
使用如下命令查看编译后该Tachyon项目大小为72M。
$cd /app/complied/tachyon-0.5.0-src $du -s /app/complied/tachyon-0.5.0-src
完成这一步后，我们就得到了能够运行在用户本地环境的Tachyon，下面我们分别介绍如何在单机和分布式环境下配置和启动Tachyon，在进行部署之前先把编译好的文件复制到/app/hadoop下并把文件夹命名为Tachyon-0.5.0：
$cd /app/complied $cp -r tachyon-0.5.0-src /app/hadoop/tachyon-0.5.0 $ll /app/hadoop
1.2 单机部署Tachyon
这里要注意一点，Tachyon在单机（local）模式下启动时会自动挂载RamFS，所以请保证使用的账户具有sudo权限。
【注】编译好的Tachyon将本系列附属资源/install中提供，具体名称为10.tachyon-0.5.0-hadoop2.2.0-complied.zip
1.2.1 配置Tachyon
Tachyon相关配置文件在$TACHYON_HOME/conf目录下，在workers文件中配置需要启动TachyonWorker的节点，默认是localhost，所以在单机模式下不用更改（在Tachyon-0.5.0版本中，该文件为slaves）。在这里需要修改tachyon-env.sh配置文件，具体操作是将tachyon-env.sh.template复制为tachyon-env.sh：
$cd /app/hadoop/tachyon-0.5.0/conf $cp tachyon-env.sh.template tachyon-env.sh $ll $vi tachyon-env.sh
并在tachyon-env.sh中修改具体配置，下面列举了一些重要的配置项：
- JAVA_HOME：系统中java的安装路径
- TACHYON_MASTER_ADDRESS：启动TachyonMaster的地址，默认为localhost，所以在单机模式下不用更改
- TACHYON_UNDERFS_ADDRESS：Tachyon使用的底层文件系统的路径，在单机模式下可以直接使用本地文件系统，如"/tmp/tachyon"，也可以使用HDFS，如"hdfs://ip:port"
- TACHYON_WORKER_MEMORY_SIZE：每个TachyonWorker使用的RamFS大小
1.2.2 格式化Tachyon
完成配置后即可以单机模式启动Tachyon，启动前需要格式化存储文件，格式化和启动Tachyon的命令分别为：
$cd /app/hadoop/tachyon-0.5.0/bin $./tachyon format
存储文件为$TACHYON_HOME/underfs/tmp/tachyon目录下。
1.2.3 启动Tachyon
使用如下命令启动Tachyon，可以看到在/nmt/ramdisk目录下格式化RamFS
$cd /app/hadoop/tachyon-0.5.0/bin $./tachyon-start.sh local
1.2.4 验证启动
使用JPS命令查看Tachyon进程，分别为：TachyonWorker和TachyonMaster
查看Tachyon监控页面，访问地址为http://hadoop1:19999
1.2.5 停止Tachyon
停止Tachyon的命令为：
$cd /app/hadoop/tachyon-0.5.0/bin $./tachyon-stop.sh
1.3 集群模式部署Tachyon
1.3.1 集群环境
集群包含三个节点，运行进程分布如下：
1.3.2 配置conf/worker
Tachyon相关配置文件在$TACHYON_HOME/conf目录下，对slaves文件中配置需要启动TachyonWorker的节点，在这里需要设置hadoop1、hadoop2和hadoop3三个节点：
$cd /app/hadoop/tachyon-0.5.0/conf $vi slaves
1.3.3 配置conf/tachyon-env.sh
在$TACHYON_HOME/conf目录下，将tachyon-env.sh.template复制为tachyon-env.sh，并在achyon-env.sh中修改具体配置。不同于单机模式，这里需要修改TachyonMaster地址以及底层文件系统路径：
$cd /app/hadoop/tachyon-0.5.0/conf $cp tachyon-env.sh.template tachyon-env.sh $vi tachyon-env.sh
在该文件中修改一下两个参数，这里使用底层文件系统为HDFS：
export TACHYON_MASTER_ADDRESS=hadoop1 export TACHYON_UNDERFS_ADDRESS=hdfs://hadoop1:9000
1.3.4 向各个节点分发Tachyon
使用如下命令把hadoop文件夹复制到hadoop2和hadoop3机器
$cd /app/hadoop/ $scp -r tachyon-0.5.0 hadoop@hadoop2:/app/hadoop/ $scp -r tachyon-0.5.0 hadoop@hadoop3:/app/hadoop/
1.3.5 启动HDFS
$cd /app/hadoop/hadoop-2.2.0/sbin $./start-dfs.sh
1.3.6 格式化Tachyon
启动前需要格式化存储文件，格式化命令为：
$cd /app/hadoop/tachyon-0.5.0/bin $./tachyon format
可以看到在HDFS的/tmp创建了tachyon文件夹。
1.3.7 启动Tachyon
在这里使用SudoMout参数，需要在启动过程中输入hadoop的密码，具体过程如下：
$cd /app/hadoop/tachyon-0.5.0/bin $./tachyon-start.sh all SudoMount
启动Tachyon有了更多的选项：
- ./tachyon-start.sh all Mount在启动前自动挂载TachyonWorker所使用的RamFS，然后启动TachyonMaster和所有TachyonWorker。由于直接使用mount命令，所以需要用户为root；
- ./tachyon-start.sh all SudoMount在启动前自动挂载TachyonWorker所使用的RamFS，然后启动TachyonMaster和所有TachyonWorker。由于使用sudo mount命令，所以需要用户有sudo权限；
- ./tachyon-start.sh all NoMount认为RamFS已经挂载好，不执行挂载操作，只启动TachyonMaster和所有TachyonWorker
因此，如果不想每次启动Tachyon都挂载一次RamFS，可以先使用命令./tachyon-mount.sh Mount workers 或./tachyon-mount.sh SudoMount workers挂载好所有RamFS，然后使用./tachyon-start.sh all NoMount 命令启动Tachyon。
单机和集群式模式的区别就在于节点配置和启动步骤，事实上，也可以在集群模式下只设置一个TachyonWorker，此时就成为伪分布模式。
1.3.8 验证启动
使用JPS命令查看Tachyon进程，分别为：TachyonWorker和TachyonMaster
可以在浏览器内打开Tachyon的WebUI，如 http://hadoop1:19999，查看整个Tachyon的状态，各个TachyonWorker的运行情况、各项配置信息和浏览文件系统等。
$cd /app/hadoop/tachyon-0.5.0/bin $./tachyon runTests