使用Apache Bigtop编译打包开源大数据组件——以zk、hadoop、spark、hive为例

Apache Bigtop是一个编译、打包、部署开源大数据组件的工具,经过我多方实验,现在将可靠的Apache Bigtop打包大数据组件的过程与方法写在这里。

1. 申请一个虚拟机。我这里用的是阿里云的服务器,centos7.8,建议镜像在印度、硅谷等地区,不建议选国内的

使用Apache Bigtop编译打包开源大数据组件——以zk、hadoop、spark、hive为例

2.登入虚拟机或是服务器,安装docker,用下面的命令安装

curl -fsSL https://get.docker.com | bash -s docker

3.拉取bigtop/slaves的镜像,选取跟自己虚拟机或服务器所契合的版本。具体选择可在下面网址进行:https://hub.docker.com/r/bigtop/slaves/tags?page=1&ordering=last_updated

我选取的是版本是trunk-centos-7

docker pull bigtop/slaves:trunk-centos-7

4. 交互式运行容器 

docker run -it bigtop/slaves:trunk-centos-7 /bin/bash

5. 执行下面的命令

cd ~ && git clone https://github.com/apache/bigtop.git \
    && cd bigtop && ./gradle zookeeper-rpm hadoop-rpm spark-rpm hive-rpm

然后就可以忙其他事情了,因为这个打包过程会十分漫长,一般需要两三个小时。等你喝杯茶,吃完饭过来,看到打包完毕,我们可以查看一下打包的效果

使用Apache Bigtop编译打包开源大数据组件——以zk、hadoop、spark、hive为例

其他组件也看看,打包都完毕之后,就可以把这个docker 容器提交为一个新镜像 ,方便下次使用

使用Apache Bigtop编译打包开源大数据组件——以zk、hadoop、spark、hive为例

记住这个id,然后退出这个容器

exit

根据这个容器id,进行commit,名字、版本请自己定义,我这里定义的是bigtop:v1

docker commit -m 'bigtop编译大数据组件' 6d06fcc4a634 bigtop:v1

最后,命令运行完毕之后,我们来确认一下,有没有新的镜像有没有形成

使用Apache Bigtop编译打包开源大数据组件——以zk、hadoop、spark、hive为例

至此,bigtop打包大数据组件的工作已经完成了

上一篇:redis客户端实现高可用读写分离


下一篇:Redis 版本差异