Ambari2.7.4集成Kylin3.0
1.准备工作
1.组件
-
Ambari 2.7.4
-
HDP 3.1.4
-
Kylin apache-kylin-3.0.1-bin-hadoop3.tar.gz
-
nginx 1.8.1
-
hdp-3.0-kylin-2.6.0
2. 安装包自取百度云
链接：
https://pan.baidu.com/s/16mXtvHHx03S8VMHicTfe0w
提取码：xnx8
3. kylin安装包制作
3.1.解压
1.首先将jar包上传至集群 apache-kylin-3.0.1-bin-hadoop3.tar.gz
(我上传的位置： /root/bigdata/apache-kylin-3.0.1-bin-hadoop3)
2.解压：tar -zxvf apache-kylin-3.0.1-bin-hadoop3.tar.gz
3.进入该文件中：cd apache-kylin-3.0.1-bin-hadoop3
3.2 配置spark客户端
kylin启动时会对SPARK环境进行检查，创建spark软连接，Kylin安装节点必须有spark客户端
直接执行即可
ln -s /usr/hdp/current/spark2-client/ spark
3.3 修改find-hive-dependency.sh脚本
1.进入cd apache-kylin-3.0.1-bin-hadoop3
2.vim bin/find-hive-dependency.sh
修改34行，去掉${hive_conf_properties} (Linux文件查看行号： 在非编辑模式下， shfit+： set nu 回车即可 )
修改前： hive_env=`${beeline_shell} ${hive_conf_properties} ${beeline_params} --outputformat=dsv -e "set;" 2>&1 | grep --text 'env:CLASSPATH' `
修改后： hive_env=`${beeline_shell} ${beeline_params} --outputformat=dsv -e "set;" 2>&1 | grep --text 'env:CLASSPATH' `
3.4拷贝jar包
直接复制即可
cp /usr/lib/ambari-server/commons-configuration-1.6.jar tomcat/lib/
cp /usr/lib/ambari-server/commons-collections-3.2.2.jar tomcat/lib/
3.5修改service.xml
1. cd /root/bigdata/apache-kylin-3.0.1-bin-hadoop3
2. vim tomcat/conf/server.xml
将以下内容注释掉
<!-- <Connector port="7443" protocol="org.apache.coyote.http11.Http11Protocol"
maxThreads="150" SSLEnabled="true" scheme="https" secure="true"
keystoreFile="conf/.keystore" keystorePass="changeit"
clientAuth="false" sslProtocol="TLS" />
-->
3.6 修改kylin_hive_conf.xml
1. cd /root/bigdata/apache-kylin-3.0.1-bin-hadoop3
2. vim conf/kylin_hive_conf.xml
注释掉：dfs.replication属性，mapreduce.job.split.metainfo.maxsize属性
<!--
<property>
<name>dfs.replication</name>
<value>2</value>
<description>Block replication</description>
</property>
-->
......
<!--
<property>
<name>mapreduce.job.split.metainfo.maxsize</name>
<value>-1</value>
<description>The maximum permissible size of the split metainfo file.
The JobTracker won't attempt to read split metainfo files bigger than
the configured value. No limits if set to -1.
</description>
</property>
-->
......
3.7 打包
1. cd /root/bigdata/apache-kylin-3.0.1-bin-hadoop3
在上述位置 进行下面操作
2. tar -zcvf kylin-3.0.1.tar.gz ./
4. 集成
启动httpd服务
mkdir /var/www/html/kylin
mkdir /var/www/html/nginx
1.将上面打包好的kylin-3.0.1 复制
cp kylin-3.0.1.tar.gz /var/www/html/kylin/
2.将下载好的nginx 复制
cp nginx-1.8.1.tar.gz /var/www/html/nginx/
3. 将下载好的hdp 复制到位置
cp hdp-3.0-kylin-2.6.0.zip /var/lib/ambari-server/resources/stacks/HDP/3.1/services/ （应该复制到3.0 而不是3.1）
cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services （应该是3.0 而不是3.1）
解压
unzip hdp-3.0-kylin-2.6.0.zip
移动kylin文件夹到servers下
cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services/hdp-3.0-kylin-2.6.0
mv KYLIN/ ../
cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services/KYLIN/package/scripts（应该是3.0 而不是3.1）（默认路径： /var/lib/ambari-server/resources/stacks/HDP/3.1/services/hdp-3.0-kylin-2.6.0/KYLIN/package/scripts）
修改params.py
修改前：kylin_download = os.path.join('http://', ambari_server_hostname, '/kylin/kylin-2.6.0.tar.gz')
修改后：kylin_download = 'http://' + ambari_server_hostname + '/kylin/kylin-3.0.1.tar.gz'
修改前：nginx_download = os.path.join('http://', ambari_server_hostname, 'kylin/nginx-1.8.1.tar.gz')
修改后:
nginx_download = 'http://' + ambari_server_hostname + '/nginx/nginx-1.8.1.tar.gz'
修改kylin_master.py、kylin_query.py 主要修改版本号
Execute(‘wget {0} -O kylin-3.0.1.tar.gz’.format(params.kylin_download))
Execute(‘tar -zxvf kylin-3.0.1.tar.gz -C {0}’.format(params.kylin_install_dir))
Execute(‘rm -rf kylin-3.0.1.tar.gz’)
修改版本号
cd /var/lib/ambari-server/resources/stacks/HDP/3.0/services/KYLIN
修改metainfo.xml
service>
<name>KYLIN</name>
<displayName>Kylin</displayName>
<comment>Kylin是一款开源的分布式数据分析工具，基于hadoop之上的sql查询接口。</comment>
<version>3.0.1</version> // 修改前为：2.6. 修改后为3.0.1
......
修改kylin环境变量
vim /var/lib/ambari-agent/tmp/kylin_env.rc
修改为：
export KYLIN_HOME=/usr/hdp/3.1.4.0-315/kylin
export HIVE_CONF=/usr/hdp/3.1.4.0-315/hive/conf/
export HCAT_HOME=/usr/hdp/3.1.4.0-315/hive-hcatalog/
export JAVA_HOME=/usr/java/jdk1.8/
重启ambari 服务
master节点： ambari-server restart
所有节点：清楚缓存 并重启agent
rm -rf /var/lib/ambari-agent/cache/*
ambari-agent restart
添加kylin服务
addservice 选择kylin ，
修改配置：
Customize Services步骤：
Advanced kylin配置 kylin_instatll_dir 值为：/usr/hdp/3.1.4.0-315/kylin
Advanced nginx配置 nginx_install_dir 值为：/usr/hdp/3.1.4.0-315/nginx