CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

 

一. 添加Hive服务

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

将 Hive 服务添加到 Cluster 1

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

配置hive元数据

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

测试通过后继续

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

自动启动Hive进程

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

修改Hive配置

/opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

更新Hive Metastore NameNode(先停止Hive)

 CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

 CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

二. Oozie安装

  添加Oozie服务,选择有MySQL的节点安装

 

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

 

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

选择集群节点

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

三. Hue

1. Hue概述

1)Hue来源

HUE=Hadoop User Experience(Hadoop用户体验),直白来说就一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。

2)Hue官网及使用者

官网网站:http://gethue.com/

2.   安装前的准备

1)在LoadBalancer节点安装mod_ssl

2)查看/usr/lib64/mysql下有没有libmysqlclient_r.so.16,如果没有,上传libmysqlclient_r.so.16到/usr/lib64/mysql,并软链接到/usr/lib64/

[root@hadoop101 lib]# yum -y install mod_ssl
已加载插件:fastestmirror, refresh-packagekit, security
设置安装进程
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.huaweicloud.com
 * updates: mirrors.huaweicloud.com
解决依赖关系
--> 执行事务检查
---> Package mod_ssl.x86_64 1:2.2.15-69.el6.centos will be 安装
..........



[root@hadoop102 mysql]# ll
总用量 3108
lrwxrwxrwx. 1 root root      26 1月  15 2019 libmysqlclient_r.so.16 -> libmysqlclient_r.so.16.0.0
-rwxr-xr-x. 1 root root 1595432 5月  11 2016 libmysqlclient_r.so.16.0.0
lrwxrwxrwx. 1 root root      24 1月  15 2019 libmysqlclient.so.16 -> libmysqlclient.so.16.0.0
-rwxr-xr-x. 1 root root 1584904 5月  11 2016 libmysqlclient.so.16.0.0
[root@hadoop102 mysql]# scp /usr/lib64/mysql/libmysqlclient_r.so.16 root@hadoop101:/usr/lib64/mysql/
libmysqlclient_r.so.16 
[root@hadoop101 lib64]# ln -s /usr/lib64/mysql/libmysqlclient_r.so.16 /usr/lib64/libmysqlclient_r.so.16

 

 添加HUE服务

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 CDH| Hive| Hue| Sqoop| Impala等组件安装部署

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

HUE页面

http://hadoop101:8888(未优化)或http://hadoop101:8889(优化)

第一次开启HUE会出现以下页面,此时输入的用户名和密码可以随意,之后登录页面以第一次输入的账号密码为依据。例如,用户名:admin 密码:admin

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

 

四. Sqoop安装

1)添加服务

选择Sqoop

 CDH| Hive| Hue| Sqoop| Impala等组件安装部署

目前选择sqoop1即可

2)选择节点

 

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 安装在Hadoop101机器上:

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

数仓之即席查询数仓搭建

Impala安装

   添加服务

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 CDH| Hive| Hue| Sqoop| Impala等组件安装部署

注意:最好将StateStore和CataLog Sever单独部署在同一节点上。

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

启动Impala

 CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

打开Hue

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

CDH| Hive| Hue| Sqoop| Impala等组件安装部署

 

上一篇:Linux安装php-mysql提示需要:libmysqlclient.so.18()(64bit)的解决办法


下一篇:MySQL 报错