目录
Hue的简单介绍
-
概述
CDH Hue官方帮助文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0/user-guide/introducing.html
Hue是一组能够与Hadoop集群进行交互的web应用程序。Hue应用程序允许开发者浏览HDFS和作业、管理Hive metastore、运行Hive、Cloudera Impala查询和Pig脚本、浏览HBase、用Sqoop导出数据、提交MapReduce程序、用Solr构建自定义搜索引擎、用Oozie安排重复的工作流程。
下图说明了Hue的工作原理。Hue服务器是一个位于CDH和浏览器之间的 “容器” web应用程序。它托管所有的Hue web应用程序,并与CDH组件通信。 -
核心功能
1.访问HDFS和文件浏览
2.通过web调试和开发hive以及数据结果展示
3.查询solr和结果展示,报表生成
4.通过web调试和开发impala交互式SQL Query
5.spark调试和开发
7.oozie任务的开发,监控,和工作流协调调度
8.Hbase数据查询和修改,数据展示
9.Hive的元数据(metastore)查询
10.MapReduce任务进度查看,日志追踪
11.创建和提交MapReduce,Streaming,Java job任务
12.Sqoop2的开发和调试
13.Zookeeper的浏览和编辑
14.数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示
安装部署
-
下载Hue的压缩包并上传到linux解压
下载地址:http://archive.cloudera.com/cdh5/cdh/5/
要选择匹配自己CDH的版本,我的是:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
上传到/export/softwares
,并解压tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/
-
编译安装启动
1.linux系统安装依赖包
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
2.配置Hue
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
最好别用vim编辑,Windows系统用Notepad++,Mac OS用FinalShell
修改以下内容[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o (这个随便输,越长越好)
http_host=node03.hadoop.com
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root[[database]] (在587行)
engine=mysql
host=node03.hadoop.com
port=3306
user=root
password=123456
name=hue3.创建mysql数据库
create database hue default character set utf8 default collate utf8_general_ci;
创建hue数据库grant all on hue.* to 'hue'@'%' identified by 'hue';
实际工作过程中是需要为hue这个数据库创建对应的用户,并分配权限的,但是个人开发者可以使用root用户的权限,所以这个命令不需要执行
4.进行编译cd /export/servers/hue-3.9.0-cdh5.14.0
make apps5.linux系统添加普通用户hue
useradd hue
passwd hue(密码自用的话也可以设置成123456,好记) -
启动Hue进程
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor页面访问: http://node03:8888 如果连接不上,把node03换成ip地址
初次访问的页面需要设置管理员用户名和密码,最好设置得和Hadoop用户名和密码一致
hue与其他框架的集成
-
Hue与Hadoop集成
-
Hue与Hive集成
-
Hue与Impala集成
-
Hue与Mysql集成
-
Hue与oozie集成