069 Hue协作框架

2023-08-29 17:04:46

一：介绍

1.官网

　　官网：http://gethue.com/

　　下载：http://archive.cloudera.com/cdh5/cdh/5/，只能在这里下载，不是Apache的

　　手册：http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html

2.支持的框架

　　-》job

　　　　-》yarn
　　　　-》mr1
　　-》oozie
　　-》HDFS
　　　　-》查文件
　　　　-》文件的管理
　　　　-》增删改查
　　-》hive
　　-》rdbms

　　截图：

3.注意

　　hue必须重新编译，因为对于每个linux环境不同。

二：安装

1.下载hue包

2.需要安装的依赖

3.检测依赖

4.安装依赖包

　　sudo yum install ant asciidoc cyrus-sasl-devel libtidy libxml2-devel libxslt-devel mvn mysql-devel openldap-devel python-devel sqlite-devel -y

5.卸载openjdk

6.编译

　　进入家目录，make apps

7.配置hue.int

　　路径是：desktop/conf

　　所有的配置都是以中括号进行标记。

8.启动

9.访问web ui

　　http://linux-hadoop3.ibeifeng.com:8888/

10.创建hue的root用户

　　建议使用HDFS的账户，以后可以跳过权限检查。

11.进入主界面

三：hue与其他框架的集成

四：与HDFS的集成（修改hadoop和hue的配置）

1.修改hdfs-site

2.修改core-site的代理

3.重启hdfs

4.配置hue中的hdfs

5.重启hue

6.效果

五：配置yarn

1.只需要配置hue.ini

2.重启hue

3.检测效果

六：hive的集成

1.hive的三种链接方式

　　比较重要的一种是远程链接metastore

2.远程链接metastore

　　配置hive-site

　　但是，每次配置了这个，都需要在开启hive之前开启服务

　　　　bin/hive --service metastore &

3.集成hive

4.hive只需要开启hiveserver2

5.在hive-site中可以修改的项

　　在hive的默认端口是10000，协议是tcp。但是可以修改为http，同时修改对应的端口是10001.

　　　　　　<name>hive.server2.transport.mode</name>
　　　　　　<value>http</value>
　　　　　　<description>Server transport mode. "binary" or "http".</description>
　　　　</property>

　　在链接hiveserver中，有时出现链接超时，可以修改一下的配置，可以避免这种情况。

　　　　　　<name>hive.server2.long.polling.timeout</name>
　　　　　　<value>5000</value>
　　　　　　<description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>
　　　　</property>

6.开启hiveserver2

　　bin/hiveserver2

7.修改hue.ini