当我们已经把cm-service和cm-agent安装完成之后,接下来我们就要到最重要的部分了,安装Hadoop组件

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 主机agent安装配置

接着上篇文章的页面点击下一步:

填入主机的名称或在已托管主机选择一下主机

cm
master-1
master-2
slave-1
slave-2
slave-3

下一步选择我们之前下载好的parcel

等待系统自动分发

完成之后在进行下一步

检查集群正确性

以上的几个提示不解决也可以,为了美观我们还是处理掉上面的问题

用户和用户组

useradd cloudera-scm

swappiness

echo 10 > /proc/sys/vm/swappiness

透明页面

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

点击页面头部的重新运行,我们就得到一个干净的主机检查了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B5UAD70j-1597140199808)(http://pic.w-blog.cn/5D699AA0-1393-4AFB-9EF4-C626A95B9E49.png)]

二, 大数据组件安装

主要组件分布

cm           cloudManageService   oozie  HUE
master-1     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore  
master-2     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore 
slave-1      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-2      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-3      Zookeeper  DataNode  HbaseRegion  NodeManger

选择创建集群:

勾选我们需要的组件

对组件中的各个实例修改安装的主机实例

PS:如果大家发现安装完成之后有组件挂掉,并且不能解决可以尝试减少安装的组件数量,比如oozie和hue可以在后面安装,先安装好核心组件

数据库配置(先去MYSQL创建好对应的数据库)

配置修改(先使用默认配置)

开始安装运行组件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1QoIlioN-1597140199814)(http://pic.w-blog.cn/8FD5151B-4195-440C-9D08-8B611E8EAD9C.png)]

愉快的开始使用了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-64SlO1LF-1597140199816)(http://pic.w-blog.cn/9594AF75-979B-4E61-8CC5-538480AA01AE.png)]

三 , HUE load balancer 启动失败问题解决

需要先安装一下下面两个包之后在重启

yum install httpd mod_ssl

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zEaIryQ9-1597140199817)(http://pic.w-blog.cn/9594AF75-979B-4E61-8CC5-538480AA01AE%202.png)]