cloudera manager 可以简化 Hadoop 的安装配置过程,自动在集群节点上安 装 hadoop 相关组件,创建用户,并管理各个组件服务。本手册以 cloudera manager 的 free 版本,以下 5 台机器为例安装 hadoop 集群: 192.168.106.36 192.168.106.37 192.168.106.38 192.168.106.39 192.168.106.40
1.安装 cloudera manager
1.1下载Cloudera Manager安装程序
cloudera manager 主服务只需要安装在集群的主节点上,本集群主节点 为 192.168.106.36。通常安装 cloudera manager 只需从以下官网下载安装 文件(Cloudera-manager-installer.bin):
wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
1.2 运行Cloudera Manager安装程序
- 更改 Cloudera的经理,installer.bin 拥有可执行权限:
chmod u + x cloudera-manager-installer.bin
- 运行Cloudera Manager Server安装程序:
sudo ./cloudera-manager-installer.bin
ps:下载包很大,确保网速可以,如果不确定是否报错可以查看日志(时间很长,一个晚上不间断的安装)
tail -f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log
cloudera-manager-daemons
x86_64 5.16.2-1.cm5162.p0.7.el6 cloudera-manager 767 M
Transaction Summary
================================================================================
Install 2 Package(s)
Total download size: 767 M
Installed size: 931 M
Downloading Packages:
1.3 阅读并接受相关许可协议
- 阅读Cloudera Manager README,然后按Enter继续。
- 阅读Cloudera Express许可证,然后按Enter继续。使用箭头键并按Enter键选择是以确认。
- 阅读Oracle二进制代码许可协议,然后按Enter继续。使用箭头键并按 Enter键选择是以确认。
安装程序执行以下任务:
- 安装Oracle JDK和Cloudera Manager存储库文件。
- 安装Cloudera Manager Server和嵌入式PostgreSQL包。
- 启动Cloudera Manager Server和嵌入式PostgreSQL数据库。
注意:如果安装中断,您可能需要清理才能重新运行它。在Cloudera Manager Server主机上运行以下命令:
sudo /usr/share/cmf/uninstall-cloudera-manager.sh
2.启动并登录Cloudera Manager Admin Console
Cloudera Manager Server URL(由上一步中的安装程序中会显示,记录即可)采用以下形式:
http://Server host:port
其中服务器主机是安装Cloudera Manager Server的主机的完全限定域名(FQDN)或IP地址,port是为Cloudera Manager Server配置的端口。默认端口号为7180。
- 在Web浏览器中,输入Cloudera Manager URL。将显示Cloudera Manager Admin Console的登录屏幕。
- 登录Cloudera Manager Admin Console。默认凭据为:
-
用户名: admin
Cloudera Manager不支持更改 管理默认帐户的用户名。但是,您可以添加新用户,为新用户分配管理权限,然后删除默认用户管理 帐户。
-
密码: admin。
系统将要求您稍后在此过程中更改此密码。
-
用户名: admin
- 登录后,将显示“ 最终用户许可条款和条件”页面。阅读条款和条件,然后选择是接受它们。
- 单击继续。在欢迎的Cloudera管理器页面显示,您可以选择要安装的版本。您可以选择要安装的Cloudera Manager版本,也可以选择安装许可证:
使用Cloudera Manager向导进行软件安装和配置(支持的功能列表)
在Cloudera Manager中选择Cluster Hosts
选择软件安装方法和安装软件
选择安装Oracle Java SE Development Kit(JDK)以允许Cloudera Manager在每个群集主机上安装JDK。如果您已经安装了JDK,请不要选择此选项。
启用单用户模式
指定群集主机的SSH登录凭据:
-
选择root或输入具有无密码sudo权限的帐户的用户名。
-
选择身份验证方法:
-
如果选择密码验证,请输入并确认密码。
-
如果选择公钥验证,请提供所需密钥文件的密码和路径。
-
- 您可以指定备用SSH端口。默认值为22。
- 您可以指定一次运行的最大主机安装数。默认值为10。
导入cdh程序包时总会一些奇怪的问题
这种问题网上很多方式解决,但是没有办法解决我的这种问题,我只有换一种方式去尝试。当然所有技术选型都是在项目业务的允许下,问题基本原因找到后就换了一种简单组建替代了,这种方式内存和外存要求非常高,小公司需要满足这样的大规模集群的业务需要,还要经费支持的前提下在按照,建议按照apache的简易方式安装即可。