https://blog.csdn.net/wiborgite/article/details/78731944
1.1 准备工作
1. 下载虚拟机镜像包。
下载地址:https://www.cloudera.com/downloads/quickstart_vms/5-13.html
后面步骤中使用的是VMWare的虚拟机镜像文件cloudera-quickstart-vm-5.12.0-0-vmware.zip。
2. 将虚拟机镜像文件压缩包解压得到cloudera-quickstart-vm-5.12.0-0-vmware文件夹。
3. 进入解压文件夹,单击cloudera-quickstart-vm-5.12.0-0-vmware.vmx,使用VMWare打开该虚拟机。
官网给的推荐配置是2cores、8G内存,建议在启动前先修改虚拟机配置。如果已经启动的虚拟机,则可以停止虚拟机后,删除本地的镜像文件(主要不要从VMware中删除,而是直接删除本地文件),然后重新解压一遍到上次删除的文件位置。此时,再修改VMware中的虚拟机配置,再启动即可。
1.1 cloudera-quickstart-vm的使用
1.1.1 用户说明
Ø 该镜像的OS用户包括root/cloudera和cloudera/cloudera。
Ø Hue UI的用户名和密码是cloudera/cloudera。
Ø 如果还有其它用户,那么用户名和密码都应该是cloudera/cloudera,比如Cloudera Manager。
1.1.2 运行环境
启动后的VM截图如下所示:
Ø 虚拟机启动后,大数据的所有组件都是启动状态,可以在root账号下通过jsp命令查看已启动的服务。
- [root@quickstart ~]# jps
- 3914 RunJar
- 2407 DataNode
- 2301 QuorumPeerMain
- 2916 JobHistoryServer
- 14388 HMaster
- 3677 RESTServer
- 10994 jar
- 4015 RunJar
- 3015 NodeManager
- 5355 Bootstrap
- 2496 JournalNode
- 4589 HistoryServer
- 2734 SecondaryNameNode
- 14679 HRegionServer
- 2865 Bootstrap
- 3264 ResourceManager
- 4552 Bootstrap
- 24905 Jps
- 5580
- 5547 Bootstrap
- 5615
- 2602 NameNode
- 8762 jar
Ø Web环境查看。
打开VM自带的Firefox浏览器,通过收藏夹可以快速访问各个组件Web页面。
说明:可以把收藏夹导出成html的格式,并导入到宿主机的Firefox中,并在宿主机的hosts文件中添加一下主机名和ip的对应关系,然后就可以在宿主机中进行访问了。
Ø 查看服务状态
- [root@quickstart ~]# service --status-all
- ...........................
- Flume NG agent is not running [FAILED]
- Hadoop datanode is running [ OK ]
- Hadoop journalnode is running [ OK ]
- Hadoop namenode is running [ OK ]
- ...........................
如果有失败的服务,可以通过chkconfig –list命令查看具体的服务名,然后再通过service <service_name> start命令启动该服务
Ø 查看所有服务
- [root@quickstart ~]# chkconfig --list
- flume-ng-agent 0:off 1:off 2:off 3:off 4:off 5:off 6:off
- hadoop-hdfs-datanode 0:off 1:off 2:off 3:on 4:on 5:on 6:off
- hadoop-hdfs-journalnode 0:off 1:off 2:off 3:on 4:on 5:on 6:off
Ø 启动失败的服务
[root@quickstart ~]# service flume-ng-agent start
1.1.3 Clouera Manager
虚拟机启动后ClouderManager是未启动的,可以通过在root用户下通过/home/cloudera/cloudera-manager--force --express命令启动。但是启动过程中会先停止所有已启动的服务。这个对虚拟机的配置要求比较高,Cloudera Manager可以正常启动,但是通过其WEB启动其它大数据组件的时候,资源不足的话会导致启动失败。