cdh6.3.2搭建的过程与心得

2024-02-29 08:13:22

搭建教程地址：http://www.amoscloud.com/?p=1175

相关视频直达，在进入登录页之前，完全没必要看视频。进入之后，我选择跳过看了些视频，因为网页版的内容和视频的内容有些区别，有些坑。

虽然现在收费了，但是只要有依赖这些能下载好，目前还是能用的。

下图是组件版本介绍及跟cdh5.x的对比，6.3.2的组件版本跟6.1.1的组件版本基本没啥区别。（目前只注意到hadoop版本和kudu版本是一样的，其他没一一观察）

照着教程来遇到的坑或者没注意到的地方

1）在 vim /etc/yum.repos.d/cloudera-manager.repo 时，内容为：

[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://cdh00/cloudera-repos/cm6
gpgkey=https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md

需要自己将gpgcheck=1 改成gpgcheck=0 跳过验证。

2）首次启动失败

大坑！在首次运行：systemctl start cloudera-scm-server.service** 之后，使用命令：systemctl status cloudera-scm-server.service 查看服务启动状态，在几分钟或者十分钟内看到的提示都会是提示xxx数据库名.version表不存在。这个时候我当时就觉得会不会是哪里配置错了。非常纠结，可是检查又检查不出来哪里有问题。明明是cdh连接数据库，我手动把数据库创建，然后输入mysql地址，保证地址和账号密码正确就行了。当时死活检查不出来，然后便运行重启，可是提示就还是这个，再过会就直接报错状态为not running啥的了。后面

经过查询得知最合适的监控启动进程日志的命令为

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

然后才知道hadoop其实一直在跑，当时是在把一些列的表都重新update。整个过程非常久，首次运行大概20到30分钟才能跑起来

（可能硬件问题，总之我的虚拟机是这样）

3）往后关于搭建这块没啥坑了。一直在页面启动完成。剩下的就直接登录，配置。只是首次搭建的话，不能只看这个网址的文档，还是得看看视频，就是登录之后怎么配置的视频。

下面是关于启动容易碰上的问题

4）HDFS忘记格式化

而且真正格式化的方式是在namenode实例下的位置，当时不知道这一回事，还以为在任意节点的命令行操作格式化命令（不过这个操作好像也可以吧，但是还是推荐在图片的地方格式化）

5）namenode权限问题

启动还有一个权限问题，默认路径 /dfs/nn 会提示没有权限。解决：当时把没有权限这句话复制粘贴百度就行了，命令忘了。大概就是给予权限就ok

6）yarn的jobhistory服务器运行失败

解决：sudo -u hdfs hdfs dfs -chmod -R 777 /

7）经常会遇到某某文件夹没有权限的问题

HDFS中，一般是hdfs用户（有所有文件操作权限）或者直接在hdfs页面上看到某个路径下的owner的用户，只有这两个用户能有该文件夹下的所有权限。所以这个时候遇到没有权限的问题。就统一修改权限

sudo -u hdfs hdfs dfs -chmod -R 777 /xx路径
第一个hdfs是指使用hdfs用户操作，后面才是真正的修改权限的命令

8）hive启动时报错

SQLSyntaxErrorException: Table 'hivecdh.version' doesn't exist，然后去该数据库一看，空空如也，只有一张表。

解决办法：在cdh主节点找到hive的sql脚本在数据库中运行，运行完sql后再启动，不过这个时候会遇到下一个问题，那就是依旧报错说找不到版本号。其实还可以这么解决，只在cdh页面上操作，第一步，第二步，接着就能成功启动了。

9）Oozie的安装出错

的原因也一样。照样是链接的mysql缺少表，当时以为输入对mysql地址，然后自己新建库，在安装cdh集群的时候最后一步会自动帮我们创建好关联的表。但实际上都是得自己启动的时候先创建再升级架构。

10）Hue的坑

没解决，连接到hive和impala和Oozie没啥坑。它不是号称也能连接zk的吗，但是却没看到任何关于zk的连接。网上找到的做法清一色是,官网上的文档版本又太新了。而且关于连接zk的介绍又少之又少

可是我查看自己cdh集群下的配置文件，配置得正确的呀

对了。有了hue，使用oozie做任务调度非常方便，妈妈再也不用担心我写xml文件头大了

码农公寓