Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

在使用大数据集群的时候容灾是一件很重要的事情,CM可以非常方便的进行HA配置,CM也支持sqoop1和sqoop2,之前已经配置了sqoop2本节来一起配置sqoop1

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一,HDFS 配置 HA

从首页点击HDFS进入到管理页面,选择菜单中的开启HA

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

定义一个名称

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

分配HA的角色

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

修改目录配置

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

等待HA重新配置

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

二,YARN 配置 HA

通过首页进入到YARN控制台,点击菜单选择启动HA

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

选择和需要组成HA的节点

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

重启整个集群

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

三 , 增加sqoop1组件

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

选择添加服务

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

最终Sqoop1的bin目录如下:

/usr/local/cloudera-manager/cloudera/parcels/CDH/bin/sqoop
上一篇:使用Docker生成SSL证书


下一篇:NextDC公司计划在布里斯班建设第二个数据中心