1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)

2022-10-04 11:15:46

创建群集主机的虚拟映像

您可以使用预先部署的Cloudera软件创建虚拟机映像，例如PXE启动映像，Amazon AMI和Azure VM映像，这些映像可用于快速启动虚拟机。这些图像使用parcel来安装CDH软件。本主题描述了创建Cloudera Manager主机和工作主机映像的过程以及如何从这些映像实例化主机。

创建预部署的Cloudera Manager主机

要创建Cloudera Manager虚拟机映像：
  1. 基于支持的操作系统实例化虚拟机映像（如果使用Amazon Web Services，则为AMI）并启动虚拟机。有关详细信息，请参阅虚拟化环境的文档。
  2. 安装Cloudera Manager并配置数据库。您可以配置本地或远程数据库。
  3. 等待Cloudera Manager管理控制台变为活动状态。
  4. 登录Cloudera Manager管理控制台。
  5. 下载 Cloudera Manager管理的CDH或其他服务的任何包裹。不要分发或激活包裹。
  6. 登录Cloudera Manager服务器主机：
    1. 运行以下命令以停止Cloudera Manager服务：
      service cloudera-scm-server stop
    2. 运行以下命令以禁用自动启动 Cloudera-scm-server 服务：
      • RHEL6.x，CentOS 6.x和SUSE： 
        chkconfig cloudera-scm-server off
      • RHEL 7.x / CentOS 7.xx：
        systemctl disable cloudera-scm-server.service
      • Ubuntu的： 
        update-rc.d -f cloudera-scm-server remove
  7. 创建Cloudera Manager主机的映像。有关详细信息，请参阅虚拟化环境的文档。
  8. 如果在远程主机上安装了Cloudera Manager数据库，还要创建数据库主机的映像。注意：确保在创建映像时没有客户端使用远程数据库。

实例化Cloudera Manager映像

要从虚拟机映像创建新的Cloudera Manager实例，请执行以下操作：
  1. 实例化Cloudera Manager映像。
  2. 如果Cloudera Manager数据库将托管在远程主机上，则还要实例化数据库主机映像。
  3. 确保  cloudera-scm-server 通过在Cloudera Manager主机上运行以下命令，服务未运行： 
    service cloudera-scm-server status

    如果它正在运行，请使用以下命令将其停止：

    service cloudera-scm-server stop
  4. 在Cloudera Manager主机上，创建一个名为的文件 UUID 在里面/ etc /cloudera-scm-serve 目录。使用以下命令为此文件添加全局唯一标识符：
    cat /proc/sys/kernel/random/uuid > /etc/cloudera-scm-server/uuid

    此文件的存在通知Cloudera Manager在启动时重新初始化其自己的唯一标识符。

  5. 运行以下命令以启动Cloudera Manager服务： 
    service cloudera-scm-server start
  6. 运行以下命令以启用自动重新启动 cloudera-scm-serve ：
    • RHEL6.x，CentOS 6.x和SUSE： 
      chkconfig cloudera-scm-server on
    • RHEL 7.x / CentOS 7.xx： 
      systemctl enable cloudera-scm-server.service
    • Ubuntu的：
      update-rc.d -f cloudera-scm-server defaults
 

创建预部署的工作主机

  1. 基于支持的操作系统实例化虚拟机映像（如果使用Amazon Web Services，则为AMI）并启动虚拟机。有关详细信息，请参阅虚拟化环境的文档。
  2. 从公共包存储库或 已创建的存储库下载工作者主机所需的宗地，并将其保存到临时目录。请参阅Cloudera Manager版本和下载信息。
  3. 从下载包裹的同一位置下载 parcel_name .parcel.sha1 每个包裹的文件。
  4. 计算并比较下载的宗地的sha1，以确保正确下载了宗地。例如： 
    sha1sum KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel | awk'{print $ 1}'> KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha diff KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1 KAFKA-2.0 .2-1.2.0.2.p0.5-el6.parcel.sha
  5. 打开包裹的包装：
    1. 创建以下目录：
      • /opt/cloudera/parcels
      • /opt/cloudera/parcel-cache
    2. 设置刚刚创建的两个目录的所有权，以便它们由Cloudera Manager代理运行的用户名拥有。
    3. 使用以下命令设置每个目录的权限： 
      sudo chmod 755 <directory>

      请注意，这些目录的内容将公开，并且可以安全地标记为世界可读的。

    4. 作为运行Cloudera Manager代理的同一用户运行，使用以下命令从临时目录中提取parcel的内容：
      tar -zxvf <parcel> -C / opt / cloudera / parcels /
    5. 从每个宗地的产品名称添加符号链接到 /opt/cloudera/parcels目录。
      例如，要链接 /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 至 / opt / cloudera / parcels /CDH，使用以下命令：
      sudo ln -s /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 /opt/cloudera/parcels/CDH
    6. 在启动时通过添加a来标记Cloudera Manager代理不会删除宗地 .dont_delete 标记文件（此文件没有内容）到每个子目录 /opt/cloudera/parcels目录。例如：
      touch /opt/cloudera/parcels/CDH/.dont_delete
6.验证文件是否存在：
ls -l / opt / cloudera / parcels / <parcel>
您应该看到类似于以下内容的输出：
ls -al / opt / cloudera / parcels / CDH
total 100
drwxr-xr-x  9 root root  4096 Sep 14 14:53 .
drwxr-xr-x  9 root root  4096 Sep 14 06:34 ..
drwxr-xr-x  2 root root  4096 Sep 12 06:39 bin
-rw-r--r--  1 root root     0 Sep 14 14:53 .dont_delete
drwxr-xr-x 26 root root  4096 Sep 12 05:10 etc
drwxr-xr-x  4 root root  4096 Sep 12 05:04 include
drwxr-xr-x  2 root root 69632 Sep 12 06:44 jars
drwxr-xr-x 37 root root  4096 Sep 12 06:39 lib
drwxr-xr-x  2 root root  4096 Sep 12 06:39 meta
drwxr-xr-x  5 root root  4096 Sep 12 06:39 share
  1. 安装Cloudera Manager代理。如果您还没有这样做，请执行步骤1：为Cloudera Manager配置存储库。
  2. 创建工作主机的映像。有关详细信息，请参阅虚拟化环境的文档。

实例化工作者主机

  1. 实例化Cloudera工作者主机映像。
  2. 编辑以下文件并设置 SERVER_HOST 和 服务器端口 用于引用Cloudera Manager服务器主机的属性。
  3. 如有必要，请执行其他步骤以配置TLS / SSL。请参阅为Cloudera Manager配置TLS加密。
  4. 启动代理服务：
    sudo service cloudera-scm-agent start
上一篇：POJ 1015 Jury Compromise dp


下一篇：如何清除 DBA_DATAPUMP_JOBS 视图中的异常数据泵作业