1.5、CDH 搭建Hadoop在安装之前(定制安装解决方案)

2022-03-21 18:28:08

Cloudera托管两种类型的软件存储库，您可以使用它们来安装诸如Cloudera Manager或CDH-parcel存储库和软件包存储库之类的产品。

在大多数情况下，这些存储库是有效的解决方案，但有时需要自定义安装解决方案。使用Cloudera托管的软件存储库需要通过Internet进行客户端访问。典型安装使用最新的可用软件。在某些情况下，这些行为可能并不可取，例如：
  • 您需要安装较旧的产品版本。例如，在CDH群集中，所有主机必须运行相同的CDH版本。完成初始安装后，您可能希望添加主机。这可能是为了增加群集的大小以处理更大的任务或替换旧的硬件。
  • 要安装Cloudera产品的主机未连接到Internet，因此无法访问Cloudera存储库。（对于parcel安装，只有Cloudera Manager Server需要Internet访问，但对于软件包安装，所有集群主机都需要访问Cloudera存储库）。大多数组织将其网络的一部分与外部访问分开。隔离网段可提高安全性，但可能会增加安装过程的复杂性。

在这两种情况下，使用内部存储库都可以满足组织的需求，无论是在安装特定版本的Cloudera软件还是在没有Internet访问权限的主机上安装Cloudera软件。

继续阅读：

包裹介绍

包裹是一种包装格式，便于从Cloudera Manager中升级软件。您可以从Cloudera Manager中下载，分发和激活所有新软件。Cloudera Manager将parcel下载到本地目录。将宗地下载到Cloudera Manager Server主机后，不再需要Internet连接来部署宗地。有关地块的详细信息，请参阅包裹。

如果Cloudera Manager Server无法访问Internet，则可以获取所需的parcel文件并将其放入parcel存储库。有关更多信息，请参阅使用内部包裹存储库。

了解包管理

在深入了解如何在您的环境中配置自定义程序包管理解决方案之前，获取有关以下内容的更多信息会很有用：

 
包管理工具
Packages（rpm 要么 deb文件）通过满足包依赖性来帮助确保安装成功完成。安装特定软件包时，将同时安装所有其他必需软件包。例如，Hadoop-0.20-hive依赖于取决于 Hadoop-0.20。
包管理工具，如 yum （RHEL）， zypper（SLES），和 apt-get（Ubuntu）是可以找到并安装所需包的工具。例如，在RHEL兼容系统上，您可以运行该命令yum install hadoop-0.20-hive。该yum 实用程序通知您Hive包需要 Hadoop-0.20 并提供为您安装它。 zypper和 apt-get提供类似的功能。

包存储库

包管理工具依赖包存储库来安装软件并解决任何依赖性要求。有关创建内部存储库的信息，请参阅使用内部包存储库。

存储库配置文件

有关包存储库的信息存储在配置文件中，配置文件的位置根据包管理工具而有所不同。
  • RHEL compatible (yum): /etc/yum.repos.d
  • SLES (zypper): /etc/zypp/zypper.conf
  • Ubuntu (apt-get): /etc/apt/apt.conf (Additional repositories are specified using .list files in the /etc/apt/sources.list.d/ directory.)
例如，在典型的CentOS系统上，您可能会发现：
ls -l /etc/yum.repos.d/
total 36
-rw-r--r--. 1 root root 1664 Dec  9  2015 CentOS-Base.repo
-rw-r--r--. 1 root root 1309 Dec  9  2015 CentOS-CR.repo
-rw-r--r--. 1 root root  649 Dec  9  2015 CentOS-Debuginfo.repo
-rw-r--r--. 1 root root  290 Dec  9  2015 CentOS-fasttrack.repo
-rw-r--r--. 1 root root  630 Dec  9  2015 CentOS-Media.repo
-rw-r--r--. 1 root root 1331 Dec  9  2015 CentOS-Sources.repo
-rw-r--r--. 1 root root 1952 Dec  9  2015 CentOS-Vault.repo
-rw-r--r--. 1 root root  951 Jun 24  2017 epel.repo
-rw-r--r--. 1 root root 1050 Jun 24  2017 epel-testing.repo
该 .repo files包含指向一个或多个存储库的指针。配置文件中有类似的指针zypper 和 apt-get。在以下摘录中 CentOS-Base.repo，定义了两个存储库：一个名为  Base 和一个名字 Updates。该 mirrorlist 参数指向一个网站，该网站包含可以下载此存储库的位置列表。
[base]
name=CentOS-$releasever - Base
mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

#released updates
[updates]
name=CentOS-$releasever - Updates
mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

列出存储库

您可以通过运行以下命令之一列出已启用的存储库：
  • RHEL compatible: yum repolist
  • SLES: zypper repos
  • Ubuntu: apt-get does not include a command to display sources, but you can determine sources by reviewing the contents of /etc/apt/sources.list and any files contained in /etc/apt/sources.list.d/.
以下显示了输出的示例 百胜再造者 在CentOS 7系统上：
repo id               repo name                                           status
base/7/x86_64         CentOS-7 - Base                                      9,591
epel/x86_64           Extra Packages for Enterprise Linux 7 - x86_64      12,382
extras/7/x86_64       CentOS-7 - Extras                                      392
updates/7/x86_64      CentOS-7 - Updates                                   1,962
repolist: 24,327
上一篇：揭秘个人信息泄露网上贩卖“黑市” 可实现精准实时定位


下一篇：C# 读写App.config配置文件