【阿里云 CDP 公开课】第四讲：如何访问CDP集群

2022-03-02 22:22:32

本期导读：【阿里云 CDP 公开课】第四讲

主题：如何访问 CDP 集群

讲师：佳亮，阿里云计算平台事业部生态技术

内容框架：

前提条件
使用 SSH 隧道方式访问 WEB 服务
使用 Knox代理方式访问 WEB 服务

直播回放链接：（第4讲）

https://developer.aliyun.com/live/248263

前提条件

CDP 集群已经成功拉起来了以后
成功添加安全组白名单，并可以成功访问 CM 管控。

使用 SSH 隧道方式访问 WEB 服务

创建从本地服务器开放端口到集群主节点的 SSH 隧道，并运行侦听该端口的本地 SOCKS 代理服务器，端口的数据会由 SSH 隧道转发到集群主节点

创建 SSH 隧道

密钥的方式

ssh -i <密钥文件路径> -N -D 8157 root@<主节点公网IP地址>

密码的方式

ssh -N -D 8157 root@<主节点公网IP地址>

配置浏览器

完成动态转发配置以后，您可以从以下两种方式中选择一种来进行浏览器配置。

方式1--Chrome 浏览器命令行方式

打开命令行窗口，进入本地 Google Chrome 浏览器客户端的安装目录。

操作系统不同，Chrome 浏览器的默认安装目录不同。

操作系统	Chrome默认安装路径
Mac OS X	"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \ --user-data-dir="$HOME/chrome-with-proxy" \ --proxy-server="socks5://localhost:8157"
Linux	/usr/bin/google-chrome \ --user-data-dir="$HOME/chrome-with-proxy" \ --proxy-server="socks5://localhost:8157"
Windows	"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" ^ --user-data-dir="%USERPROFILE%\chrome-with-proxy" ^ --proxy-server="socks5://localhost:8157"

8157：本地服务器端口以8157为例，实际配置时，您可使用本地服务器未被使用的任意一个端口。

在此 Chrome 会话中，您就可以通过内网访问 Cloudera Manager 和其他 Web UI 了。比如：http://cdp-master-1.xxxx.cn-hangzhou.cdp.aliyuncs.com:9870/dfshealth.html#tab-overview

【阿里云 CDP 公开课】第四讲：如何访问CDP集群

方式2--配置代理扩展程序的方式

代理扩展程序可以帮助您更加轻松地在浏览器中管理和使用代理，确保网页浏览和集群 Web UI 访问互不干扰。

安装 Chrome 的 SwitchyOmega 插件。

【阿里云 CDP 公开课】第四讲：如何访问CDP集群

安装完成以后，单击 SwitchyOmega 插件，然后在弹出框中选择选项进行配置。
单击新建情景模式，输入情景模式名称（例如SSH pac），情景模式类型选择 PAC 情景模式。
在 PAC 脚本中配置以下内容。

function regExpMatch(url, pattern) {    
  try { return new RegExp(pattern).test(url); } catch(ex) { return false; }    
}

function FindProxyForURL(url, host) {
    // Important: replace 172.31 below with the proper prefix for your VPC subnet

    if (shExpMatch(url, "*localhost*")) return "SOCKS5 localhost:8157";
    if (shExpMatch(url, "*cdp-*")) return "SOCKS5 localhost:8157";

    return 'DIRECT';
}

完成上述参数配置后，在左侧导航栏中单击应用选项。
打开 Chrome 浏览器，在 Chrome 中单击 SwitchyOmega 插件，切换到之前创建的 SSH tunnel 情景模式下。

【阿里云 CDP 公开课】第四讲：如何访问CDP集群

使用 Knox 代理方式访问 WEB 服务

登录到 Knox 所在节点，执行如下命令：

先创建用户 test, 并设置 test 的密码：

1. 先创建用户 test, 并设置test的密码：
> useradd test
> passwd test

将用户 knox 添加到 admin 用户组中：

> usermod -a -G test knox

创建 shadow 组，将 knox 添加到 shadow 组中

# 创建group shadow
> groupadd shadow

# 将root添加到shadow组里
> usermod -a -G shadow root

# 将knox添加到shadow组里
> usermod -a -G shadow knox

# 将文件/etc/shadow的group修改为 shadow
> chgrp shadow /etc/shadow

# 添加/etc/shadow文件 组的读权限：
> chmod g+r /etc/shadow

groupadd shadow
usermod -a -G shadow root
usermod -a -G shadow knox
chgrp shadow /etc/shadow
chmod g+r /etc/shadow

knox 登录页面：https://{ip}:8443/gateway/homepage/home/

使用 admin 用户名+ 密码成功登陆

【阿里云 CDP 公开课】第四讲：如何访问CDP集群

备注--Knox 匹配规则：

^.*$;^https?:(.+\.cdp\.aliyun\.com):[0-9]+?.*$

【阿里云 CDP 公开课】第四讲：如何访问CDP集群

大家如果对产品感兴趣，欢迎加入到阿里云 Cloudera 企业数据云交流群。对产品有任何疑问都可以在交流群里咨询。

以下是产品的链接，有需要的用户可以直接点击链接访问和使用产品。

阿里云官网：https://ac.aliyun.com/application/cloudera

或直接访问：https://market.aliyun.com/products/201190008/cmgj00047952.html

免费测试申请：https://survey.aliyun.com/apps/zhiliao/owtTaIQU3

码农公寓

本期导读 ：【阿里云 CDP 公开课】第四讲

前提条件

使用 SSH 隧道方式访问 WEB 服务

创建 SSH 隧道

配置浏览器

方式1--Chrome 浏览器命令行方式

方式2--配置代理扩展程序的方式

使用 Knox 代理方式访问 WEB 服务

相关文章

本期导读：【阿里云 CDP 公开课】第四讲