自建Hadoop数据迁移到阿里云EMR

2021-12-22 15:40:12

作者：云魁、连辙

最佳实践概述

应用场景

客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存长期数据，或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践：

基于IPSec VPN隧道 + DistCp（Hadoop原生工具），将数据迁移到阿里云EMR集群，目标存储包括HDFS，阿里云OSS和阿里云EMR的Jindo

技术架构

本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：

方案优势

安全性
基于IPSec VPN/专线的方式进行数据安全传输。
低成本
在阿里云创建Hadoop类型的EMR集群和自建Hadoop集群相比有一定成本优势，同时阿里云EMR可以使用OSS作为底层存储空间，进一步降低成本。

在进行本文操作之前，您需要完成以下准备工作：

拥有阿里云实名认证账号。
拥有已经通过备案的域名。
保证账号余额大于100元人民币。
开通ECS、OSS、EMR和VPN网关等服务。

资源规划说明

本方案实践的资源规划仅作为实践演示，实际业务场景资源以用户实际需求为准。
本实践方案中，涉及到阿里云资源开通和购买，本文后续实例中不单独展示服务开通相关操作，请使用者自行完成。
本实践方案在使用过程中，大致流程和实际操作所需的时长如下（不包含文档阅读时间），供使用者参考：

1. 自建Hadoop集群环境搭建

本实践方案中，使用上海VPC环境模拟客户IDC网络，主要安装以下组件：

（1）在ECS上安装FlexGW VPN，用于模拟客户IDC网络中的VPN网关；
（2）在ECS上安装Apache日志模拟器，用于生成Apache格式的日志信息；
（3）在ECS上安装Kafka，用于集中存储Flume发送的日志；
（4）在ECS上安装3节点的Hadoop集群，其中的HDFS用于集中保存日志数据信息。

1.1. 创建VPC网络

步骤1 登录专有网络VPC产品控制台。
步骤2 单击创建专有网络。

步骤3 在创建专有网络页面，参考下表，配置专有网络和交换机相关参数，并单击确定。

步骤4 等待专有网络和交换机创建成功后，单击完成。

1.2. 批量创建ECS实例

创建ECS实例
步骤1 登录上海区域的ECS产品控制台。
步骤2 单击右上角的创建实例。
步骤3 在自定义购买模式下，配置相关参数。
参考下表，配置基础配置相关内容。

配置完成，单击下一步：网络和安全组。

单击查看历史价格 ，在抢占式实例历史价格走势图中，可以看到可用区F的实例当前市场价格为0.034，因此，我们设置单台上限价为0.04，要求略高于当前市场价格。

步骤4 在网络和安全组页面，参考下表，配置相关参数。

配置完成，单击下一步：系统配置。

步骤5 在系统配置页面，参考下表，配置相关参数。

配置完成，单击确认订单。

步骤6 在确认订单页面，确认各项参数信息。确认无误，阅读、同意并勾选《云服务器ECS服务条款》和《镜像商品使用条款》，并单击创建实例。

步骤7 创建任务提交成功后，单击管理控制台前往ECS实例列表页面查看详情。为了在控制台便于识别ECS的用途，首先将实例名称修改为如下图所示：

步骤8 将Kafka队列和FlexGW VPN这两个实例关机，将系统盘更换为云市场的镜像，节省基础环境部署时间。

步骤9 首先为FlexGW VPN网关实例更换系统盘。

单击实例操作列下的更多 > 磁盘和镜像 > 更换操作系统。
单击右下角确定，更换系统盘按钮。
选择镜像市场，单击从镜像市场选择（含操作系统）。
在搜索框中输入flexgw，定位到FlexGW IPsec VPN服务器企业版，并单击使用。
选择自定义密码，并设置登录密码。

步骤10 参考步骤9为Kafka队列实例更换系统盘，选择下面的镜像。

（可选）配置安全组

在实例所在安全组中确认22、80和443端口的放通情况，如果有未放通端口，请按照下面步骤进行放通。
步骤1 在ECS控制台，单击FlexGW VPN网关实例操作列下的管理。
步骤2 在左侧导航栏单击本实例安全组。

步骤3 单击对应安全组操作列下的配置规则。

步骤4 在入方向页签下，单击快速创建规则。

步骤5 在快速创建规则对话框中，根据下图配置相关参数，并单击确定。