虚拟机环境准备|学习笔记

开发者学堂课程【Hadoop 快速入门:虚拟机环境准备】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/92/detail/1415


虚拟机环境准备


完全分布式运行模式(开发重点)

SCP

1.准备 3 台客户机(关闭防火墙,静态 IP,主机名称)

 右键;管理;克隆;克隆完要改 IP 地址和手机名称;完全构建。

2.安装 JDK

3.配置环境变量

4.安装 Hadoop

5.配置环境变量

6.配置集群

7.单点启动

8.配置 ssh

9.群起并测试集群

虚拟机准备

编写集群分发脚本 xsyne

①scp(安全拷贝):

可以实现服务器与服务器之间的数据拷贝

②scp,命令,r速归 , spdir/sfname要拷贝的文件路径名称 ,Suser@hadoopShost:spdir/sfname 目的用户,主机 目的路径, 名称。

③在 hadoop101 上,将 hadoop 101 中/ 目录下的软件 opt/module 拷贝到,hadoop102 中;在 hadoop103 上,将 hadoop101 中目录下的软件 opt/module拷贝到 hadoop103 上。在 hadoop103 上,将 hadoop101 中目录下的软件opt/module拷贝到 hadoop104 上。

上一篇:启动 YARN 并运行 MR 程序|学习笔记


下一篇:配置历史服务器|学习笔记