Hadoop运行环境搭建
- 对于centos 6、jar包等有什么问题,以及需要安装包的,欢迎留言。
一、虚拟机环境准备
- 1、克隆虚拟机:
(1)右键CentOS 6 64,然后点击管理,再点击克隆。
(2)点击下一步:
(3)再次点击下一步
(4)选择创建完整的克隆
(5)配置虚拟机名称,点击完成即可
- 2、修改克隆虚拟机的静态IP
(1)运行hadoop101虚拟机,接着使用root账号进行登录。
(2)右键桌面,选择在终端打开
(3)修改ip地址 vim /etc/udev/rules.d/70-persistent-net.rules
(4)删除eth0网卡。
(5)将eth1改为eth0
(6)复制address,并保存退出文件。
(7)配置网络,vim /etc/sysconfig/network-scripts/ifcfg-eth0
(8)修改物理ip地址(也就是第(6)步复制的address)
(9)接下来修改ip地址,退出并保存
- 3、修改主机名
(1)vim /etc/sysconfig/network,将HOSTNAME改为hadoop101
(2)配置hosts,即:vim /etc/hosts,添加刚刚配置的ip和主机名
(3)都配置好之后,输入reboot重启。
(4)输入ifconfig,查看ip
(5)ping一下百度
(6)ping一下hadoop101
(7)ping一下自己的电脑
(8)在windows,paths中添加ip到主机名的映射,并在windows上ping一下hadoop101
- 4、关闭防火墙
(1)使用chkconfig --list iptables查看防火墙状态
(2)若没有关闭,输入chkconfig iptables off - 5、创建atguigu用户
- 6、配置atguigu用户具有root权限
(1)输入vim /etc/sudoers,给atguigu赋予权限
- 7.在/opt目录下创建文件夹,/opt:操作目录
(1)在/opt目录下创建module、software文件夹:software用于存储jar包,jar解析完成之后存入module:sudo mkdir module, sudo mkdir sortware。
(2)修改module和software的所有者和所有组:sudo chown atguigu:atgugui module/ software/
二、安装JDK
1、首先通过xftp将jar包传输到hadoop101的/opt/software目录下。
2、解压JDK到/opt/module/目录下,解压命令为:tar -zxvf 压缩包 -C /opt/moudle/
3、进入JDK。
4、使用pwd获取jdk的路径
5、使用JDK的路径配置JAVA_HOME
6、接着输入source /etc/profile,java就安装成功了
三、安装Hadoop
1、进入/opt/software目录
2、解压hadoop。
3、进入hadoop目录,配置环境变量
4、source /etc/profile之后,hadoop安装成功
四、Hadoop的目录结构
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例
五、注意
1、如何配置CentOS 6 64。
2、Java包、Hadoop包等。
上述这些问题,可以随时留言给博主。