大数据之Hadoop(Hadoop运行环境搭建)

Hadoop运行环境搭建

  • 对于centos 6、jar包等有什么问题,以及需要安装包的,欢迎留言。

一、虚拟机环境准备

  • 1、克隆虚拟机:
    (1)右键CentOS 6 64,然后点击管理,再点击克隆。
    大数据之Hadoop(Hadoop运行环境搭建)
    (2)点击下一步:
    大数据之Hadoop(Hadoop运行环境搭建)
    (3)再次点击下一步
    大数据之Hadoop(Hadoop运行环境搭建)
    (4)选择创建完整的克隆
    大数据之Hadoop(Hadoop运行环境搭建)
    (5)配置虚拟机名称,点击完成即可
    大数据之Hadoop(Hadoop运行环境搭建)
  • 2、修改克隆虚拟机的静态IP
    (1)运行hadoop101虚拟机,接着使用root账号进行登录。
    (2)右键桌面,选择在终端打开
    大数据之Hadoop(Hadoop运行环境搭建)
    (3)修改ip地址 vim /etc/udev/rules.d/70-persistent-net.rules
    大数据之Hadoop(Hadoop运行环境搭建)
    (4)删除eth0网卡。
    大数据之Hadoop(Hadoop运行环境搭建)
    (5)将eth1改为eth0
    大数据之Hadoop(Hadoop运行环境搭建)
    (6)复制address,并保存退出文件。
    大数据之Hadoop(Hadoop运行环境搭建)
    (7)配置网络,vim /etc/sysconfig/network-scripts/ifcfg-eth0
    (8)修改物理ip地址(也就是第(6)步复制的address)
    大数据之Hadoop(Hadoop运行环境搭建)
    (9)接下来修改ip地址,退出并保存
    大数据之Hadoop(Hadoop运行环境搭建)
  • 3、修改主机名
    (1)vim /etc/sysconfig/network,将HOSTNAME改为hadoop101
    大数据之Hadoop(Hadoop运行环境搭建)
    (2)配置hosts,即:vim /etc/hosts,添加刚刚配置的ip和主机名
    大数据之Hadoop(Hadoop运行环境搭建)
    (3)都配置好之后,输入reboot重启。
    (4)输入ifconfig,查看ip
    大数据之Hadoop(Hadoop运行环境搭建)
    (5)ping一下百度
    大数据之Hadoop(Hadoop运行环境搭建)
    (6)ping一下hadoop101
    大数据之Hadoop(Hadoop运行环境搭建)
    (7)ping一下自己的电脑
    大数据之Hadoop(Hadoop运行环境搭建)
    (8)在windows,paths中添加ip到主机名的映射,并在windows上ping一下hadoop101
    大数据之Hadoop(Hadoop运行环境搭建)
  • 4、关闭防火墙
    (1)使用chkconfig --list iptables查看防火墙状态
    大数据之Hadoop(Hadoop运行环境搭建)
    (2)若没有关闭,输入chkconfig iptables off
  • 5、创建atguigu用户
    大数据之Hadoop(Hadoop运行环境搭建)
  • 6、配置atguigu用户具有root权限
    (1)输入vim /etc/sudoers,给atguigu赋予权限
    大数据之Hadoop(Hadoop运行环境搭建)
  • 7.在/opt目录下创建文件夹,/opt:操作目录
    (1)在/opt目录下创建module、software文件夹:software用于存储jar包,jar解析完成之后存入module:sudo mkdir module, sudo mkdir sortware。
    (2)修改module和software的所有者和所有组:sudo chown atguigu:atgugui module/ software/
    大数据之Hadoop(Hadoop运行环境搭建)

二、安装JDK

1、首先通过xftp将jar包传输到hadoop101的/opt/software目录下。
大数据之Hadoop(Hadoop运行环境搭建)
2、解压JDK到/opt/module/目录下,解压命令为:tar -zxvf 压缩包 -C /opt/moudle/
大数据之Hadoop(Hadoop运行环境搭建)
3、进入JDK。
大数据之Hadoop(Hadoop运行环境搭建)
4、使用pwd获取jdk的路径
大数据之Hadoop(Hadoop运行环境搭建)
5、使用JDK的路径配置JAVA_HOME
大数据之Hadoop(Hadoop运行环境搭建)
大数据之Hadoop(Hadoop运行环境搭建)
6、接着输入source /etc/profile,java就安装成功了
大数据之Hadoop(Hadoop运行环境搭建)

三、安装Hadoop

1、进入/opt/software目录
大数据之Hadoop(Hadoop运行环境搭建)
2、解压hadoop。
大数据之Hadoop(Hadoop运行环境搭建)
3、进入hadoop目录,配置环境变量
大数据之Hadoop(Hadoop运行环境搭建)
大数据之Hadoop(Hadoop运行环境搭建)
大数据之Hadoop(Hadoop运行环境搭建)
4、source /etc/profile之后,hadoop安装成功
大数据之Hadoop(Hadoop运行环境搭建)

四、Hadoop的目录结构

大数据之Hadoop(Hadoop运行环境搭建)
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

五、注意

1、如何配置CentOS 6 64。
2、Java包、Hadoop包等。
上述这些问题,可以随时留言给博主。

上一篇:前沿资讯--Hadoop--Cloudera将开启全面收费


下一篇:java – 如何在qr代码中添加徽标