前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题。首先设置两台计算机的主机名 root 权限打开/etc/host文件
再设置hostname,root权限打开/etc/hostname文件设置
从机设为Slaver.Hadoop
1.安装java jdk 并配置环境
centos 自带安装了一个jdk,如果我们要自己安装jdk并配置环境的话首先卸载掉原本的jdk
在命令行模式下健入命令:yum remove java (root用户,非root用户请在命令前加sudo).
接下来安装jdk并配置环境,到网上下载jdk的rpm包,使用命令:rpm -ivh jdk-......;
配置jdk环境:
root用户打开/etc/profile文件 在文件末尾添加jdk路径类似下面的配置,只需注意jdk版本即可
上面一部分为java环境变量,后面为hadoop变量,等会用得上。
2.安装hadoop并配置环境。
到Apache网站下载hadoop-2.6.0版本.
解压文件: tar -xvf hadoop-2.6.0.tar.gz (解压到需要安装的路径,或者到时候再设定路径)
进入解压后的目录,到hadoop-2.6.0/etc/hadoop/路径下找到下面几个配置文件
core.site.xml:
hdfs-site.xml
mapred-site.xml.template
hadoop-env.sh
slaves
192.168.1.126 从机ip
到此配置完成,启动参照网上的教程。
/hadoop-2.6.0/bin/hadoop namenode -format
/hadoop-2.6.0/sbin/start-all.sh
完成。
注意:启动前需要将两台计算机的防火墙关闭:sudo systemctl stop iptables.service
3.安装配置hadoop eclipse 插件
下载hadoop eclipse 插件,将其放入eclipse 文件夹的plugins文件夹中,启动eclipse.
eclipse window->open persperctive->other->
分别打开Map/Reduce 和 Resource 。然后到eclipse中新建M/R项目,找到wordcount.java源代码执行,
eclipse中run as configuertion 设置参数:
eclipse中项目目录:
执行结果: