一、Hadoop组件依赖关系:
步骤
1)关闭防火墙和禁用SELinux
切换到root用户
关闭防火墙:service iptables stop
Linux下开启/关闭防火墙的两种方法
1.永久性生效,重启后不会恢复:
开启:chkconfig iptables on
关闭:chkconfig iptables off
2.即时生效,重启后恢复
开启:service iptables start
关闭:service iptables stop
禁用SELinux
vim /etc/sysconfig/selinux 设置SELinux=disabled
2)设置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
3)修改主机名(hostname)
vim /etc/sysconfig/network
4)IP与hostname绑定
作用:可以在window浏览器主页上输入IP地址加端口号访问linux下Hadoop的运行进程
vim /etc/hosts
内容显示如下
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.217.150 linux.chaofn.org linux
然后在window下的C:\Windows\System32\drivers\etc目录下有一个hosts文件,打开写入
192.168.217.150 linux.chaofn.org linux
5)设置SSH自动登录(所有守护进程通过SSH协议进行通信)
免秘钥设置,方便namenode向datanode的访问
切换到普通用户
输入命令 ssh-keygen -t rsa
默认是在~/.ssh/目录下
drwx------ 2 chaofn chaofn 4096 May 20 20:00 .ssh 权限为700,要改为644
进入.ssh目录,有两个文件id_rsa id_rsa.pub,一个是私钥,一个是公钥
然后复制一份id_rsa.pub,命令:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(这个操作实现了权限的更改)
测试.命令 ssh localhost
ssh linux.chaofn.org
6)Hadoop环境变量配置:
vim /etc/profile 添加如下内容:
#HADOOP
export HADOOP_HOME=/home/chaofn/opt/setup/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin
7)修改conf目录下的配置文件
配置core-site.xml
配置hdfs-site.xml
配置mapred-site.xml、masters、slaves
8)格式化namenode
命令:hadoop namenode -format
注意格式化过程中出现的错误提示,仔细检查
9)启动Hadoop
命令:start-all.sh(启动方式有很多种)
通过jps命令查看五个进程是否全部启动
通过window的网页界面查看
输入hadoop-master.dragon.org:50030(我的域名是linux.chaofn.org)查看是否启动
注意一定要关闭linux下的防火墙,不然window无法访问