Hadoop学习之Hadoop集群搭建

1、检查网络状况

Dos命令:ping ip地址,同时,在Linux下通过命令:ifconfig可以查看ip信息
2、修改虚拟机的ip地址
    打开linux网络连接,在桌面右上角,然后编辑ip地址,修改ip地址后,重启网络服务:service network restart,如果网络重启失败,可以在虚拟机网络设置中心删除网络连接,然后重新启动Linux,接着在网络设置中心重新设置ip地址,最后重启Linux
3、修改从节点主机名
    vi /etc/sysconfig/network 修改主机名后--->:wq保存退出,然后重启主机使主机名生效,同时注意:每次修改主机名后还必须主机名ip映射地址:vi /etc/hosts,将主机名和主机ip地址相对应,还有Hadoop配置文件也必须修改:cd /usr/local/hadoop/conf/core-site.xml,将hdfs中涉及的主机名修改,同时还有Hadoop配置文件mapred-site.xml,将其中主机名修改,修改完配置文件后必须重启主机:reboot -h now,是其所作的修改生效。
4、清理从机文件

将集群中从节点机器中Hadoop安装目录下所有文件全部删除
5、配置从机ssh密钥文件

首先切换到指定目录:cd /root/.ssh/ :启动每台从节点机器上的ssh服务:ssh-keygen -t rsa,一路回车,然后将切换到.ssh目录下:cd /root/.ssh/,创建含有公钥信息的文件:cat id_rsa.pub >> authorized_keys然后执行命令:ssh localhost,选择yes,最后: exit,,接着执行命令:ssh 主机名(如果出现“无法解析主机名的错误”,则可能是主机名和ip地址映射出现错误,可以修改hosts文件:vi /etc/hosts来纠正映射信息),选择yes,最后执行命令:exit,就可以完成
6、关闭从机所有防火墙
7、修改集群电脑中hosts文件

具体做法是:vi /etc/hosts ,然后编辑文件,在其中添加集群中所有主机名以及ip地址,可以通过命令:   一次性集群中给所有机器的该文件
8、设置集群中各个电脑之间免密码登录

原理就是各个电脑上必须存有其他电脑上的公钥信息,可以通过命令:ssh-copy-id -i 目标主机名:/root/.ssh/,就可以将本机公钥信息发送给目标主机指定目录下,然后通过复制命令:scp /root/.ssh/authorized_keys 目标主机名称,就可以将本机上的公钥信息复制到目标机器上,从而实现两台机器之间免密码登录主机中存放公钥的文件:more authorized_keys
9、将主节点上的Hadoop配置信息复制到各个从节点主机
    复制之前,进入到hadoop目录,删除logs(日志文件)和tmp(数据文件)两个文件夹下所有文件,切换到local目录下:首先复制jdk: scp -r jdk 从节点主机名:/usr/local/,接着复制hadoop: scp -r hadoop 从机名称:/usr/local/,然后把主机的/etc/profile复制到各个从节点,scp /etc/profile 从节点主机名:/etc/,同时必须在目标节点执行:source /etc/profile
10、修改主机hadoop配置文件,设置集群主从关系
    进入到conf目录下,执行命令:vi slaves修改配置文件,输入集群中其他从节点主机名称,每个主机名称各占一行,然后保存退出
11、格式化后启动
    在主机上执行命令:hadoop namenode -format,然后执行命令:start-all.sh启动集群,主节点上进程包括:SecondaryNameNode、NameNode、Jps、JobTracter,其他从节点分别有三个服务,分别是:Jps、DataNode、TaskTracter,同时,通过浏览器可以查看集群信息:http://localhost:50070查看整个集群信息
12、设置各个机器上运行的服务
    通过修改Hadoop配置文件:vi masters,本文件中给存放NameNode节点位置,可以修改为其他主机名从而指定其在指定机器上启动服务,通过执行命令:vi core-site.xml修改配置文件,可以指定NameNode启动服务的机器,修改mapred-site.xml可以修改JobTracoer的启动服务的机器
****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容,在从节点机器中禁止修改该配置文件
13、在现有集群中动态增加新节点
    配置新节点的环境:1-14步后,把新节点的主机名添加到slaves配置文件中:vi slaves,添加新节点主机名称后保存退出,然后切换到hadoop的bin
目录下,执行命令:hadoop-daemon.sh start datanode 启动从节点datanode进程,同时接着启动tasktracker服务:hadoop-deamon.sh start tasktacker,
相当于新节点首先在主机处报到,然后执行命令:hadoop dfsadmin -refreshNodes相当于刷新整个进群,这样,新节点就正式加入到集群中了。
(结束进程命令:kill -9 进程名称)
14、查看Hadoop是否处于安全模式
    命令:hadoop dfsadmin -safemode get,

进入安全模式可以通过命令:hadoop dfsadmin -safemode enter

离开安全模式通过命令:hadoop dfsadmin -safemode leave

上一篇:搭建ELK日志分析(亲测无毒!)截图没有附上。。凑合看。搭建出来没有问题


下一篇:SpringCloud学习之—Eureka集群搭建