前几天将大数据基础(集群搭建,Zookeeper,hdfs,zookeeper和HDFS的javaAPI操作,MapReduce)学习完了,今天用写博客的方式回顾一下学到的知识,先回顾集群的搭建:
集群的搭建大致有以下几个步骤:
1.在VMware虚拟网卡下配置好网关,IP和DNS,并且确保windows系统确认所有的关于VmWare的服务都已经启动。
2.复制虚拟机,并配置好虚拟机的内存。
3.进行集群规划并且修改虚拟机的MAC地址、ip地址、主机名、域名映射。
3.1每台虚拟机更改mac地址(命令): vim /etc/udev/rules.d/70-persistent-net.rules
3.2每台虚拟机更改IP地址: vim /etc/sysconfig/network-scripts/ifcfg-eth0
3.3每台虚拟机修改对应主机名 vi /ect/sysconfig/network
3.4每台虚拟机 设置ip和域名映射 vim /etc/hosts
4.虚拟机关闭防火墙和SELinux
service iptables stop #关闭防火墙
chkconfig iptables off #禁止开机启动
5.虚拟机免密码登录
5.1三台机器生成公钥与私钥(命令:ssh-keygen -t rsa)
5.2拷贝公钥到同一台机器(命令:ssh-copy-id 虚拟机名称1)
5.3复制第一台机器的认证到其他机器(命令:scp /root/.ssh/authorized_keys 虚拟机名称2:/root/.ssh)
6.三台机器时钟同步
6.1## 安装 yum install -y ntp #
6.2# 启动定时任务 crontab -e
6.3将*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;输入到文件里面保存。大致意思是:每个一个小时就向阿里云发出请求校准时间。
以上就是搭建Linux集群的核心步骤。
希望对看到的小伙伴有所帮助。
还有一点我用的远程连接工具是finalshell