大数据学习02_Linux集群搭建

前几天将大数据基础(集群搭建,Zookeeper,hdfs,zookeeper和HDFS的javaAPI操作,MapReduce)学习完了,今天用写博客的方式回顾一下学到的知识,先回顾集群的搭建:

    集群的搭建大致有以下几个步骤:

    1.在VMware虚拟网卡下配置好网关,IP和DNS,并且确保windows系统确认所有的关于VmWare的服务都已经启动。

大数据学习02_Linux集群搭建

 

   2.复制虚拟机,并配置好虚拟机的内存。

   3.进行集群规划并且修改虚拟机的MAC地址、ip地址、主机名、域名映射。

        3.1每台虚拟机更改mac地址(命令): vim /etc/udev/rules.d/70-persistent-net.rules

             大数据学习02_Linux集群搭建

 

 

        3.2每台虚拟机更改IP地址: vim /etc/sysconfig/network-scripts/ifcfg-eth0

大数据学习02_Linux集群搭建

 

 

        3.3每台虚拟机修改对应主机名 vi /ect/sysconfig/network

        3.4每台虚拟机 设置ip和域名映射 vim /etc/hosts

大数据学习02_Linux集群搭建

 

 

   4.虚拟机关闭防火墙和SELinux

      service iptables stop   #关闭防火墙

      chkconfig iptables off  #禁止开机启动

大数据学习02_Linux集群搭建

 

    5.虚拟机免密码登录

       5.1三台机器生成公钥与私钥(命令:ssh-keygen -t rsa)

       5.2拷贝公钥到同一台机器(命令:ssh-copy-id 虚拟机名称1)

       5.3复制第一台机器的认证到其他机器(命令:scp /root/.ssh/authorized_keys 虚拟机名称2:/root/.ssh)

    6.三台机器时钟同步

        6.1## 安装 yum install -y ntp #

        6.2# 启动定时任务 crontab -e

        6.3将*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;输入到文件里面保存。大致意思是:每个一个小时就向阿里云发出请求校准时间。

以上就是搭建Linux集群的核心步骤。

希望对看到的小伙伴有所帮助。

还有一点我用的远程连接工具是finalshell

 

大数据学习02_Linux集群搭建

上一篇:100个Shell脚本——【脚本7】批量建立用户


下一篇:全球及中国热电离质谱仪行业投资风险预测及发展规划建议报告2022-2028年