在开始讲Map-Reduce数据分析之前,首先讲解一下,这两天遇到的问题,自己在这上面确实是耽误了很多时间:希望为自己或后来者提供经验。
(一)昨天在集群中测试,由于把集群全部移植到linux下,解决了virtualbox虚拟机的问题。接下来出现的问题就是:集群之间互联的问题,四台主机之间ssh互连。
在 hadoop学习(一)hadoop-1.2.1伪分布式配置及遇到的问题 谈到集群之间通过ssh免密码连接。早前,我们利用小度wifi新建一个局域网,我们几台机器都连接到这个局域网,分节点配置的静态IP,也是根据这个局域网的IP,设置字段。如:小度wifi分享出的局域网字段在192.168.123.*
字段,自己在每台机器设置静态IP的时候,也要设置这个字段。下面hosts文件就是我们四台主机的IP。hosts用来主机各主机
现在问题就来了:如果我们更换局域网,或者是不在本地测试,那么怎么共享局域网。其实这个问题,也是自一开始就困扰着我们。昨天同组人在别的wifi下,测试成功,解决方法:你目的是要几台分节点之间可以互连。每次更换网络,只需要,更改host文件。更改在/etc目录下的hosts文件。
hosts文件:
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.168.123.10 cluster1
192.168.123.11 cluster2
192.168.123.12 cluster3
192.168.123.13 cluster4
每次更换局域网,把每一天机器的ip,配置到hosts文件中,然后通过ssh测试机器之间是否可以连通。目的就是互通,只有互通hadoop主节点,在分配任务的时候才是正常的。scp :远程拷贝文件及文件夹
1、拷贝本机/home/zhangzhen/input整个目录至远程主机192.168.123.13的/home/tom/目录下
sudo scp -r /home/zhangzhen/input tom@192.168.123.13:/home/tom/
2、从远程拷贝文件到本地
sudo scp -r tom@192.168.123.13:/home/tom/authorized111_keys /home/zhangzhen
tom :远程主机名
192.168.123.13:远程主机IP
:/home/tom/authorized111_keys :远程要复制的文件
/home/zhangzhen :本机要复制到的路径
过程中要输入远程主机的密码。
scp 在配置ssh密钥和复制一些文件用处太多。
3、利用scp,节点之间可以互相拷贝文件。如果要是遇到,权限限制的问题,就是你用sudo也是不能复制的,一般是指你要复制root权限的文件。这里有个巧妙的方法,只是针对文件类的复制。你可以在创建一个文件,vi zz,把内容复制进去,这样在复制zz到远程主机,然后做的是,mv zz younanme;
4、其次是更改文件的权限:一般是更改root权限的文件。sudo 就可以拷贝了。
sudo chown tom:tom 文件名
(二)在搭建集群,配置文件中出现问题
1、重启网络服务:
- sudo service network-manager stop
- sudo rm /var/lib/NetworkManager/NetworkManager.state
- sudo service network-manager start
2、虚拟机中重新启动linux
sudo init 6
3、设置静态IP的过程:
静态IP设置可以修改/etc/network/interface文件
iface eth0 inet static
address 192.168.123.13
netmask 255.255.255.1
gateway 192.168.
broadcast 192.168
4、配置DNS
一般是在:ping www.baidu.com
出来的结果:unknown host server ,连接不上外网;
sudo vi /etc/resove.config
nameserver 8888
5、xshell连接虚拟机:在xhell中实现简单——文件上传和下载,实现linux上方面的上传和下载文件
安装:sudo install apt-get lrzsz
rz 选择文件,上传
sz 文件名称,下载
继续更新中..........................
Copyright?BUAA