hadoop学习(三)hadoop集群从windows移植到linux中问题与技巧

       在开始讲Map-Reduce数据分析之前,首先讲解一下,这两天遇到的问题,自己在这上面确实是耽误了很多时间:希望为自己或后来者提供经验。

(一)昨天在集群中测试,由于把集群全部移植到linux下,解决了virtualbox虚拟机的问题。接下来出现的问题就是:集群之间互联的问题,四台主机之间ssh互连。

       在 hadoop学习(一)hadoop-1.2.1伪分布式配置及遇到的问题   谈到集群之间通过ssh免密码连接。早前,我们利用小度wifi新建一个局域网,我们几台机器都连接到这个局域网,分节点配置的静态IP,也是根据这个局域网的IP,设置字段。如:小度wifi分享出的局域网字段在192.168.123.* 字段,自己在每台机器设置静态IP的时候,也要设置这个字段。下面hosts文件就是我们四台主机的IP。hosts用来主机各主机

       现在问题就来了:如果我们更换局域网,或者是不在本地测试,那么怎么共享局域网。其实这个问题,也是自一开始就困扰着我们。昨天同组人在别的wifi下,测试成功,解决方法:你目的是要几台分节点之间可以互连。每次更换网络,只需要,更改host文件。更改在/etc目录下的hosts文件。

hosts文件:

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.168.123.10 cluster1
192.168.123.11 cluster2
192.168.123.12 cluster3
192.168.123.13 cluster4 
每次更换局域网,把每一天机器的ip,配置到hosts文件中,然后通过ssh测试机器之间是否可以连通。目的就是互通,只有互通hadoop主节点,在分配任务的时候才是正常的。

scp :远程拷贝文件及文件夹

1、拷贝本机/home/zhangzhen/input整个目录至远程主机192.168.123.13的/home/tom/目录下

sudo scp  -r /home/zhangzhen/input  tom@192.168.123.13:/home/tom/

2、从远程拷贝文件到本地

sudo scp -r tom@192.168.123.13:/home/tom/authorized111_keys    /home/zhangzhen

tom :远程主机名

192.168.123.13:远程主机IP

:/home/tom/authorized111_keys :远程要复制的文件

/home/zhangzhen :本机要复制到的路径

过程中要输入远程主机的密码。

scp 在配置ssh密钥和复制一些文件用处太多。

3、利用scp,节点之间可以互相拷贝文件。如果要是遇到,权限限制的问题,就是你用sudo也是不能复制的,一般是指你要复制root权限的文件。这里有个巧妙的方法,只是针对文件类的复制。你可以在创建一个文件,vi   zz,把内容复制进去,这样在复制zz到远程主机,然后做的是,mv zz younanme;

4、其次是更改文件的权限:一般是更改root权限的文件。sudo 就可以拷贝了。

sudo chown tom:tom 文件名


(二)在搭建集群,配置文件中出现问题

1、重启网络服务:

  1. sudo service network-manager stop  
  2. sudo rm /var/lib/NetworkManager/NetworkManager.state  
  3. sudo service network-manager start  
2、虚拟机中重新启动linux

     sudo init 6 

3、设置静态IP的过程:
     静态IP设置可以修改/etc/network/interface文件 
iface eth0 inet static
address 192.168.123.13
netmask 255.255.255.1
gateway 192.168.
broadcast 192.168 

4、配置DNS
一般是在:ping www.baidu.com
出来的结果:unknown host server ,连接不上外网;
sudo vi /etc/resove.config
nameserver  8888

5、xshell连接虚拟机:在xhell中实现简单——文件上传和下载,实现linux上方面的上传和下载文件
安装:sudo install apt-get lrzsz 

rz  选择文件,上传
sz  文件名称,下载



继续更新中..........................






Copyright?BUAA


hadoop学习(三)hadoop集群从windows移植到linux中问题与技巧

上一篇:CAD中怎么画极坐标? cad极坐标画线的教程


下一篇:Android Notification 相关 target 30