spark、hadoop集群添加节点

1、首先添加hdfs的节点,将安装包上传到服务器,设置好环境变量。配置文件按之前spark集群搭建的那里进行修改。

设置完成后,要对新节点新型格式化:

# hdfs  dfs  namenode  -format

生成公钥、私钥,配置免密登录:

ssh-keygen   -t rsa

一直回车就好了,会在用户的家目录下生成.ssh目录,里面有公钥和私钥。需要处建一个新的文件叫authorized_keys,将自己的公钥和master服务器上的公钥都放到这个文件里面,并将自己的公钥copy到master服务器的authorized_keys文件里面。

# chmod  600 authorized_keys

然后将自己的主机名添加到所有的节点服务器的hosts文件里,并将其他的节点主机名也添加到自己的hosts文件里。

启动服务:

./start-dfs.sh

!然后在namenode,查看集群情况:

# hdfs dfsadmin -report

!最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandwidth 67108864

!默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%,启动Balancer:

#sbin/start-balancer.sh -threshold 5

等待集群自均衡完成

2、添加spark节点

上传spark的安装包,然后按之前集群上的配置文件进行修改:

首先是将主机名添加到各自的hosts文件,并修改spark的conf目录下的slaves文件,将主机名添加到此处。

启动服务:

在master上:

#./stop-all.sh

#./start-all.sh

访问spark服务器的8080端口,查看节点是否添加成功。

上一篇:Java并发编程:Semaphore、CountDownLatch、CyclicBarrier


下一篇:android 设置状态栏与标题背景颜色一致