spark 集群简单配置

一、配置环境变量:

export SPARK_HOME=/usr/hdp/2.2.8.0-3150/spark-1.6.1-bin-hadoop2.6

PATH=$PATH:${SPARK_HOME}/bin

export PATH


二、配置环境:

vi ./conf/spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_73

export SPARK_MASTER_IP=192.168.1.101

export SPARK_WORKER_CORES=2    #当前节点的cpu使用个数

export SPARK_WORKER_MEMORY=1g   #当前节点的内存

export HADOOP_CONF_DIR=/usr/hdp/2.2.8.0-3150/hadoop/etc/hadoop


三、配置节点地址:


vi ./conf/slaves


添加:


192.168.1.101

192.168.1.102

192.168.1.103


四、启动查看:

sbin/start-all.sh


集群页面:192.168.1.103:8080

各个节点的页面地址:192.168.1.101:8081,192.168.1.102:8081,192.168.1.103:8081











本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1765273,如需转载请自行联系原作者
上一篇:LeetCode 700. 二叉搜索树中的搜索


下一篇:C语言项目2:图书管理系统