Spark standlone安装与配置

spark的安装简单,去官网下载与集群hadoop版本相一致的文件即可。

解压后,主要需要修改spark-evn.sh文件。

以spark standlone为例,配置dn1,nn2为master,使用zookeeper的方式进行HA。

配置如下:

export JAVA_HOME=/app/jdk17079
export SCALA_HOME=/app/scala2105
export SPARK_MASTER_IP=nn2
export SPARK_WORKER_MEMORY=512m
export HADOOP_CONF_DIR=/app/cdh23502/etc/hadoop/
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1 SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=nn1:2181,nn2:2181,dn1:2181 $SPARK_DAEMON_JAVA_OPTS"

在dn1节点上,需要注意,把SPARK_MASTER_IP替换为dn1即可。否则在dn1上启动master会失败.

启动服务(dn1):

/app/spark151/sbin/start-all.sh

然后在nn2上启动:/app/spark151/sbin/start-master.sh

即可。

webui:默认的地址是:dn1:8080

提交任务:

spark-submit --master spark://dn1:7077,nn2:7077 \
--executor-memory 256M \
--class org.apache.spark.examples.SparkPi \
/app/spark151/lib/spark-examples*.jar 10
上一篇:第一百四十六节,JavaScript,百度分享保持居中--下拉菜单


下一篇:pytorch如何冻结某层参数的实现