再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

进入我这篇博客的博友们,相信你们具备有一定的spark学习基础和实践了。

  先给大家来梳理下。spark的运行模式和常用的standalone、yarn部署。这里不多赘述,自行点击去扩展。

1、Spark运行模式概述

2、Spark standalone模式的安装(spark-1.6.1-bin-hadoop2.6.tgz)(master、slave1和slave2)

3、Spark standalone简介与运行wordcount(master、slave1和slave2)

4、Spark on YARN模式的安装(spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz)(master、slave1和slave2)(博主推荐)

5、Spark on YARN简介与运行wordcount(master、slave1和slave2)(博主推荐)

正文开始

  

  想说的是,对于spark的配置文件,即spark-env.sh。压根可以不做任何修改和配置。(当然我指的是常用和固定的那些参数)

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)
#!/bin/sh

home=$(cd `dirname $0`; cd ..; pwd)
bin_home=$home/bin
conf_home=$home/conf
logs_home=$home/logs
data_home=$home/data
lib_home=$home/lib #服务器配置文件
configFile=${conf_home}/my1.properties spark_submit=/home/hadoop/spark/bin/spark-submit
再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)
#!/bin/sh

deleteCheckpoint=$1

home=$(cd `dirname $0`; cd ..; pwd)

. ${home}/bin/common.sh

hdfs dfs -rm -r /spark-streaming/behavior/stop

if [ "$deleteCheckpoint" == "delck" ]; then
hdfs dfs -rm -r /spark-streaming/checkpoint/behavior
fi ${spark_submit} \
--master yarn \
--deploy-mode cluster \
--name behavior \
--driver-memory 512M \
--executor-memory 512M \
--class com.djt.spark.streaming.UserBehaviorStreaming \
${lib_home}/behavior-stream-jar-with-dependencies.jar ${configFile} \
>> ${logs_home}/behavior.log 2>&1 & echo $! > ${logs_home}/behavior_stream.pid
再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)
#!/bin/sh

home=$(cd `dirname $0`; cd ..; pwd)

. ${home}/bin/common.sh

hdfs dfs -mkdir -p /spark-streaming/behavior/stop
再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

  然后,直接将这个本地写好的目录,上传到集群

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

  后续很简单,不多说。

藏经阁技术资料分享群二维码

再谈spark部署搭建和企业级项目接轨的入门经验(博主推荐)

上一篇:Eclipse安装插件支持jQuery智能提示


下一篇:svn学习笔记(1)入门学习----安装及创建运行仓库