为了既能远程连接spark 查看ui 又能本地练习 安装简单
去官网 http://spark.apache.org/downloads.html 选择对应版本下载 tar包
解压 tar -zxvf spark-2.2.0-bin-hadoop2.6.tgz
sbin/start-master.sh 启动master
sbin/start-slave.sh 启动slave
正常启动了 在Web-Ui中查看 http://ip地址:8080/
启动spark-shell spark-shell –master spark://ip地址:7077
测试 spark-submit –class org.apache.spark.examples.SparkPi –master spark://ip地址:7077 examples/jars/spark-examples_2.11-2.2.0.jar
但是这样的话 本地程序
val conf = new SparkConf().setAppName("WordCount").setMaster("spark://IP地址:7077") 会报错 : Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 下载hadoop 加上这句
System.setProperty("hadoop.home.dir",
"F:\\hadoop2.6(x64)V0.2"); 依然报连接超时
org.apache.spark.SparkException: Exception thrown in awaitResult
检查防火墙都没有问题 7077端口也启动了 修改配置文件
vi conf/spark-env.sh
加上这几句
export SPARK_MASTER_HOST=master01
export SPARK_MASTER_PORT=7077
export JAVA_HOME=/opt/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
jdk要配 不然会报错
source spark-env.sh
host写master01 然后在系统hosts文件里 配置内网地址 master01
重启spark
连接后正常