1.复制一个examples中SparkPi.scala到IntelliJ IDEA编辑器,运行,出现错误:
“org.apache.spark.SparkException: A master URL must be set in your configuration”
部署程序时需要指定master的位置,参考链接知乎解答
Spark在那里指定master URL的问题:
1)通过spark shell,执行后进入交互界面
MASTER=spark://IP:PORT ./bin/spark-shell
2)程序内指定(可以通过参数传入)
val conf = new SparkConf().setMaster(...)
val sc = new SparkContext(conf)
传递给spark的master url可以有如下几种:
local 本地单线程
local[K] 本地多线程(指定K个内核)
local[*] 本地多线程(指定所有可用内核)
spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。
mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 连接到 YARN 集群 。需要配置 HADOOP_CONF_DIR。
spark1.0起的版本在提交程序到集群有很大的不同,需要注意。
最终解决代码:
var conf=new SparkConf().setAppName("Spark Pi").setMaster("local");
2. 通过如上修改,运行程序,继续报错
Exception in thread "main" java.lang.NoSuchMethodError:scala.collection.immutable.HashSet$.empty() Lscala/collection/immutable/HashSet;
原因是spark版本和Scala不一致。
引用官网文章上一段:“Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).”
我的是spark1.6.1,Scala2.11.8,所以不行。。很不巧的是我换了Spark-2.10.6和Spark-2.10.4还是出现原来的错误,后来才在博客中看到一句话,说“启动spark-shell 启动的的时候,info 信息表示用的scala-2.10.4 版本”,所以我启动spark-shell时一行一行看弹出提示,发现就在“SPARK”图标下,有一句“Using Scala version 2.10.5(Java HotSpot(TM) 64-bit Server VM, Java 1.8.0_77)”,所以我换了一下。
另外,相当重要的是在IDE环境中加载的Scala语言包也要更新啊~~我就是忘了重新加载Scala SDK导致的。
我只会用笨方法—一切重新开始。删除所有IDEA相关文件,重新解压,这时候用命令“idea”启动发现原来的Plugins还在,然后configure->plugins->选择Scala->uninstall->restart->重新进入->install Scala plugin->创建工程->创建工程->选择scala-2.10.5版本。