【Spark机器学习速成宝典】基础篇01Windows下spark开发环境搭建+sbt+idea(Scala版)

注意:

spark用2.1.1

scala用2.11.11

材料准备

(注:spark2.1.0环境于scala2.11环境开发,所以必须版本对应 
scala不是必须安装的,如果你是打算使用scala进行spark开发,则需要安装

环境搭建步骤

将spark-2.1.1-bin-hadoop2.x版本至c盘下即可

【Spark机器学习速成宝典】基础篇01Windows下spark开发环境搭建+sbt+idea(Scala版)

将spark中的jar包全部提取出来另外放到一地方用于进行开发

【Spark机器学习速成宝典】基础篇01Windows下spark开发环境搭建+sbt+idea(Scala版)

新建IDEA项目,将所有jar包导入到IDEA工程当中

【Spark机器学习速成宝典】基础篇01Windows下spark开发环境搭建+sbt+idea(Scala版)

【Spark机器学习速成宝典】基础篇01Windows下spark开发环境搭建+sbt+idea(Scala版)

书写相应代码运行即可成功

以Scala书写的WordCount为例

import org.apache.spark._

/**
* Created by Joe on 2017/1/16.
*/
object WordCount {
def main(args : Array[String]): Unit = {
val inputPath = "wc.txt"
val conf = new SparkConf().setMaster("local").setAppName("WordCount")
val sc = new SparkContext(conf) val rowRdd = sc.textFile(inputPath)
println(rowRdd.take().toString)
val resultRdd = rowRdd.flatMap(line => line.split("\\s+"))
.map(word => (word, )).reduceByKey(_ + _)
println(resultRdd.take().toString)
for (data <- resultRdd) {
println(data)
}
sc.stop()
}
}

【Spark机器学习速成宝典】基础篇01Windows下spark开发环境搭建+sbt+idea(Scala版)

 
上一篇:JavaScript加密解密压缩工具


下一篇:Javascript学习笔记:3种检测变量类型的方法