新闻实时分析系统 基于IDEA环境下的Spark2.X程序开发

1.Windows开发环境配置与安装

下载IDEA并安装,可以百度一下免费文档。

2.IDEA Maven工程创建与配置

1)配置maven

2)新建Project项目

3)选择maven骨架

4)创建项目名称

5)选择maven地址

6)生成maven项目

7)选择scala版本

8)新建Java 和 scala目录

9)编辑pom.xml文件

a)地址一

b)地址二

3.开发Spark Application程序并进行本地测试

1)idea编写WordCount程序

package com.spark.test

import org.apache.spark.{SparkConf, SparkContext}

object MyScalaWordCout {

def main(args: Array[String]): Unit = {

//参数检查

if (args.length < 2) {

System.err.println("Usage: MyWordCout   ")

System.exit(1)

}

//获取参数

val input=args(0)

val output=args(1)

//创建scala版本的SparkContext

val conf=new SparkConf().setAppName("myWordCount")

val sc=new SparkContext(conf)

//读取数据

val lines=sc.textFile(input)

//进行相关计算

val resultRdd=lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

//保存结果

resultRdd.saveAsTextFile(output)

sc.stop()

}

}

4.Spark Application程序打包

1)项目打jar包,参考之前讲过的项目打包方式

2)spark-submit方式提交作业

bin/spark-submit --master local[2] /opt/jars/sparkStu.jar hdfs://bigdata-pro01.kfk.com:9000/user/data/stu.txt

上一篇:图解Android - Android GUI 系统 (1) - 概论


下一篇:gnuradio 使用eclipse 编辑器记录