spark
Spark 开发语言及运行模式介绍
Scala安装
下载 Scala
配置到系统环境变量
配置成功
Spark环境搭建及 wordCount 案例实现
下载 spark
解压编译
spark-shell可执行程序
如何提交应用程序
开启2个即可
./spark-shell --master local[2]
读取输出文件内容
3行数据
按空格拆分
为每个单词赋1,表出现频率
a.map(word => (word,1))
统计
以上操作其实通过一条方法链即可完成!!!
sc.textFile("file:///Volumes/doc/data/hello.txt").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_).collect
GUI 管理界面
访问该地址即可
http://localhost:4040
Flink 概述
使用 Flink 完成 wordcount 统计
Flink 环境部署
下载
下载镜像到本地
解压
查看官网指南
启动本地的一个 flink
浏览器访问:http://localhost:8081/
使用方法
Beam 概述
将 wordCount的 Beam 程序以多种不同 Runner运行
Java 版本快速入门指南
maven 命令执行成功
运行命令
生成文件
查询结果