【Todo】Spark运行架构

接上一篇:http://www.cnblogs.com/charlesblc/p/6108105.html

上一篇文章中主要参考的是 Link 这个系列下一篇讲的是Idea,没有细看,又看了再下一篇:

http://www.cnblogs.com/shishanyuan/p/4721326.html 也就是这篇文章的主要参考文章。

关于RDD和Stage的区别,可以参考这张图

【Todo】Spark运行架构

其中A, B, C这样的字母代表的就是RDD,虚线框就是Stage。之前提到,Stage划分,是看有没有shuffle这样操作的RDD而决定的。

常见的函数式编程语言有: Scala, Erlang, Haskell, Lisp, Golang(就是Go language), 哈哈哈。还有一个Clojure,是运行在JVM上面的Lisp方言。还有F#.

可以再接着看:http://www.cnblogs.com/shishanyuan/p/4721326.html

以及《Spark on Yarn》 http://www.cnblogs.com/shishanyuan/p/4721326.html

上一篇:JAVA作业—字符串操作


下一篇:Spark入门:Spark运行架构(Python版)