spark版本定制课程-第1课

spark版本定制课程-第1课

1、学习本课程可以自己动手改进spark,或者给spark增加功能。增加某些官方没有提供的功能,通过本课程希望早就一些*spark专家,根据整个社会的需要对spark进行扩展或者定制。
2、通过前三课就可以对spark streaming透彻理解
3、为什么要对spark streaming为切入点对spark进行定制?
  #spark最开始并没有streaming等其他框架,最开始就是很原始的spark core,要做自己源码定制版本,以streaming作为切入点,透过对此框架的研究,就可以掌握spark力量的源泉。
  #众多框架中选择spark streaming,首先spark SQL 涉及了太多的语法解析,不太适合研究。sparkR不够成熟,图计算spark GraphX在最近的几个版本发行中并没有什么改进,很有可能GraphX已经发展到尽头,所以也不太适合。另外图计算涉及了太多的数学相关算法。机器学习框架涉及了太多的数学知识,也不是太好的选择。
  #2015年是spark最火的一年,也是流式处理最火的一年。2016年上半年,调查发现spark是大数据领域薪水最高,同时发现streaming是spark最有吸引力的技能。
4、spark streaming魅力所在?
  #流式计算:流处理时代,一切数据如果不是流式处理,都是无效的数据。社会发展会证实这段话
  #流式处理是一个能立即给出反馈,能使用一切其他计算的结果,入机器学习,SQL等。流处理可以和其他框架无缝集成,功能超强。
  #精通spark streaming,薪水极高
  #spark所有程序框架中,spark streaming是最容易出现问题的框架。最多调优的框架,掌握了spark streaming,可以对spark的技能提升到一个新的层次。
  #streaming很像spark core之上的一个应用程序,其他框架则不然,例如机器学习,一般只是封装了向量,实现对应算法。而spark streaming需要不断的感知数据的变化,感知处理的过程。straming是非常复杂的应用的最佳参考。
  #任何技术都有控制点,类似武侠中的独孤九剑,之所以厉害,就是因为独孤九剑高明在于提前预知对手的下一个招式。spark streaming就类似于提前预知了数据的下一步流向。当然,spark core类似于易筋经,同时掌握两种的话就天下无敌了。
5、spark streaming类似spark 中的龙穴,掌握了龙穴就很容易掌握到龙脉

上一篇:【PHP】linux+php5.1.6+mysql5.0.2+apache2.0.55安装配置说明(转)


下一篇:discuz X3.1+Apache2.2+php-5.2.17+mysql5.6.14+Discuz_X3.1