【慕课网实战】二、以慕课网日志分析为例 进入大数据 Spark SQL 的世界

MapReduce的局限性:
1)代码繁琐;
2)只能够支持map和reduce方法;
3)执行效率低下;
4)不适合迭代多次、交互式、流式的处理;
 
框架多样化:
1)批处理(离线):MapReduce、Hive、Pig
2)流式处理(实时): Storm、JStorm
3)交互式计算:Impala
 
学习、运维成本无形中都提高了很多
 
===> Spark
 
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
BDAS:Berkeley Data Analytics Stack 
上一篇:【慕课网实战】四、以慕课网日志分析为例 进入大数据 Spark SQL 的世界


下一篇:Flex开发一周年感悟