spark streaming 初始_1 | 学习笔记

开发者学堂课程【大数据实时计算框架 Spark 快速入门spark streaming初始_1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/100/detail/1719


spark streaming 初始_1


内容简介:

一、具体内容


一、具体内容

①spark streaming makes it easy to build scalable fault _tolerant streaming applications ,是指 spark streaming 可以让那个可扩展的程序很容易的就去弄流式的程序;

②Ease of Use,build application through high_level operators,

Fault Tolerance stateful exactly_once semantics out of the box 是仅计算一次,计算的非常精准,spark streamibg recovers both lost work and operator sate 会恢复失去的工作,保持状态,这种工作不需要人工去做,能够直接保存;

③Spark integration   combine streaming with batch and interactive queries都能整合在一起,程序在里面都可以复用,很多时候,在技术选行的时候,如果项目要扩展,很多时候可以直接用 spark ,整合得非常方便, twitter 是国外的微博;

④ spark 里面有 spark streaming 和 sparkSQL , streaming 是留处理,我们希望数据进入到系统里面来,要分析,出结果,有些时候是一条记录进来然后立刻进行处理,几乎没有延迟的计算叫做流式计算,批处理需要攒一批数据, storm 可以直接处理流处理, storm 可以做到毫秒级,一般是金融机构里面是需要精确,很多公司在转 spark steaming。

上一篇:Hilbert-Huang Transform: matlab 希尔伯特-黄变换: matlab实现


下一篇:201521123015 《Java程序设计》第13周学习总结