1、RDD Cache缓存
RDD通过Cache或者Persist方法将前面的计算结果缓存,默认情况下会把数据以缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存,而是触发后面的action算子时,该RDD将会被缓存在计算节点的内存中,并供后面重用。
缓存有可能丢失,或者存储于内存的数据由于内存不足而被删除,RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列转换,丢失的数据会被重算,由于RDD的各个Partition是相对独立的,因此只需要计算丢失的部分即可,并不需要重算全部Partition。
Spark会自动对一些Shuffle操作的中间数据做持久化操作(比如:reduceByKey)。这样做的目的是为了当一个节点Shuffle失败了避免重新计算整个输入。但是,在实际使用的时候,如果想重用数据,仍然建议调用persist或cache。
相关文章
- 12-1460、Spark Streaming:缓存与持久化机制、Checkpoint机制
- 12-14IndexedDB:不仅仅是客户端持久化缓存技术ThingJS
- 12-14088、Spark-RDD-持久化&缓存
- 12-14如何让App首屏启动更快 -- httpdns持久化缓存方案
- 12-14让App首屏启动更快 -- httpdns持久化缓存方案
- 12-14让App首屏启动更快 -- httpdns持久化缓存方案
- 12-14如何让App首屏启动更快 -- httpdns持久化缓存方案
- 12-14如何让App首屏启动更快 -- httpdns持久化缓存方案
- 12-14如何让App首屏启动更快 -- httpdns持久化缓存方案
- 12-14如何让App首屏启动更快 -- httpdns持久化缓存方案