Spark Streaming揭秘 Day16
数据清理机制
今天主要来讲下Spark的数据清理机制，我们都知道，Spark是运行在jvm上的，虽然jvm本身就有对象的自动回收工作，但是，如果自己不进行管理的，由于运行过程中大量产生对象，内存很快就会耗尽。我们可以认为数据清理就是SparkStreaming自己的"GC"。
从DStream开始
RDD是在DStream中产生的，RDD的操作也是在DStream中进行的，所以DStream会负责RDD数据的生命周期。
在DStream中，数据保存一般会有三个部分
首先，前面也反复提到，在DStream中，数据会按照Batch Duration保存在generatedRDDs，也会按照Batch Duration来进行删除
其次，如果执行了cache操作，还会产生persist的数据
最后，在Driver上也会有元数据的保存，释放RDD时，也要考虑。
JobGenerator
从上面的描述，我们可以知道数据是按照Batch Duration产生，所以也会按照Batch Duration来进行清理，那么研究数据清理机制，就可以从定期器着手。
在定时器的回调方法中，我们可以很明显的看到数据清理的核心方法ClearMetadata
这个方法，最终会调用DStream上的clearMetadata方法。
我们可以看到，这个方法主要进行三方面清理：
1.将数据从generatedRDDs中移除。
2.先清理cache，再清理block，block清理是调用了spark core的功能。
3.对依赖的DStream也会进行清理。
需要注意的是，在这个方法中，允许自定义rememberDuration，这个参数可以设置为Duration的整数倍，可以支持跨Batch清理。
JobScheduler
最后一个问题，清理是被什么时候触发的？
首先，在JobHandler运行结束时，最后会触发JobCompleted事件。
其中，会调用onBatchCompletion操作。
最终，会执行上述提到的ClearMetadata方法。
至此，我们了解了数据清理的主要流程和逻辑。
欲知后事如何，且听下回分解
DT大数据每天晚上20：00YY频道现场授课频道68917580