来源：http://spark.apache.org/docs/2.0.0/configuration.html
spark中的内存使用主要分为两类：执行和存储。执行内存指的是用于shuffles、join、sorts 和aggregations中的计算的内存，而存储内存指的是用于在集群中cache和广播变量数据的内存。
在Spark中，执行和存储共享一个统一的区域（M）。当不使用执行内存时，存储可以获取所有可用内存，反之亦然。执行可以在必要时清理存储内存，但只能在总存储内存使用量低于某个阈值（R）之前执行。换句话说，R描述了M中的一个子区域，其中缓存的块永远不会被移出。由于实现的复杂性，存储可能无法收回执行。
这种设计确保了几种理想的特性。首先，不使用缓存的应用程序可以使用整个空间来执行，从而避免不必要的磁盘溢写。第二，确实使用缓存的应用程序可以保留一个最小的存储空间（R），使其数据块不会被逐出。最后，这种方法为各种工作负载提供了合理的开箱即用的性能，而不需要用户了解内存如何在内部划分。
| 名称 | 默认值 |
说明 |
| spark.memory.fraction | 0.6 |
实际大小：（heap space - 300MB）* 0.6，用于存储和执行。（剩下的0.4用于Task计算） 这个值越小，发生溢写和缓存清理的频率就越高。 此配置的目的是为内部元数据、用户数据结构和不精确的大小估计预留内存，以防出现稀疏、异常大的记录。 建议保留默认配置。 |
| spark.memory.storageFraction | 0.5 |
不受缓存清理影响存储内存。 是spark.memory.fraction的一部分。 这个值越大，工作内存就越小，越容易发生溢写磁盘。 建议保留默认配置 |
| spark.memory.offHeap.enabled | false |
设为true，将使用堆外内存，同时spark.memory.offHeap.size必须要设置值 |
| spark.memory.offHeap.size | 0 |
可用于堆外分配的绝对内存量。 此设置对堆内存使用没有影响，因此，如果executor的总内存消耗必须在某个固定的限制内，那么一定要相应地减少JVM堆大小。 |
| spark.memory.useLegacyMode | false |
是否启用Spark 1.5及之前使用的内存管理模式。 静态内存管理模式将堆空间严格划分为固定大小的区域，如果不调整应用程序，可能会导致溢出。 |
| spark.shuffle.memoryFraction | 0.2 |
spark.memory.useLegacyMode为true时才生效。用于shuffle的聚合。 |
| spark.storage.memoryFraction | 0.6 |
spark.memory.useLegacyMode为true时才生效。用于内存缓存。不应大于JVM中“老年代”对象。 |
| spark.storage.unrollFraction | 0.2 |
spark.memory.useLegacyMode为true时才生效。用于在内存中展开块。 |