7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

直播间直达链接:(回看链接)

时间

7月31日19:00

主讲人:

辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作

简介:

在数据上云的大背景下,存储计算分离逐渐成为了大数据处理的一大趋势,计算引擎需要通过网络读写远端的数据,很多情况下 IO 成为了整个计算任务的瓶颈,因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法,并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

上一篇:7月24日晚Spark社区直播:【Apache Spark 基于 Apache Arrow 的列式存储优化】


下一篇:使用EMR-Kafka Connect进行数据迁移