数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK

本期导读 :【OSS 访问加速】第五讲


主题:访问OSS这类对象存储最快的方式- JindoFS SDK


讲师:诚历,阿里巴巴计算平台事业部 EMR 技术专家


内容框架:

  • 大数据存储架构演进
  • JindoFS
  • JindoFS SDK
  • JindoFS 性能


直播回放链接:(5/6讲)

https://developer.aliyun.com/live/246811



一、大数据存储架构演进


数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK


数据湖存储方案(JindoFS SDK + 对象存储)

数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK


二、JindoFS


JindoFS 双模式

  • 既是一个分布式缓存系统,为计算加速和提供优化(缓存/cache 模式)
  • 也是一个分布式存储系统,支持高可靠高可用和安全(存储/block 模式)

数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK


JindoFS 客户端Native 架构

  • 全链路Native
  • 一套底层适配多个场景

数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK


三、JindoFS SDK


HCFS 标准

  • Filesystem Compatibility with Apache Hadoop


JindoFS SDK 访问OSS

数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK


详细使用介绍请参考后续的课程或


参考Github:https://github.com/aliyun/alibabacloud-jindofs



四、JindoFS SDK 优势


高性能

  • Native Object Engine 基础操作性能平均提升2.2倍
  • Jindo HCFS 对比开源版本性能大幅提升


易集成

  • 不引入额外Java 依赖,避免生产环境出现依赖冲突
  • 社区模式:文档完善+在线支持


高可靠

  • 大量客户Hadoop 生产环境部署使用
  • 对接引擎丰富


Jindo Native Object SDK vs OSS Java SDK

数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK

Jindo OSS Hadoop SDK vs Hadoop 现有OSS SDK

数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK


直接观看视频回放,获取实例讲解~https://developer.aliyun.com/live/246811



Github链接:

https://github.com/aliyun/alibabacloud-jindofs


不错过每次直播信息、探讨更多数据湖 JindoFS+OSS 相关技术问题,欢迎扫码加入钉钉交流群!

数据湖实操讲解【OSS 访问加速】第五讲:访问 OSS 这类对象存储最快的方式 - JindoFS SDK








上一篇:数据湖实操讲解【OSS 访问加速】第九讲:Presto 如何高效查询 OSS 数据


下一篇:StarLake:汇量科技云原生数据湖的探索和实践