阿里云文件存储CPFS升级版本发布

文件存储CPFS (Cloud Parallel File Storage),是阿里云完全托管、可扩展的并行文件存储系统。针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和高聚合IO吞吐、高IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探,气象分析,机器学习,大数据分析以及影视渲染等业务场景中。
文件存储CPFS本次升级版本针对性能和功能进行了全面优化:
百GB/s的吞吐能力

  • 文件存储采用条带化技术,单个文件跨节点和存储系统分布,提高并发访问性能。数据块的大小可自定义,64K, 128K,256K, 512K, 1M,2M,4M,8M,16M,基于块大小选择的可变子块大小(subblock size),改善许多小文或大文件工作负载的性能。
  • 智能预取机制,通过对文件访问模式的预测来进行预取,降低读写延迟
  • 本地只读缓存(LROC):扩展page pool内存,包括本地DAS/SSD支持读缓存,基于策略引擎压缩,压缩有意义的数据并扩展至缓存
  • 分布式的块级锁管理,包括文件和目录两个级别,允许最大程度的并发访问;分布式元数据服务器,避免元数据处理成为系统瓶颈;分布式闪存加速元数据,元数据包括目录, inodes, indirect blocks
  • 支持客户端数据缓存,不同节点可以根据需要设置不同的缓存大小
  • 支持RDMA协议,大幅降低的节点间软件路径延迟

灵活的弹性扩展能力

  • 一键式扩容,扩展整个存储系统容量后自动对数据进行均衡
  • 吞吐随着容量线性增长,最大可以扩展到数百GB/s
  • IOPS随着容量线性增长,最大可以扩展到数百万IOPS
  • 可支持数千规模集群的计算节点并发访问
  • 单文件系统可以支持PB级的容量和10亿级的文件数量

混合云架构

  • 支持CPFS公共云和CPFS混合云存储线上线下数据打通,线下CPFS混合云存储在不满足突发业务增量的时候,可以将业务burst上云。

详细信息请参考CPFS产品文档

上一篇:iOS开发之结合asp.net webservice实现文件上传下载


下一篇:网络协议——TCP/IP协议