开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021 数仓必修课：MaxCompute Tunnel 技术原理及开发实战】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/55/detail/1062

MaxCompute Tunnel 技术原理及开发实战

​

简介：

1、MaxCompute Tunnel- 技术原理

2、MaxCompute Tunnel -丰富的生态

3、MaxCompute Tunnel -功能简介

4、MaxCompute Tunnel - 基础配置

5、MaxCompute Tunnel - 批量上传

6、MaxCompute Tunnel- 流式上传

7、MaxCompute Tunnel - 批量下载

8、MaxCompute Tunnel- 最佳实践

 

1、MaxCompute Tunnel- 技术原理

l 产品定位

MaxCompute API 层组件

数据通道服务

l 基础功能

MC 对外数据读写的唯一接口

完善的权限校验及格式检查

高性能存储层直接读写

2、MaxCompute Tunnel -丰富的生态

l SDK

Java SDK，链接

Python SDK，链接

l 工具

MC客户端，链接

MaxCompute Studio，链接

MMA2.0 迁移工具，链接

3、MaxCompute Tunnel -功能简介

l 批量数据通道，链接

批量上传

批量下载

l 流式数据通道，链接

流式上传

 

4、MaxCompute Tunnel - 基础配置

l Access lD

l Access Key

l Odps Endpoint，链接

l Tunnel Endpoint，链接

可选参数(自动路由)

l Default Project

 

5、MaxCompute Tunnel -批量上传（(示例)

l 功能点

有状态并发 (Block ID)

Commit 成功数据可见

支持 InsertInto 语义

支持 InsertOverwrite 语义

l 使用限制

UploadSession 内 20000 Block

Block ID 重复会导致数据覆盖

UploadSession 24小时过期

空闲连接 120 秒超时

 

6、MaxCompute Tunnel-流式上传（示例)

l 功能点

无状态并发

RecordPack Flush 成功数据可见

仅支持 InsertInto 语义

增量数据异步 zorder by 排序

l 使用限制

表/分区加锁(停止写入 15-60 分钟解锁)

DDL(drop/rename) 感知延迟(0～60秒)

7、MaxCompute Tunnel -批量下载（示例)

功能点

有状态并发 (range)

record 粒度切分

支持列裁剪

支持查询结果下载

使用限制

DownloadSession 24 小时过期

空闲连接 120 秒超时

Project 级别并发限流

性能受碎片文件影响

 

8、MaxCompute Tunnel-最佳实践

高并发场景

批量上传有并发限流及 commit 抢锁

批量下载有并发限流

高 QPS 场景-小块写

批量上传会产生大量碎片文件，SQL 性能下降

其它

Transaction 语义–流式上传不支持 lnsert Overwrite 语义–流式上传不支持