MaxCompute资源管理—— 包年包月资源分时

背景概述

在数据开发过程中,普遍有这样的场景:不同项目(开发、生产)对资源使用的时段不同,如数仓团队有离线生产project在夜间是计算高峰期,开发project和业务分析团队的project计算高峰在白天。即不同project在不同的时段对CU的消耗需求不同,日常峰谷时间段比较固定。

MaxCompute管家之前提供的自定义配额组,只能对配额进行二级切分,但无法进行时段切分,2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

本文将介绍如何进行分时配额,协助您更快上手使用分时配额功能,提高资源使用率。

注意事项

基本原则:

  • 只有包年包月的预留计算资源(预留CU)支持分时配置,非预留计算资源不支持分时。
  • 开启分时配置,是对当前region下所有配额组都开启,但默认quota组不支持编辑。
  • 配额组开启分时后,默认是一个时段(00:00:00—23:59:59),最多支持3个时间段,所有quota组分时都支持一个分时规则,即所有quota组都有一样的时间段。
  • 只支持整点分时,如0:00点—07:00,最后一个时段截止时刻必须为23:59:59。

开启分时后配额组设置注意事项:

  • 开启分时后,如果某个配额组不需要分时,那么每个时间段设置的最小/最大CU量都一样既可。
  • 同一个时间段,所有配额组预留CU最小值总和等于购买量。

关闭分时:

  • 如果发现当前的分时时段不合理或者根据业务需求需要调整,则再点击 设置分时 ,进入设置分时页面,点击“关闭分时”,此时分时功能关闭,各个配额组的预留CU量设置为当前时间点对应关闭前的时间段设置的CU量。

修改分时:

  • 目前不支持直接在原来的分时上修改分时时段,需要先“关闭分时”再“开启分时”进行新的分时配置,然后对应修改各个自定义配额则中预留CU每个时段的CU量。

使用案例

需求背景:北京region购买了包年包月预留计算资源100CU,数仓团队有生产、开发项目,业务团队有自助分析项目。

分析:生产项目计算高峰时间段0点-8点,CU使用量较高,其余时间会有小部分小时任务且时间上要求不是很高;开发项目计算高峰期在9点到23点,计算频次较高;自助分析项目计算高峰期子9点到23点,计算比较分散,但也有些固定周期调度任务需要保障。时间段分布比较固定,因此可以将配额切分2个时段‘00:00:00—08:00:00’、‘08:00:00—23:59:59’。生产、开发、自助分析项目对计算资源的需求量也各有差异,因此可以自定义2个配额组+默认配额组共3个配额组进行分配。

配额组设计:

时段1:代表时段‘00:00:00—08:00:00’
时段2:代表时段‘08:00:00—23:59:59’

配额组名称 时段1预留CU Min值 时段1预留CU Max值 时段2预留CU Min值 时段2预留CU Max值 备注
默认配额 80 100 20 100 做为生产配额
开发配额 10 10 30 50 时间段1预留一些CU防止需要临时开发测试,若空闲,默认配额请求超过80也可使用
自助分析配额 10 10 50 100 时间段1预留一些CU防止临时取数,若空闲,默认配额请求超过80也可使用

操作步骤:

  1. 进入MaxCompute管家页面。登录DataWorks控制台;在左侧导航栏,单击计算引擎列表 > MaxCompute;在计算引擎列表—MaxCompute页面上方选择您所在的区域;单击包年包月区域的CU管理,进入MaxCompute管家页面。
  2. 管家页面左侧导航点击配额,进入配额页面,点击“设置分时”,弹框中进行分时设置,输入好分时后点击“开启分时”。
    MaxCompute资源管理—— 包年包月资源分时
  3. 新建或者修改原有配额组,对每个配额组预留CU不同时段的Min和Max值进行设置,如“自助分析配额”组的设置。
    MaxCompute资源管理—— 包年包月资源分时

    设置完成后,列表上显示的各配额组预留CU的Min和Max值对应当前时段的值。
    
  4. 配额组设置好后,在项目列表中对应项目的“修改”操作,分别给生产、开发、自助分析项目关联对应的配额组。

总结

MaxCompute 管家支持的分时配额,可以友好的支持时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。您可以根据自己业务需求进行合理的设置,更多MaxCompute 管家使用请参考文档

上一篇:【趣话编程】诸葛亮 VS 司马懿,排序算法大战谁能笑到最后?


下一篇:五分钟小知识:布隆过滤器原理和应用分析 | 算法必看系列四十二