作者:坚乃
在数据集成的过程中,在一些场景下,需要对集成速度进行限速操作,限速组件可限制读取速度,本文将介绍如何进行限速组件的配置。
1 组件说明
用于限制读取速度。比如读写数据库,流量过大可能会对数据库造成压力。
2 原理说明
数据读取过程,会计算增量数据量以及增量记录数,从而计算当前速度,根据用户配置速度判断是否需要限速,如果超过则sleep休眠超速时间。
3 使用说明
当限速组件链接下游输出组件时,会弹出限速组件设置的弹窗,根据实际情况选择基于数据量的限制或者基于数据条数的限制。
4 配置说明
{ "category":"map", "distribute":true, "name":"限速_1", "parameter":{ "byteSpeed":1048576 }, "stepType":"speedcontrol" }
- recordSpeed
- 描述:根据记录数限制,例如1000,每秒1000条
- 必选:是
- 说明:与byteSpeed二选一
- byteSpeed
- 描述:根据数据量限制,单位字节
- 必选:是
- 说明:与recordSpeed二选一
5 特别注意
该配置请根据业务实际情况配置,酌情使用