Schedulerx2.0支持多语言版本的分片模型

2021-11-26 07:02:57

1. 简介

任务调度系统可以对多种任务进行调度（定时、编排、重刷历史数据等），有些任务调度系统还提供了分布式任务，帮助用户解决大数据处理的难题。分布式任务主要分为静态分片和动态分片。

1.1 静态分片

主要场景是处理固定的分片数，比如分库分表固定1024张表，需要若干台机器分布式去处理。
主流的框架，开源有elastic-job。

1.2 动态分片

主要场景是分布式处理未知数据量的数据，比如一张大表不停在变更，想要分布式跑批。
主流的框架是schedulerx2.0提供的MapReduce模型，暂时还没有对外开源。

2. 多语言版本的分片模型

Schedulerx2.0当前支持多语言版本的分片模型，还具有高可用、流控、失败重试等特性，需要客户端版本1.1.0以上。

2.1 Java版本

控制台创建任务的时候，执行方式选择"分片运行"，分片参数格式如下
后端代码继承JavaProcessor即可，通过JobContext.getShardingId()可以拿到分片号，通过JobContext.getShardingParameter()可以拿到分片参数，比如

@Component
public class HelloWorldProcessor extends JavaProcessor {

    @Override
    public ProcessResult process(JobContext context) throws Exception {
        System.out.println("分片id=" + context.getShardingId() + ", 分片参数=" + context.getShardingParameter());
        return new ProcessResult(true);
    }

}