.NET6运行时动态更新限流阈值

昨天博客园撑不住流量又崩溃了,很巧正在编写这篇文章,于是产生一个假想:如果博客园用上我这个限流组件会怎么样呢?

  • 用户会收到几个429错误,并且多刷新几次就看到了内容,不会出现完全不可用。
  • 还可以降低查询接口的限流阈值,提升保存接口的限流阈值,这样写操作影响比较小,创作不易,丢了就麻烦了。
  • 然后后端服务不会崩溃,可以从容的增加服务器容量,然后再增大限流阈值。
  • 如果能识别出来非正常的用户请求,比如IP、Cookie、Url等请求携带的特定信息,那专门对它们限流的效果会很好。
  • 如果是数据库先撑不住,那这个限流就形同虚设了,说明限流阈值可能太大,需要做下压测,看看多少合适。

当然还可能有一种结果,我这个限流组件撑不住,这可能吗?如果基于内存的限流计数,每个节点每秒可支撑百万级别,如果基于Redis限流计数,这个就得看网络IO和Redis IO了,也不应该是组件的问题。


这里开始正文。

FireflySoft.RateLimit发布以来,帮助了不少需要在.net中进行限流处理的用户。前段时间有个开发者发了一个pull request,大意是Redis重启的时候Lua script会丢失,但是程序中还认为它存在,所以就会一直抛出异常,那位同学通过捕捉一个特定异常再reload Lua script的方式解决了这个问题。经过一段时间的测,试运行良好,因为这个问题还是相对常见的,所以就发布了一个版本 2.0.2,建议通过nuget尽快升级。

之前还有用户问怎么在程序执行过程中动态更改限流的阈值,比如原来限流100/s,现在服务性能更好了,要改成限流300/s。FireflySoft.RateLimit底层是支持的,通过IAlgorithm.UpdateRules或者UpdateRulesAsync即可实现。不过这只是开放了一个基础能力,实际还需要开发者自己去做更多的工作,比如定义限流阈值的数据格式、从其它配置系统中定时获取最新的限流阈值等。为了更方便开发者使用这个类库,同时恰逢.NET 6正式发布,所以这里用.NET6编写一个Demo程序,可以实现程序运行时动态更新限流阈值。

限流需求

这里假设需求是这样的:

  • 有一个天气服务,包含两个接口:GetToday(获取今天的天气)、GetTomorrow(获取明天的天气)。
  • 对每个访问者分别单独限流,具体限流阈值:GetToday 20次/秒、GetTomorrow 10次/秒,所有接口总计 25次/秒。
  • 每秒的访问次数并不均匀,有一定的突发请求。大部分情况下低于限流阈值,极少数时可能会超出限流阈值30%。

限流配置

FireflySoft.RateLimit中不同的限流算法有不同的限流规则定义,因为有突发情况,所以这里采用令牌桶算法。根据限流需求,这里定义了一个限流配置,它是应用到每一个用户的。

public class RateLimitConfiguration
{
    public string? Path { get; set; }
    public LimitPathType PathType { get; set; }
    public int TokenCapacity { get; set; }
    public int TokenSpeed { get; set; }
}

其中:

  • Path 用来定义接口路径,形如:/WeatherForecast/GetToday
  • PathType 指定应用到的接口类型:单个接口还是所有接口
  • TokenCapacity 是令牌桶容量
  • TokenSpeed 是令牌放入速度,这里固定单位是:个/秒,FireflySoft.RateLimit支持更小的时间单位。

同时为了方便限流规则的更新,它可以用来传输或者持久化到各种存储中。我把配置保存在MySQL中,更改限流阈值时更新数据库内容,应用限流阈值时从数据库中查询限流阈值。你也可以把这个配置放到任何其它地方,比如Consul、Redis,甚至配置文件中。

处理架构

为了描述的更清晰,我这里提供一张图:

.NET6运行时动态更新限流阈值

 

如上图所示,业务服务集成了限流功能,核心模块有两个:

  • 限流处理:这个直接集成FireflySoft.RateLimit.AspNetCore即可实现。
  • 监控配置变更:这是单独扩展的部分,主要逻辑是:读取数据库中的限流规则配置,如果有变化,则调用FireflySoft.RateLimit的限流规则更新接口。

其它模块:

  • 构造错误:这个也是FireflySoft.RateLimit.AspNetCore自带的功能,可以自定义错误码和错误消息内容。
  • 限流配置更改程序:这里没有实现。功能就是更改数据库中的限流规则配置,我们测试直接改数据库就行了。

编写代码

这里写了一个基于.Net6 的 WebAPI demo,项目结构如下图,你也可以直接点开查看:samples/aspnetcore6 (github.com)

.NET6运行时动态更新限流阈值

 

为了方便集成到自己的项目中,这里也写一下具体的使用步骤:

1、创建或打开你的项目

打开项目,你可以用Visual Studio,也可以用Visual Studio Code。

如果项目是.NET Framework,必须是4.6.1及以上。如果是.NET Core,必须是2.0及以上。这里是.NET6。

 

2、安装Nuget包

你可以使用Package Manager:

Install-Package FireflySoft.RateLimit.AspNetCore -Version 2.0.2-rc1

也可使用.NET CLI:

dotnet add package FireflySoft.RateLimit.AspNetCore --version 2.0.2-rc1

3、配置数据库表

你需要有一个MySQL,我建议是5.7及以上,下边是创建表和测试配置的SQL脚本:

CREATE TABLE `rate_limit_rule` (
  `Id` varchar(40) NOT NULL,
  `Path` varchar(100) NOT NULL,
  `PathType` int(11) NOT NULL,
  `TokenCapacity` int(11) NOT NULL,
  `TokenSpeed` int(11) NOT NULL,
  `AddTime` datetime NOT NULL,
  `UpdateTime` datetime NOT NULL,
  PRIMARY KEY (`Id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

INSERT INTO rate_limit_rule (Id,`Path`,PathType,TokenCapacity,TokenSpeed,AddTime,UpdateTime) VALUES
     ('1','/WeatherForecast/GetToday',1,26,20,'2021-11-16 00:00:00.0','2021-11-16 00:00:00.0'),
     ('2','/WeatherForecast/GetTomorrow',1,13,10,'2021-11-16 00:00:00.0','2021-11-16 00:00:00.0'),
     ('3','All',2,29,25,'2021-11-16 00:00:00.0','2021-11-16 00:00:00.0');

打开项目中的appsettings.json,添加一个DbConn的配置项:

{
  "DbConn":"Server=127.0.0.1;User ID=root;Password=l123456;port=3306;Database=ratelimit;CharSet=utf8mb4;",
  ...
}

这里边的数据库地址、数据库名称、帐号密码、字符集都需要改成自己的。

你也可以使用其它的数据库连接配置方式,比如放到Consul中,或者写到自己的配置中心,甚至写死在代码中。

4、编写”监控配置变更“

在上边的架构图中,提到一个”监控配置变更“的部分,这个是这篇文章的重头戏。FireflySoft.RateLimit自身没有提供这部分,需要根据需求自己实现。我这里提供一个实现方案,仅供参考。

这个部分我写了5个文件:

  • RateLimitRuleDAO.cs:实现从数据库查询出限流规则配置。
  • RateLimitConfigurationManager.cs:实现跟踪数据库中的限流配置变更,如果有变更则触发一个事件。
  • NonCapturingTimer.cs:用于定时查询数据库中的限流配置。不捕捉上下文的Timer,用习惯了而已。
  • AutoUpdateAlgorithmManager.cs:注册事件到RateLimitConfigurationManager中,事件发生时更新到限流算法中。
  • AutoUpdateAlgorithmService.cs:方便注册服务:向ASP.NET Core中注册上边这几个服务。

代码量比较大,这里就不贴了,可以到Github上查看详细。

5、注册服务和使用中间件

.NET6中這部分要写到Program.cs中,限于篇幅,这里省略了很多代码,只需要关注如下几行:

  • builder.Services.AddAutoUpdateRateLimitAlgorithm 这个在AutoUpdateAlgorithmService.cs中定义的。
  • builder.Services.AddRateLimit 这个是FireflySoft.RateLimit.AspNetCore定义的。
  • app.UseRateLimit() 这个是FireflySoft.RateLimit.AspNetCore定义的。
using aspnetcore6.RateLimit;
using FireflySoft.RateLimit.AspNetCore;

var builder = WebApplication.CreateBuilder(args);

...

// Add firefly soft rate limit service
builder.Services.AddAutoUpdateRateLimitAlgorithm();
builder.Services.AddRateLimit(serviceProvider =>
{
    var algorithmManager = serviceProvider.GetService<AutoUpdateAlgorithmManager>();
    if (algorithmManager != null)
    {
        return algorithmManager.GetAlgorithmInstance();
    }

    return null;
});

var app = builder.Build();

...

// Use firefly soft rate limit middleware
app.UseRateLimit();

app.MapControllers();

app.Run();

6、启动服务并测试

可以使用Postman来运行一个Runner,执行100次,看看实际效果。

.NET6运行时动态更新限流阈值

 

关于.NET6

虽然标题中提到了.NET6,不过到目前为止还没看到什么关于.NET6的特别内容,所以这里特别准备了一点关于.NET6的内容,否则就太标题党了。

如果你使用过.NET Core,其实.NET6用起来也没有太多变化,很多.net core、.net standard的库也都兼容,这里列举两点我感觉变化比较大的地方:

Namespace

现在namespace可以直接声明应用到整个文件,不需要再加大括号,被括号层级折磨的人轻松了。

using System.Collections.ObjectModel;

namespace aspnetcore6.RateLimit;

public class RateLimitConfiguration
{
    public string? Path { get; set; }
    public LimitPathType PathType { get; set; }
    public int TokenCapacity { get; set; }
    public int TokenSpeed { get; set; }
}

Top-level statements

Program.cs和Startup.cs的内容合并到Program.cs中了,并且不需要显式编写main方法,直接一行行的写就行了。这样确实又简便了一些。主要内容还是那两部分:构建Web应用(注册服务、使用中间件)、运行Web应用。

var builder = WebApplication.CreateBuilder(args);
builder.Services.AddControllers();
...

var app = builder.Build();
...
app.MapControllers();

app.Run();

不过一个应用中只能有一个这样的文件,你也不能再写其它main方法作为程序的入口点。

 

上一篇:JS,统计图表大全--四、仪表盘 Gauge


下一篇:多租户系统中如何实现分别限流