简介

Agent 扩展了 Triton 在加载卸载 “模型” 时候的功能。比如可以在加载模型的时候，进行 md5 校验。

agent 的使用非常简单，就在模型的配置文件后面加上以下的配置就好了。对的，就是这么简单。这是英伟达的例子，使用了 checksum agent，在模型加载的时候会校验模型的 md5。md5 可以使用 linux 中的 md5sum 工具，使用的时候，还需要注意指定 -b 选项，表示以二进制的方式读取文件。

model_repository_agents
{
  agents [
    {
      name: "checksum",
      parameters
      {
        key: "MD5:1/model.py",
        value: "4e2c177998feb5539d8ec8d820f990bd"
      }
    }
  ]
}

学习笔记

为了稍微深入了解一下这个功能，仔细读一遍文档吧。

protobuf 中的定义

先来看看 protobuf 中的定义吧。删掉了注释之后，会发现就这么简单。Agent 是一个可以重复 (repeated) 的属性，每个 Agent 有两个属性，一个表示名字的字符串，一个表示输入参数的 map。用的时候，就按照这个定义手写 protobuf 就好了(