我不会用 Triton 系列:Agent 的使用

简介

Agent 扩展了 Triton 在加载卸载 “模型” 时候的功能。比如可以在加载模型的时候,进行 md5 校验。

agent 的使用非常简单,就在模型的配置文件后面加上以下的配置就好了。对的,就是这么简单。这是英伟达的例子,使用了 checksum agent,在模型加载的时候会校验模型的 md5。md5 可以使用 linux 中的 md5sum 工具,使用的时候,还需要注意指定 -b 选项,表示以二进制的方式读取文件。

model_repository_agents
{
  agents [
    {
      name: "checksum",
      parameters
      {
        key: "MD5:1/model.py",
        value: "4e2c177998feb5539d8ec8d820f990bd"
      }
    }
  ]
}

学习笔记

为了稍微深入了解一下这个功能,仔细读一遍文档吧。

protobuf 中的定义

先来看看 protobuf 中的定义吧。删掉了注释之后,会发现就这么简单。Agent 是一个可以重复 (repeated) 的属性,每个 Agent 有两个属性,一个表示名字的字符串,一个表示输入参数的 map。用的时候,就按照这个定义手写 protobuf 就好了(

上一篇:selenium针对iframe网站的操作


下一篇:Android系统下监听SD卡的插入并读取内容的代码