mesos 资源分配

2023-01-06 10:59:51

Mesos 资源分配

众所周知, Mesos在运行时使用wDRF（ Dominant Resource Fairness）算法进行一级资源分配, 通过应用程序（Framework）运行时使用资源进行二级资源调度。以此来达到资源分配的公平性和灵活性。但在资源有限的情况下，对于尚未部署的程序如何分配资源？为此Mesos提供了两种方式，基于指定节点(Agent)的资源预留（reserve）和基于整个集群的资源配额（quota）。这种资源管理方式间接的划分了整个集群的资源。

附：其中 --weights 参数已不被推荐使用。

1. 资源预留 (reserve & unreserve)

resource reserve 针对具体的节点（agent）进行，在启动或运行期间通过master对某个agent进行操作。

Mesos在 0.14.0版本中加入了静态资源预留功能，在 0.23.0 版本中加入了动态资源预留功能。所谓静态即在节点加入集群时进行配置且运行后不能修改, 动态即运行时配置并修改（资源预留、取消资源预留）。这两种方式都基于角色（Role）来完成。同时为了保证角色的使用，提供了ACL和认证/授权。

1.1 静态资源预留

静态资源预留可以分为两种方式（层次、颗粒度）。粗颗粒度是节点层面，细颗粒度是CPU、Mem等。粗粒度的本质还是细粒度，只是由内部实现绑定各类资源的全部份额。

其配置方式通过在agent启动时 --resources指定，如: --resources="cpus:4;mem:2048;cpus(ads):8;mem(ads):4096"

即为ads角色保留8 cpus和4g mem。

1.2 动态资源预留

动态资源预留可以由Framework或User来执行。Framework可以在收到资源的时候调用reserve来保留。User或其他管理工具，可以调用http接口来完成。如

curl -i \

      -u <operator_principal>:<password> \

      -d slaveId=<slave_id> \

      -d resources='[

        {

          "name": "cpus",

          "type": "SCALAR",

          "scalar": { "value": 8 },

          "role": "ads",

          "reservation": {

            "principal": <operator_principal>

          }

        },

        {

          "name": "mem",

          "type": "SCALAR",

          "scalar": { "value": 4096 },

          "role": "ads",

          "reservation": {

            "principal": <operator_principal>

          }

        }

      ]' \

      -X POST http://<ip>:<port>/master/reserve

1.3 节点层面

每个节点都有一个默认角色, 通过启动时的 --default_role 参数控制, 默认值为*, 这是一个特殊标识，标识该资源未被保留，任何未指定role的Framework可以使用该资源，同时这些资源也可以通过动态保留接口来分配给其他指定的role。在节点启动时也可以指定其他默认角色，如slave_public，角色名需要符合规范（不能包含空白字符, 符合Linux目录命名规则，参见代码common/roles.cpp 或文档invalid roles。

输入的角色名应该在白名单中，即master启动时指定的--roles参数中。在0.27版本以后，该参数没有指定值时，可以输入任何角色名。同时配合ACL，保障角色被授权使用。

1.4 Role 层面

对于空的whitelist，即未指定白名单时，role可以为任何符合命名规则的值。

1.5 Framework层面

目前Framework和Role是多对一。未来可以支持多对多的关系，即一个Framework可以使用多个role，一个role也可以被多个Framework使用。参见 issue, 消息代码 mesos.proto

Framework对role的设置则通过acl来进行控制。

2. 资源配额（quota）

同资源预留，配额也基于Role进行。配额为role分配在整个集群中的资源，而不具体到指定的节点上。配额包含已经通过reserve在某些节点上进行预留的资源。配额不能被Framework的API调用操作，只能通过http接口操作（配合ACL来授权调用）。

配额目前支持添加、查询、删除。具体参见文档 quota

由于配额是在运行期间设置，对于已经被Framework给占用的资源，是无法剥夺的，除非Framework运行结束。因此为配额预留的资源不会分给使用其他role运行的Framework。

配额不能针对端口这种资源。目前，Mesos只提供配额的绝对值的最小设置方式（也就是说不能提供相对比例的最大分配）。在资源充足的情况下，可以超过配额限制的资源。

3 ACL & Authorization

ACL为以上操作提供鉴权，ACL提供了两种实现方式，local模式和custom模式。使用哪种模式由参数--authorizers指定，默认值为local。local模式通过在master启动时指定--acls来进行配置。对于custom模式，则需要编写mesos的module，在启动时加载。

local规则和custom authorizer，参见文档acl。

4 authentication

Mesos默认使用sasl框架来进行用户认证，也可以通过加装自定义的认证模块来修改认证方式。

Authentication默认不启用。参见文档authentication。

码农公寓