一、Cgroup概念
（1）Docker通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。
（2）Cgroup 是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制。
Cgroup 子系统：
blkio：设置限制每个块设备的输入输出控制；
cpu：使用调度程序为 cgroup 任务提供 cpu 的访问；
cpuacct：产生 cgroup 任务的 cpu 资源报告；
cpuset：如果是多核心的 cpu，这个子系统会为 cgroup 任务分配单独的 cpu 和内存；
devices：允许或拒绝 cgroup 任务对设备的访问；
freezer：暂停和恢复 cgroup 任务；
memory：设置每个 cgroup 的内存限制以及产生内存资源报告；
net_cls：标记每个网络包以供 cgroup 方便使用；
ns：命名空间子系统；
perf_event：增加了对每个 cgroup 的监测跟踪能力，可以监测属于某个特定的 cgroup 的所有线程及运行在特定 CPU 上的线程；
二、使用stress工具测试CPU和内存
1、使用Dockerfile来创建一个基于Centos的stress工具镜像
[root@server1 ~]# mkdir /opt/stress && cd /opt/stress
[root@server1 stress]# vim Dockerfile
FROM centos:7
MAINTAINER ycx
RUN yum -y install wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum -y install stress
[root@server1 stress]# docker build -t centos:stress .注意：默认情况下，每个 Docker 容器的CPU的份额都是1024，单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的 CPU 加权的效果才能体现出来。
例如，两个容器 A、B 的CPU份额分别是 1000 和 500 ，在 CPU 进行时间片分配的时候，容器A比容器B多一倍的机会获得 CPU 的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器 A 一定能获得CPU 时间片。比如容器 A 的进程一直是空闲的，那么容器 B 是可以获取比容器 A 更多的 CPU 时间片。极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。
例如：cpu时间片：1秒
容器A：50% 0.5秒
容器B：25% 0.25秒
容器C：25% 0.25秒
CPU给容器充电是在平均值层面：CPU给A容器充0.5秒，给B容器充0.25秒
3、可以通过cpu share可以设置容器使用cpu的优先级，比如启动了两个容器及运行查看cpu使用百分比。
[root@server1 stress]# docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10 //容器产生10个子函数进程
[root@server1 stress]# docker exec -it 8d55417aa6e3 bash
[root@8d55417aa6e3 /]# top[root@server1 ~]# docker run -dit --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
f18fd8e56a160354422c4b5c4b9d81dc589fbf47c1184e90831070897e5c2f02
[root@server1 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f18fd8e56a16 centos:stress "stress -c 10" 4 seconds ago Up 4 seconds cpu1024
9e3bd9cbfc36 centos:stress "stress -c 10" 2 minutes ago Up 2 minutes cpu512
8d55417aa6e3 centos:stress "/bin/bash" 18 minutes ago Exited (0) 3 minutes ago nervous_dijkstra
[root@server1 ~]# docker exec -it f18fd8e56a16 bash
[root@f18fd8e56a16 /]# top
两个容器的CPU使用率约为1：2
三、CPU 周期限制
Docker 提供了**–cpu-period**、–cpu-quota 两个参数控制容器可以分配到的 CPU 时钟周期。–cpu-period 是用来指定容器对 CPU 的使用要在多长时间内做一次重新分配。
–cpu-quota 是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。与 --cpu-shares 不同的是,这种配置是指定一个绝对值，容器对 CPU 资源的使用绝对不会超过配置的值。
cpu-period 和 cpu-quota 的单位为微秒（μs）。cpu-period 的最小值为 1000 微秒， 最大值为 1 秒（10^6 μs），默认值为 0.1 秒（100000 μs）。
cpu-quota 的值默认为 -1， 表示不做控制。cpu-period 和 cpu-quota 参数一般联合使用。
例如：容器进程需要每 1 秒使用单个 CPU 的 0.2 秒时间，可以将 cpu-period 设置 为 1000000（即 1 秒），cpu-quota 设置为 200000（0.2 秒）。当然，在多核情况下，如果允许容器进程完全占用两个 CPU，则可以将 cpu-period 设置为 100000（即 0.1 秒）， cpu-quota 设置为 200000（0.2 秒）。
[root@server1 ~]# docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
fc5b9ad0f07e71aaaf557237800c8b3bc28a2f206ec06017b3f740e1e66fad6f
[root@server1 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
fc5b9ad0f07e centos:stress "/bin/bash" 3 seconds ago Up 3 seconds wizardly_northcutt
f18fd8e56a16 centos:stress "stress -c 10" 7 minutes ago Up 7 minutes cpu1024
9e3bd9cbfc36 centos:stress "stress -c 10" 10 minutes ago Up 10 minutes cpu512
8d55417aa6e3 centos:stress "/bin/bash" 25 minutes ago Exited (0) 11 minutes ago nervous_dijkstra
[root@server1 ~]# docker exec -it fc5b9ad0f07e bash
[root@fc5b9ad0f07e /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us
100000
[root@fc5b9ad0f07e /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us
200000
四、CPU Core 控制
对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。
[root@server1 ~]# docker run -itd --name cpu1 --cpuset-cpus 1-3 centos:stress
[root@server1 ~]# docker run -tid --name cpu1 --cpuset-cpus 0-1 centos:stress
91870c9e2bd5f0169d365a507365a862bac4fca7eac97b761517a01846df3704
[root@server1 ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
91870c9e2bd5 centos:stress "/bin/bash" 4 seconds ago Up 3 seconds cpu1
[root@server1 ~]# docker exec -it 91870c9e2bd5 bash
[root@91870c9e2bd5 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1
执行以上命令表示创建的容器只能用cpu0和cpu1，2个cpu
五、CPU 配额控制参数的混合使用
通过cpuset-cpus参数指定容器A使用cpu内核0，容器B只是用CPU内核1.
在主机上只有这两个容器使用对应cpu内核的情况，它们各自占用全部的内核资源，cpu-shares没有明显效果。
cpuset-cpus、cpuset-mems参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。
在系统具有多个cpu内核的情况下，需要通过cpuset-cpus参数为容器设置cpu内核才能方便的进行测试。
1、创建容器cpu3，仅使用cpu1核心，加权值为512
[root@server1 ~]# docker run -tid --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
[root@server1 ~]# docker exec -it 3b4b34f633ab bash
[root@3b4b34f633ab /]# top
创建容器cpu4.仅使用cpu3核心，加权值为1024
[root@server1 ~]# [root@server1 ~]# docker run -tid --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
[root@server1 ~]# docker exec -it e2db5f521f91 bash
[root@e2db5f521f91 /]# top六、内存限额
与操作系统类似，容器可使用的内存包括两部分：物理内存和 Swap。
Docker 通过下面两组参数来控制容器内存的使用量。
-m 或 --memory：设置内存的使用限额，例如 100M、1024M。
–memory-swap：设置 内存+swap 的使用限额。
执行如下命令允许该容器最多使用 200M 的内存和 300M 的 swap。
默认情况下，容器可以使用主机上的所有空闲内存。
与cpu的cgroups配置类似，Docker会自动为容器在目录/sys/fs/cgroup/memory/docker/<容器的完整长id>中创建相应cgroup配置文件
注意：如果让工作线程分配的内存超过300M，分配的内存超过限额，stress线程报错，容器退出。
[root@server1 ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 293601280 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: dbug: [6] freed 293601280 bytes
stress: dbug: [6] allocating 293601280 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
##显示结果 因为分配量没有尝过300M所以会一直循环
[root@server1 ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: dbug: [1] using backoff sleep of 3000us
stress: dbug: [1] --> hogvm worker 1 [6] forked
stress: dbug: [6] allocating 325058560 bytes ...
stress: dbug: [6] touching bytes in strides of 4096 bytes ...
stress: FAIL: [1] (416) <-- worker 6 got signal 9
stress: WARN: [1] (418) now reaping child worker processes
stress: FAIL: [1] (422) kill error: No such process
stress: FAIL: [1] (452) failed run completed in 0s
##分配超过300M时，strees报错容器退出七、Block IO 的限制
默认情况下，所有容器能平等地读写磁盘，可以通过设置 --blkio-weight 参数来改变容器 block IO 的优先级。
–blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为500
在下面的例子中，容器 A 读写磁盘的带宽是容器 B 的两倍：
[root@server1 ~]# docker run -it --name containA --blkio-weight 600 centos:stress
[root@33ecedc974a9 /]# cat /sys/fs/cgroup/blkio/blkio.weight
600
[root@server1 stress]# docker run -it --name containB --blkio-weight 300 centos:stress
[root@d329b87db60d /]# cat /sys/fs/cgroup/blkio/blkio.weight
300
八、bps 和 iops 的限制
bps 是 byte per second，每秒读写的数据量。
iops 是 io per second，每秒 IO 的次数。
可通过以下参数控制容器的 bps 和 iops：
–device-read-bps，限制读某个设备的 bps。
–device-write-bps，限制写某个设备的 bps。
–device-read-iops，限制读某个设备的 iops。
–device-write-iops，限制写某个设备的 iops。
下面的示例是限制容器写 /dev/sda 的速率为 5 MB/s
[root@server1 stress]# docker run -it --device-write-bps /dev/sda:5MB centos:stress
[root@42df9be241b7 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct #可以按ctrl+c中断查看
1024+0 records in
1024+0 records out
1073741824 bytes (23 MB) copied, 4.1694 s, 5.1 MB/s
通过 dd 命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上 的，
在容器中写文件相当于对 host /dev/sda 进行写操作。另外，oflag=direct 指定用 direct IO 方式写文件，
这样 --device-write-bps 才能生效。
结果表明限速 5MB/s 左右。作为对比测试，如果不限速，结果如下。
[root@server1 stress]# docker run -it centos:stress
[root@fe3014925180 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.74227 s, 1.4 GB/s