一、资源限制
1.1、定义
当定义pod时可以选择性的为每个容器设定所需要的资源数量,最常见的可设定资源师CPU和内存大小,以及其他类型的资源
当为pod中的容器指定了request资源时,调度器就使用该信息来决定将pod调度到哪个节点上。当还为容器指定了limit资源时,kubelet就会确保运行的容器不会使用超出所设的limit资源量。kubelet还会为容器预留所设的request资源量,供该容器使用
如果pod运行所在的节点具有足够的可用资源,容器可以使用超出所设置的request资源量。不过,容器不可以使用超出所设置的limit资源量
如果给容器设置了内存的limit值,但未设置内存的request值,k8s会自动为其设置与内存limit值但未设置CPU的request值,则k8s自动为其设置cpu的request值并使之CPU的limit值匹配
#官网示例:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/
1.2、pod和容器的资源请求和限制
spec.containers[].resources.requests.cpu #定义创建容器时预先分配的CPU资源
spec.containers[].resources.requests.memory #定义创建容器时预分配的内存资源
spec.containers[].resources.limits.cpu #定义cpu的资源上线
spec.containers[].resources.limit.memory #定义内存的资源上线
1.3、CPU资源单位
CPU资源的request和limit以CPU为单位。k8s中的一个cpu相当于1个vCPU(1个超线程)
k8s也支持带小数cpu的请求。spec.containers[].resources.requests.cpu为0.5的容器能够获得一个cpu的一半cpu资源(类似于Cgroup对CPU资源的时间分片)。表达式0.1等价于表达式100m(毫核),表示每1000毫秒内容器可以使用的cpu时间总量为0.1*1000毫秒
1.4、内存资源单位
内存的request和limit以字节为单位。可以以整数表示,或者以10为底数的指数的单位(E、P、T、G、M、K)来表示,或者以2为底数的指数的单位(Ei、Pi、Ti、Gi、Mi、Ki)来表示
如1KB=10^3=1000,1MB=10^6=1000000=1000KB,1GB=10^9=1000000000=1000MB
1Kib=2^10=1024,1Mib=2^20=1048576=1024Kib
1.5、示例一
vim demo1.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
run: nginx
name: nginx1
spec:
replicas: 2
selector:
matchLabels:
run: nginx1
template:
metadata:
labels:
run: nginx1
spec:
containers:
- image: nginx
name: nginx1
ports:
- containerPort: 80
resources:
requests:
memory: "100Mi"
cpu: "250m"
limits:
memory: "200Mi"
cpu: "500m"
此例子中的 Pod 有两个容器。每个容器的 request 值为 0.25 cpu 和 100MiB 预设内存,每个容器的 limit 值为 0.5 cpu 和 200MiB 内存。那么可以认为该 Pod 的总的资源 request 为 0.5 cpu 和 200 MiB 内存,总的资源 limit 为 1 cpu 和 400MiB 内存。
kubectl apply -f demo1.yaml
kubectl describe pods
kubectl describe node node01
kubectl describe node node02
二、健康检查,又称为探针(probe)
探针是由kubelet对容器执行的定期诊断
2.1、探针的三种规则
livenessProbe
判断容器是否正在运行。如果探测失败,则kubelet会杀死容器,并且容器将根据restartPolicy来设置pod状态。如果容器不提供存活探针,则默认状态位Success
readinessProbe44
判断容器是否准备好接受请求,如果探测失败,端点控制器将从与pod匹配的所有service endpoints中删除该pod的IP地址。初始延迟之前的就绪状态默认为Failure。如果容器不提供就绪探针,则默认状态为Success
startupProbe(1.17版本增加)
判断容器内的应用程序是否已启动,主要针对于不能确定具体启动时间的应用。如果配置了startupProbe探测,则在startupProbe状态为Success之前,其他所有探针都处于无效状态,直到它成功后其他探针才起作用。
如果startupProbe失败,kubelet将杀死容器,容器将根据restartPolicy来重启。如果容器没有配置startupProbe,则默认状态为Success
#注:以上规则可以同时定义。在readineessProbe检测成功之前,Pod的running状态是不会变成ready状态的
2.2、Probe支持三种检查方法
exec
在容器内执行指定命令。如果命令退出时返回码为0则认为诊断成功
tcpSocket
对指定端口上的容器的IP地址进行TCP检查(三次握手)。如果端口打开,则诊断被认为是成功的
httpGet
对指定的端口和路径上的容器的IP地址执行httpget请求。如果响应的状态码大于等于200且小于400,则诊断被认为是成功的
每次探测都将获得一下三种结果之一
成功:容器通过了诊断
失败:容器未通过诊断
位置:诊断失败,因此不会采取任何行动
官方实例
https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/
2.3、示例一exec方式
vim demo2.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
test: liveness
name: liveness-exec
spec:
containers:
- name: liveness
image: busybox
args:
- /bin/sh
- -c
- touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 60
livenessProbe:
exec:
command:
- cat
- /tmp/healthy
failureThreshold: 1
initialDelaySeconds: 5
periodSeconds: 5
#initialDelaySeconds∶指定 kubelet 在执行第一次探测前应该等待5秒,即第一次探测是在容器启动后的第6秒才开始执行。默认是 0 秒,最小值是 0。
#periodSeconds∶指定了 kubelet 应该每 5 秒执行一次存活探测。默认是 10 秒。最小值是 1。
#failureThreshold∶当探测失败时,Kubernetes 将在放弃之前重试的次数。存活探测情况下的放弃就意味着重新启动容器。就绪探测情况下的放弃 Pod 会被打上未就绪的标签。默认值是 3。最小值是 1。
#timeoutSeconds∶探测超时后等待多少秒。默认值是 1 秒。最小值是 1。(在 Kubernetes 1.20 版本之前,exec 探针会忽略timeoutSeconds 探针会无限期地持续运行,甚至可能超过所配置的限期,直到返回结果为止。)
可以看到 Pod 中只有一个容器。kubelet 在执行第一次探测前需要等待 5 秒,kubelet 会每 5 秒执行一次存活探测。kubelet在容器内执行命令 cat /tmp/healthy 来进行探测。如果命令执行成功并且返回值为 0,kubelet 就会认为这个容器是健康存活的。当到达第31 秒时,这个命令返回非 0 值,kubelet会杀死这个容器并重新启动它。
2.4、示例二httpGet方式
vim demo3.yaml
apiVersion: v1
kind: Pod
metadata:
name: liveness-httpget
namespace: default
spec:
containers:
- name: liveness-httpget-container
image: nginx
imagePullPolicy: IfNotPresent
ports:
- name: nginx
containerPort: 80
livenessProbe:
httpGet:
port: nginx #指定端口,这里使用的是之前的ports里的name,也可以直接写端口
path: /index.html #指定路径
initialDelaySeconds: 1
periodSeconds: 3
timeoutSeconds: 10
在这个配置文件中, 可以看到 Pod 也只有一个容器。initialDelaySeconds 字段告诉 kubelet 在执行第一次探测前应该等待 3秒。periodSeconds 字段指定了 kubelet 每隔 3 秒执行一次存活探测。 timeoutSeconds字段指定了超时等待时间为10S,kubelet 会向容器内运行的服务(服务会监听 80端口)发送一个HTTP GET 请求来执行探测。如果服务器上/index.html路径下的处理程序返回成功代码,则 kubelet 认为容器是健康存活的。如果处理程序返回失败代码,则 kubelet 会杀死这个容器并且重新启动它。
任何大于或等于 200 并且小于 400 的返回代码标示成功,其它返回代码都标示失败。
#加载yaml文件
kubectl create -f demo3.yaml
#进入容器删除网页文件进行测试
kubectl exec -it liveness-httpget -- rm -rf /usr/share/
nginx/html/index.html
#查看pod的详细参数
kubectl get pod
kubectl describe pod liveness-httpget
2.5、示例三tcpSocket方式
vim demo4.yaml
apiVersion: v1
kind: Pod
metadata:
name: probe-tcp
spec:
containers:
- name: tcpnginx
image: nginx
ports:
- containerPort: 80
readinessProbe:
tcpSocket:
port: 80
initialDelaySeconds: 5
periodSeconds: 10
livenessProbe:
tcpSocket:
port: 80
initialDelaySeconds: 15
periodSeconds: 20
#加载yaml文件
kubectl create -f demo4.yaml
#查看pod的信息
kubectl get pod
kubectl describe pod probe-tcp
三、总结
#三种探针
livenessProbe(存活探针):判断容器是否正常运行,如果失败则杀掉容器(不是pod),再根据重启策略是否重启容器
readinessProbe(就绪探针)∶判断容器是否能够进入ready状态,探针失败则进入noready状态,并从service的endpoints中剔除此容器
startupProbe∶判断容器内的应用是否启动成功,在success状态前,其它探针都处于无效状态
#三种检查方式
exec∶使用 command 字段设置命令,在容器中执行此命令,如果命令返回状态码为0,则认为探测成功
httpget∶通过访问指定端口和url路径执行http get访问。如果返回的http状态码为大于等于200且小于400则认为成功
tcpsocket∶通过tcp连接pod(IP)和指定端口,如果端口无误且tcp连接成功,则认为探测成功
#探针可选的参数
initialDelaySeconds∶ 容器启动多少秒后开始执行探测
periodSeconds∶探测的周期频率,每多少秒执行一次探测
failureThreshold∶探测失败后,允许再试几次
timeoutSeconds ∶ 探测等待超时的时间