# docker --daemon --bip=172.17.18.1/24

注意，这其中的"--bip=172.17.18.1/24"这个参数，它限制了所在节点容器获得的IP范围。

发送端：

# route -n

172.17.0.0    0.0.0.0    255.255.0.0      U  0  0  0   flannel0

172.17.13.0   0.0.0.0    255.255.255.0    U  0  0  0   docker0

接收端：

172.18.0.0    0.0.0.0    255.255.0.0      U  0  0  0   flannel0

172.17.12.0   0.0.0.0    255.255.255.0    U  0  0  0   docker0

KUBE-PORTALS-CONTAINER 从容器中通过service cluster ip和端口访问service的请求

KUBE-PORTALS-HOST 从主机中通过service cluster ip和端口访问service的请求

KUBE-NODEPORT-CONTAINER 从容器中通过service nodeport端口访问service的请求

KUBE-NODEPORT-HOST 从主机中通过service nodeport端口访问service的请求。

-A KUBE-NODEPORT-CONTAINER -p tcp -m comment --comment "smart/ccdb:port1521"  -m tcp --dport 50171 -j REDIRECT --to-ports 52244

-A KUBE-NODEPORT-HOST -p tcp -m comment --comment "smart/ccdb:port1521" -m tcp --dport 50171 -j DNAT --to-destination 10.45.25.227:52244

-A KUBE-PORTALS-CONTAINER -d 10.254.120.169/32 -p tcp -m comment --comment "smart/ccdb:port1521" -m tcp --dport 1521 -j REDIRECT --to-ports 52244

-A KUBE-PORTALS-HOST -d 10.254.120.169/32 -p tcp -m comment --comment "smart/ccdb:port1521" -m tcp --dport 1521 -j DNAT --to-destination 10.45.25.227:5224452244

一. 查看集群信息

=============================================================================================================

[root@k8s-master01 ~]# kubectl cluster-info

[root@k8s-master01 ~]# kubectl cluster-info dump

二. 查看各组件状态

=============================================================================================================

[root@k8s-master01 ~]# kubectl -s http://localhost:8080 get componentstatuses

NAME                 STATUS    MESSAGE             ERROR

controller-manager   Healthy   ok

scheduler            Healthy   ok

etcd-0               Healthy   {"health":"true"}

或者

[root@k8s-master01 ~]# kubectl -s http://172.16.60.220:8080 get componentstatuses

NAME                 STATUS    MESSAGE             ERROR

scheduler            Healthy   ok

controller-manager   Healthy   ok

etcd-0               Healthy   {"health":"true"}

三. GET信息

=============================================================================================================

1) 查看节点 (k8s-master01 对应的是 172.16.60.220的主机名)

[root@k8s-master01 ~]# kubectl get node                                #将命令中的node变为nodes也是可以的

NAME         STATUS    AGE

k8s-node01   Ready     1d

k8s-node02   Ready     1d

[root@k8s-master01 ~]# kubectl -s http://k8s-master01:8080 get node    #将命令中的node变为nodes也是可以的

NAME         STATUS    AGE

k8s-node01   Ready     1d

k8s-node02   Ready     1d

2) 查看pods清单（查看pod ip地址，下面命令加上"-o wide"）

[root@k8s-master01 ~]# kubectl get pod                           #将pod变为pods也可以。如果有namespace，需要跟上"-n namespace名字" 或 "--all-namespaces"

NAME                      READY     STATUS    RESTARTS   AGE

nginx-controller-d97wj    1/1       Running   0          1h

nginx-controller-lf11n    1/1       Running   0          1h

tomcat-controller-35kzb   1/1       Running   0          18m

tomcat-controller-lsph4   1/1       Running   0          18m

[root@k8s-master01 ~]# kubectl -s http://k8s-master01:8080 get pod          #将命令中的pod变为pods也是可以的

NAME                      READY     STATUS    RESTARTS   AGE

nginx-controller-d97wj    1/1       Running   0          1h

nginx-controller-lf11n    1/1       Running   0          1h

tomcat-controller-35kzb   1/1       Running   0          18m

tomcat-controller-lsph4   1/1       Running   0          18m

3) 查看service清单

[root@k8s-master01 ~]# kubectl get service                                             #将命令中的service变为services也是可以的

NAME                       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE

kubernetes                 172.16.0.1       <none>        443/TCP          1d

nginx-service-clusterip    172.16.77.193    <none>        8001/TCP         1h

nginx-service-nodeport     172.16.234.94    <nodes>       8000:32172/TCP   59m

tomcat-service-clusterip   172.16.144.116   <none>        8801/TCP         14m

tomcat-service-nodeport    172.16.183.234   <nodes>       8880:31960/TCP   11m

[root@k8s-master01 ~]# kubectl -s http://172.16.60.220:8080 get service               #将命令中的service变为services也是可以的

NAME                       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE

kubernetes                 172.16.0.1       <none>        443/TCP          1d

nginx-service-clusterip    172.16.77.193    <none>        8001/TCP         1h

nginx-service-nodeport     172.16.234.94    <nodes>       8000:32172/TCP   1h

tomcat-service-clusterip   172.16.144.116   <none>        8801/TCP         17m

tomcat-service-nodeport    172.16.183.234   <nodes>       8880:31960/TCP   14m

或者  (后面的sed表示 打印奇数行)

[root@k8s-master01 ~]# kubectl get services -o json|grep '"name":'|sed -n '1~2p'

                "name": "kubernetes",

                "name": "nginx-service-clusterip",

                "name": "nginx-service-nodeport",

                "name": "tomcat-service-clusterip",

                "name": "tomcat-service-nodeport",

4) 查看replicationControllers清单 (同理可以将命令中的replicationControllers变为replicationController也是可以的)

[root@k8s-master01 ~]# kubectl get replicationControllers

NAME                DESIRED   CURRENT   READY     AGE

nginx-controller    2         2         2         2h

tomcat-controller   2         2         2         1h

[root@k8s-master01 ~]# kubectl -s http://172.16.60.220:8080 get replicationControllers

NAME                DESIRED   CURRENT   READY     AGE

nginx-controller    2         2         2         2h

tomcat-controller   2         2         2         1h

5) 查看rc和namespace

[root@k8s-master01 ~]# kubectl get rc,namespace

NAME                   DESIRED   CURRENT   READY     AGE

rc/nginx-controller    2         2         2         2h

rc/tomcat-controller   2         2         2         1h

NAME             STATUS    AGE

ns/default       Active    1d

ns/kube-system   Active    1d

6) 查看pod和svc(和service一样)

[root@k8s-master01 ~]# kubectl get pods,svc

NAME                         READY     STATUS    RESTARTS   AGE

po/nginx-controller-d97wj    1/1       Running   0          2h

po/nginx-controller-lf11n    1/1       Running   0          2h

po/tomcat-controller-35kzb   1/1       Running   0          1h

po/tomcat-controller-lsph4   1/1       Running   0          1h

NAME                           CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE

svc/kubernetes                 172.16.0.1       <none>        443/TCP          1d

svc/nginx-service-clusterip    172.16.77.193    <none>        8001/TCP         2h

svc/nginx-service-nodeport     172.16.234.94    <nodes>       8000:32172/TCP   2h

svc/tomcat-service-clusterip   172.16.144.116   <none>        8801/TCP         1h

svc/tomcat-service-nodeport    172.16.183.234   <nodes>       8880:31960/TCP   1h

7) 以jison格式输出pod的详细信息.

[root@k8s-master01 ~]# kubectl get pods

NAME                      READY     STATUS    RESTARTS   AGE

nginx-controller-d97wj    1/1       Running   0          2h

nginx-controller-lf11n    1/1       Running   0          2h

tomcat-controller-35kzb   1/1       Running   0          1h

tomcat-controller-lsph4   1/1       Running   0          1h

注意下面命令中的pods的名称可以通过上面命令查看

[root@k8s-master01 ~]# kubectl get po nginx-controller-d97wj -o json

{

    "apiVersion": "v1",

    "kind": "Pod",

    "metadata": {

        "annotations": {

...................

...................

        "hostIP": "172.16.60.222",

        "phase": "Running",

        "podIP": "192.168.100.2",

        "startTime": "2019-03-15T14:40:18Z"

    }

}

还可以输出其它格式和方法(kubectl get -h查看帮助)

[root@k8s-master01 ~]# kubectl get -h

8) 查看指定pod跑在哪个node上

[root@k8s-master01 ~]# kubectl get po nginx-controller-d97wj -o wide

NAME                     READY     STATUS    RESTARTS   AGE       IP              NODE

nginx-controller-d97wj   1/1       Running   0          2h        192.168.100.2   k8s-node02

9) 获取指定json或ymal格式的KEY数据,custom-columns=XXXXX（自定义列名）:.status.hostIP（以“点开始”，然后写路径就可以）

注意: 下面命令中的nginx-controller-d97wj是pod单元名称 (kubectl get pods 可以查看pods)

[root@k8s-master01 ~]# kubectl get po nginx-controller-d97wj -o custom-columns=HOST-IP:.status.hostIP,POD-IP:.status.podIP

HOST-IP         POD-IP

172.16.60.222   192.168.100.2

10) describe方法

describe类似于get，同样用于获取resource的相关信息。不同的是，get获得的是更详细的resource个性的详细信息，describe获得的是resource集群相关的信息。

describe命令同get类似，但是describe不支持-o选项，对于同一类型resource，describe输出的信息格式，内容域相同。

需要注意:  如果发现是查询某个resource的信息，使用get命令能够获取更加详尽的信息。但是如果想要查询某个resource的状态，如某个pod并不是在running状态，

这时需要获取更详尽的状态信息时，就应该使用describe命令。

[root@k8s-master01 ~]# kubectl describe po nginx-controller-d97wj

Name:           nginx-controller-d97wj

Namespace:      default

Node:           k8s-node02/172.16.60.222

Start Time:     Fri, 15 Mar 2019 22:40:18 +0800

Labels:         name=nginx

Status:         Running

IP:             192.168.100.2

Controllers:    ReplicationController/nginx-controller

Containers:

  nginx:

    Container ID:               docker://8ae4502b4e62120322de98aa532e653d3d2e058ffbb0b842e0f265621bebbe61

    Image:                      172.16.60.220:5000/nginx

    Image ID:                   docker-pullable://172.16.60.220:5000/nginx@sha256:7734a210432278817f8097acf2f72d20e2ccc7402a0509810c44b3a8bfe0094a

    Port:                       80/TCP

    State:                      Running

      Started:                  Fri, 15 Mar 2019 22:40:19 +0800

    Ready:                      True

    Restart Count:              0

    Volume Mounts:              <none>

    Environment Variables:      <none>

Conditions:

  Type          Status

  Initialized   True

  Ready         True

  PodScheduled  True

No volumes.

QoS Class:      BestEffort

Tolerations:    <none>

No events.

11) create创建

kubectl命令用于根据文件或输入创建集群resource。如果已经定义了相应resource的yaml或son文件，直接kubectl create -f filename即可创建文件内定义的

resource。也可以直接只用子命令[namespace/secret/configmap/serviceaccount]等直接创建相应的resource。从追踪和维护的角度出发，建议使用json或

yaml的方式定义资源。

命令格式:

# kubectl create -f 文件名

12) replace更新替换资源

replace命令用于对已有资源进行更新、替换。如前面create中创建的nginx，当我们需要更新resource的一些属性的时候，如果修改副本数量，增加、修改label，

更改image版本，修改端口等。都可以直接修改原yaml文件，然后执行replace命令。

需要注意: 名字不能被更更新。另外，如果是更新label，原有标签的pod将会与更新label后的rc断开联系，有新label的rc将会创建指定副本数的新的pod，但是默认

并不会删除原来的pod。所以此时如果使用get po将会发现pod数翻倍，进一步check会发现原来的pod已经不会被新rc控制，此处只介绍命令不详谈此问题，好奇者可自行实验。

命令格式:

# kubectl replace -f nginx-rc.yaml

13) patch

如果一个容器已经在运行，这时需要对一些容器属性进行修改，又不想删除容器，或不方便通过replace的方式进行更新。kubernetes还提供了一种在容器运行时，直接

对容器进行修改的方式，就是patch命令。 如创建pod的label是app=nginx-2，如果在运行过程中，需要把其label改为app=nginx-3。

这个patch命令如下：

[root@k8s-master01 ~]# kubectl patch pod nginx-controller-d97wj -p '{"metadata":{"labels":{"app":"nginx-3"}}}'

"nginx-controller-d97wj" patched

14) edit

edit提供了另一种更新resource源的操作，通过edit能够灵活的在一个common的resource基础上，发展出更过的significant resource。

例如，使用edit直接更新前面创建的pod的命令为：

# kubectl edit po nginx-controller-d97wj

上面命令的效果等效于：

# kubectl get po nginx-controller-d97wj -o yaml >> /tmp/nginx-tmp.yaml

# vim /tmp/nginx-tmp.yaml             // 这此文件里做一些修改

# kubectl replace -f /tmp/nginx-tmp.yaml

15) Delete

根据resource名或label删除resource。

# kubectl delete -f nginx-rc.yaml

# kubectl delete po nginx-controller-d97wj

# kubectl delete po nginx-controller-lf11n

16) apply

apply命令提供了比patch，edit等更严格的更新resource的方式。通过apply，用户可以将resource的configuration使用source control的方式维护在版本库中。

每次有更新时，将配置文件push到server，然后使用kubectl apply将更新应用到resource。kubernetes会在引用更新前将当前配置文件中的配置同已经应用的配置

做比较，并只更新更改的部分，而不会主动更改任何用户未指定的部分。

apply命令的使用方式同replace相同，不同的是，apply不会删除原有resource，然后创建新的。apply直接在原有resource的基础上进行更新。同时kubectl apply

还会resource中添加一条注释，标记当前的apply。类似于git操作。

17) logs

logs命令用于显示pod运行中，容器内程序输出到标准输出的内容。跟docker的logs命令类似。如果要获得tail -f 的方式，也可以使用-f选项。

# kubectl logs nginx-controller-d97wj

18) rolling-update

rolling-update是一个非常重要的命令，对于已经部署并且正在运行的业务，rolling-update提供了不中断业务的更新方式。rolling-update每次起一个新的pod，

等新pod完全起来后删除一个旧的pod，然后再起一个新的pod替换旧的pod，直到替换掉所有的pod。

rolling-update需要确保新的版本有不同的name，Version和label，否则会报错 。

# kubectl rolling-update nginx-controller -f nginx-rc.yaml

如果在升级过程中，发现有问题还可以中途停止update，并回滚到前面版本

# kubectl rolling-update nginx-controller --rollback

rolling-update还有很多其他选项提供丰富的功能，如--update-period指定间隔周期，使用时可以使用-h查看help信息.

19) scale  (注意下面的nginx-controller 是在nginx-rc.yaml文件中定义的name名称)

scale用于程序在负载加重或缩小时副本进行扩容或缩小，如前面创建的nginx有两个副本，可以轻松的使用scale命令对副本数进行扩展或缩小。

扩展副本数到4：

# kubectl scale rc nginx-controller --replicas=4

重新缩减副本数到2：

# kubectl scale rc nginx-controller --replicas=2

20) autoscale

scale虽然能够很方便的对副本数进行扩展或缩小，但是仍然需要人工介入，不能实时自动的根据系统负载对副本数进行扩、缩。autoscale命令提供了自动根据pod负载

对其副本进行扩缩的功能。

autoscale命令会给一个rc指定一个副本数的范围，在实际运行中根据pod中运行的程序的负载自动在指定的范围内对pod进行扩容或缩容。如前面创建的nginx，可以用

如下命令指定副本范围在1~4

# kubectl autoscale rc nginx-controller --min=1 --max=4

21) attach

attach命令类似于docker的attach命令，可以直接查看容器中以daemon形式运行的进程的输出，效果类似于logs -f，退出查看使用ctrl-c。如果一个pod中有多个容器，

要查看具体的某个容器的的输出，需要在pod名后使用-c containers name指定运行的容器。如下示例的命令为查看kube-system namespace中的kube-dns-v9-rcfuk pod

中的skydns容器的输出。

# kubectl attach kube-dns-v9-rcfuk -c skydns --namespace=kube-system

22) exec

exec命令同样类似于docker的exec命令，为在一个已经运行的容器中执行一条shell命令，如果一个pod容器中，有多个容器，需要使用-c选项指定容器。

23) run

类似于docker的run命令，直接运行一个image。

24) cordon, drain, uncordon

这三个命令是正式release的1.2新加入的命令，三个命令一起介绍，是因为三个命令配合使用可以实现节点的维护。在1.2之前，因为没有相应的命令支持，如果要维护一个

节点，只能stop该节点上的kubelet将该节点退出集群，是集群不在将新的pod调度到该节点上。如果该节点上本生就没有pod在运行，则不会对业务有任何影响。如果该节

点上有pod正在运行，kubelet停止后，master会发现该节点不可达，而将该节点标记为notReady状态，不会将新的节点调度到该节点上。同时，会在其他节点上创建新的

pod替换该节点上的pod。这种方式虽然能够保证集群的健壮性，但是任然有些暴力，如果业务只有一个副本，而且该副本正好运行在被维护节点上的话，可能仍然会造成业

务的短暂中断。

1.2中新加入的这3个命令可以保证维护节点时，平滑的将被维护节点上的业务迁移到其他节点上，保证业务不受影响。如下图所示是一个整个的节点维护的流程（为了方便

demo增加了一些查看节点信息的操作）：

1- 首先查看当前集群所有节点状态，可以看到共四个节点都处于ready状态；

2- 查看当前nginx两个副本分别运行在d-node1和k-node2两个节点上；

3- 使用cordon命令将d-node1标记为不可调度；

4- 再使用kubectl get nodes查看节点状态，发现d-node1虽然还处于Ready状态，但是同时还被禁能了调度，这意味着新的pod将不会被调度到d-node1上。

5- 再查看nginx状态，没有任何变化，两个副本仍运行在d-node1和k-node2上；

6- 执行drain命令，将运行在d-node1上运行的pod平滑的赶到其他节点上；

7- 再查看nginx的状态发现，d-node1上的副本已经被迁移到k-node1上；这时候就可以对d-node1进行一些节点维护的操作，如升级内核，升级Docker等；

8- 节点维护完后，使用uncordon命令解锁d-node1，使其重新变得可调度；8）检查节点状态，发现d-node1重新变回Ready状态

# kubectl get nodes

# kubectl get po -o wide

# kubectl cordon d-node1

# kubectl get nodes

# kubectl get po -o wide

# kubectl drain d-node1

# kubectl get po -o wide

# kubectl uncordon

# kubectl uncordon d-node1

# kubectl get nodes

25) 查看某个pod重启次数(这个是参考)

# kubectl get pod nginx-controller-d97wj --template="{{range .status.containerStatuses}}{{.name}}:{{.restartCount}}{{end}}"

26) 查看pod生命周期

[root@k8s-master01 ~]# kubectl get pod nginx-controller-d97wj --template="{{.status.phase}}"

Running

四、日常维护命令

=============================================================================================================

kubectl get pods

kubectl get rc

kubectl get service

kubectl get componentstatuses

kubectl get endpoints

kubectl cluster-info

kubectl create -f redis-master-controller.yaml

kubectl delete -f redis-master-controller.yaml

kubectl delete pod nginx-772ai

kubectl logs -f pods/heapster-xxxxx -n kube-system                     #查看日志

kubectl scale rc redis-slave --replicas=3                              #修改RC的副本数量，来实现Pod的动态缩放

etcdctl cluster-health                                                 #检查网络集群健康状态

etcdctl --endpoints=http://172.16.60.220:2379 cluster-health           #带有安全认证检查网络集群健康状态

etcdctl member list

etcdctl set /k8s/network/config '{ "Network": "10.1.0.0/16" }'

etcdctl get /k8s/network/config

五、基础进阶

=============================================================================================================

kubectl get services kubernetes-dashboard -n kube-system           #查看所有service

kubectl get deployment kubernetes-dashboard -n kube-system         #查看所有发布

kubectl get pods --all-namespaces                                  #查看所有pod

kubectl get pods -o wide --all-namespaces                          #查看所有pod的IP及节点

kubectl get pods -n kube-system | grep dashboard

kubectl describe service/kubernetes-dashboard --namespace="kube-system"

kubectl describe pods/kubernetes-dashboard-349859023-g6q8c --namespace="kube-system"       #指定类型查看

kubectl describe pod nginx-772ai                                   #查看pod详细信息

kubectl scale rc nginx --replicas=5                                #动态伸缩

kubectl scale deployment redis-slave --replicas=5                  #动态伸缩

kubectl scale --replicas=2 -f redis-slave-deployment.yaml          #动态伸缩

kubectl exec -it tomcat-controller-35kzb /bin/bash                 #进入容器

kubectl label nodes k8s-node01 zone=north                #增加节点lable值 spec.nodeSelector: zone: north, 指定pod在哪个节点

kubectl get nodes -lzone                                 #获取zone的节点

kubectl label pod tomcat-controller-35kzb role=master    #增加lable值 [key]=[value]

kubectl label pod tomcat-controller-35kzb role-                       #删除lable值

kubectl label pod tomcat-controller-35kzb role=backend --overwrite    #修改lable值

kubectl rolling-update redis-master -f redis-master-controller-v2.yaml      #配置文件滚动升级

kubectl rolling-update redis-master --image=redis-master:2.0                #命令升级

kubectl rolling-update redis-master --image=redis-master:1.0 --rollback     #pod版本回滚

六、yaml使用及命令

=============================================================================================================

kubectl create -f nginx-deployment.yaml   #创建deployment资源

kubectl get deploy      #查看deployment

kubectl get rs          #查看ReplicaSet

kubectl get pods --show-labels   #查看pods所有标签。可以添加"-all-namespaces" 或者 "-n kube-system"表示查看所有命名空间或某一命名空间里pods的标签

kubectl get pods -l app=nginx    #根据标签查看pods

kubectl set image deployment/nginx-deployment nginx=nginx:1.11     #滚动更新镜像

或者

kubectl edit deployment/nginx-deployment

或者

kubectl apply -f nginx-deployment.yaml                             #也表示对yaml修改后进行更新操作，更新到kubernetes集群配置中

kubectl rollout status deployment/nginx-deployment                 #实时观察发布状态：

kubectl rollout history deployment/nginx-deployment                #查看deployment历史修订版本

kubectl rollout history deployment/nginx-deployment --revision=3

kubectl rollout undo deployment/nginx-deployment                   #回滚到以前版本

kubectl rollout undo deployment/nginx-deployment --to-revision=3

kubectl scale deployment nginx-deployment --replicas=10            #扩容deployment的Pod副本数量

kubectl autoscale deployment nginx-deployment --min=10 --max=15 --cpu-percent=80     #设置启动扩容/缩容

七、命名空间

=============================================================================================================

kubectl get namespace                            #获取k8s的命名空间

kubectl get pod --namespace =[命令空间名称]        #获取对应命名空间内的pod，"--namespace"可以写成"-c"

kubectl --namespace [命令空间名称] logs [pod名称] -c 容器名称    #获取对应namespace中对应pod的日志，如果不加"-c 容器名称",则默认查看的是该pod下第一个容器的日志

pod维护示例：

查看某个命令空间下的pod

# kubectl get pods -n namespace  

在没有pod 的yaml文件时，强制重启某个pod

# kubectl get pod podname -n namespace -o yaml | kubectl replace --force -f -

查看某个pod重启次数(这个是参考)

# kubectl get pod podname -n namespace --template="{{range .status.containerStatuses}}{{.name}}:{{.restartCount}}{{end}}"

查看pod生命周期

# kubectl get pod podname --template="{{.status.phase}}"

查看kube-space命令空间下的pod

[root@m7-autocv-gpu01 ~]# kubectl get pods -n kube-system -o wide|grep -E 'elasticsearch|fluentd|kibana'

elasticsearch-logging-0                  1/1     Running   0          5h9m    172.30.104.6   m7-autocv-gpu03   <none>

elasticsearch-logging-1                  1/1     Running   0          4h59m   172.30.232.8   m7-autocv-gpu02   <none>

fluentd-es-v2.2.0-mkkcf                  1/1     Running   0          5h9m    172.30.104.7   m7-autocv-gpu03   <none>

kibana-logging-f6fc77549-nlxfg           1/1     Running   0          42s     172.30.96.7    m7-autocv-gpu01   <none>

[root@m7-autocv-gpu01 ~]# kubectl get pod kibana-logging-f6fc77549-nlxfg -n kube-system -o yaml | kubectl replace --force -f -

pod "kibana-logging-f6fc77549-d47nc" deleted

pod/kibana-logging-f6fc77549-d47nc replaced

[root@m7-autocv-gpu01 ~]#  kubectl get pod kibana-logging-f6fc77549-nlxfg -n kube-system --template="{{range .status.containerStatuses}}{{.name}}:{{.restartCount}}{{end}}"

kibana-logging:0

[root@m7-autocv-gpu01 ~]# kubectl get pod kibana-logging-f6fc77549-nlxfg -n kube-system --template="{{.status.phase}}"

Running

八、进入pod内的容器

=============================================================================================================

kubernetes中登录pod中的容器，如下，kevintest-f857f78ff-dlp24是pod名称，webha是命名空间

# kubectl -n webha exec -it kevintest-f857f78ff-dlp24 -- bash       #登录后终端信息中显示主机名

# kubectl -n webha exec -it kevintest-f857f78ff-dlp24 sh            #登录后终端信息中不显示主机名

如果pod中有多个容器，则默认登录到第一个容器中。

也可以通过-c参数制定登录到哪个容器中, 比如进入kevintest-f857f78ff-dlp24的nginx_bo容器

# kubectl -n webha exec -it kevintest-f857f78ff-dlp24 -c nginx_bo -- bash

首先我们创建一个名为 fail 的 deployment，它指向一个不存在的 Docker 镜像：

$ kubectl run fail --image=rosskukulinski/dne:v1.0.0

然后我们查看 Pods，可以看到有一个状态为 ErrImagePull 或者 ImagePullBackOff 的 Pod：

$ kubectl get pods

NAME                    READY     STATUS             RESTARTS   AGE

fail-1036623984-hxoas   0/1       ImagePullBackOff   0          2m

想查看更多信息，可以 describe 这个失败的 Pod：

$ kubectl describe pod fail-1036623984-hxoas

查看 describe 命令的输出中 Events 这部分，我们可以看到如下内容：

Events:

FirstSeen    LastSeen    Count   From                        SubObjectPath       Type        Reason      Message

---------    --------    -----   ----                        -------------       --------    ------      -------

5m        5m      1   {default-scheduler }                            Normal      Scheduled   Successfully assigned fail-1036623984-hxoas to gke-nrhk-1-default-pool-a101b974-wfp7

5m        2m      5   {kubelet gke-nrhk-1-default-pool-a101b974-wfp7} spec.containers{fail}   Normal      Pulling     pulling image "rosskukulinski/dne:v1.0.0"

5m        2m      5   {kubelet gke-nrhk-1-default-pool-a101b974-wfp7} spec.containers{fail}   Warning     Failed      Failed to pull image "rosskukulinski/dne:v1.0.0": Error: image rosskukulinski/dne not found

5m        2m      5   {kubelet gke-nrhk-1-default-pool-a101b974-wfp7}             Warning     FailedSync  Error syncing pod, skipping: failed to "StartContainer" for "fail" with ErrImagePull: "Error: image rosskukulinski/dne not found"

5m    11s 19  {kubelet gke-nrhk-1-default-pool-a101b974-wfp7} spec.containers{fail}   Normal  BackOff     Back-off pulling image "rosskukulinski/dne:v1.0.0"

5m    11s 19  {kubelet gke-nrhk-1-default-pool-a101b974-wfp7}             Warning FailedSync  Error syncing pod, skipping: failed to "StartContainer" for "fail" with ImagePullBackOff: "Back-off pulling image \"rosskukulinski/dne:v1.0.0\"" 

显示错误的那句话：Failed to pull image "rosskukulinski/dne:v1.0.0": Error: image rosskukulinski/dne not found 告诉我们 Kubernetes无法找到镜像 rosskukulinski/dne:v1.0.0。

因此问题变成：为什么 Kubernetes 拉不下来镜像？

除了网络连接问题外，还有三个主要元凶：

- 镜像 tag 不正确

- 镜像不存在（或者是在另一个仓库）

- Kubernetes 没有权限去拉那个镜像

如果你没有注意到你的镜像 tag 的拼写错误，那么最好就用你本地机器测试一下。

通常我会在本地开发机上，用 docker pull 命令，带上 完全相同的镜像 tag，来跑一下。比如上面的情况，我会运行命令 docker pull rosskukulinski/dne:v1.0.0。

如果这成功了，那么很可能 Kubernetes 没有权限去拉取这个镜像。参考镜像拉取 Secrets 来解决这个问题。

如果失败了，那么我会继续用不显式带 tag 的镜像测试 - docker pull rosskukulinski/dne - 这会尝试拉取 tag 为 latest 的镜像。如果这样成功，表明原来指定的 tag 不存在。这可能是人为原因，拼写错误，或者 CI/CD 的配置错误。

如果 docker pull rosskukulinski/dne（不指定 tag）也失败了，那么我们碰到了一个更大的问题：我们所有的镜像仓库中都没有这个镜像。默认情况下，Kubernetes 使用 Dockerhub 镜像仓库，如果你在使用 Quay.io，AWS ECR，或者 Google Container Registry，你要在镜像地址中指定这个仓库的 URL，比如使用 Quay，镜像地址就变成 quay.io/rosskukulinski/dne:v1.0.0。

如果你在使用 Dockerhub，那你应该再次确认你发布镜像到 Dockerhub 的系统，确保名字和 tag 匹配你的 deployment 正在使用的镜像。

注意：观察 Pod 状态的时候，镜像缺失和仓库权限不正确是没法区分的。其它情况下，Kubernetes 将报告一个 ErrImagePull 状态。

我们创建一个 deployment，它的应用会在1秒后挂掉：

$ kubectl run crasher --image=rosskukulinski/crashing-app

我们看一下 Pods 的状态：

$ kubectl get pods

NAME                       READY     STATUS             RESTARTS   AGE

crasher-2443551393-vuehs   0/1       CrashLoopBackOff   2          54s

CrashLoopBackOff 告诉我们，Kubernetes 正在尽力启动这个 Pod，但是一个或多个容器已经挂了，或者正被删除。

让我们 describe 这个 Pod 去获取更多信息：

$ kubectl describe pod crasher-2443551393-vuehs

Name:        crasher-2443551393-vuehs

Namespace:    fail

Node:        gke-nrhk-1-default-pool-a101b974-wfp7/10.142.0.2

Start Time:    Fri, 10 Feb 2017 14:20:29 -0500

Labels:        pod-template-hash=2443551393

    run=crasher

Status:        Running

IP:        10.0.0.74

Controllers:    ReplicaSet/crasher-2443551393

Containers:

crasher:

Container ID:    docker://51c940ab32016e6d6b5ed28075357661fef3282cb3569117b0f815a199d01c60

Image:        rosskukulinski/crashing-app

Image ID:        docker://sha256:cf7452191b34d7797a07403d47a1ccf5254741d4bb356577b8a5de40864653a5

Port:

State:        Terminated

  Reason:        Error

  Exit Code:    1

  Started:        Fri, 10 Feb 2017 14:22:24 -0500

  Finished:        Fri, 10 Feb 2017 14:22:26 -0500

Last State:        Terminated

  Reason:        Error

  Exit Code:    1

  Started:        Fri, 10 Feb 2017 14:21:39 -0500

  Finished:        Fri, 10 Feb 2017 14:21:40 -0500

Ready:        False

Restart Count:    4

... 

好可怕，Kubernetes 告诉我们这个 Pod 正被 Terminated，因为容器里的应用挂了。我们还可以看到应用的 Exit Code 是 1。后面我们可能还会看到一个 OOMKilled 错误。

我们的应用正在挂掉？为什么？

首先我们查看应用日志。假定你发送应用日志到 stdout（事实上你也应该这么做），你可以使用 kubectl logs 看到应用日志:

$ kubectl logs crasher-2443551393-vuehs

不幸的是，这个 Pod 没有任何日志。这可能是因为我们正在查看一个新起的应用实例，因此我们应该查看前一个容器：

$ kubectl logs crasher-2443551393-vuehs --previous

什么！我们的应用仍然不给我们任何东西。这个时候我们应该给应用加点启动日志了，以帮助我们定位这个问题。我们也可以本地运行一下这个容器，以确定是否缺失环境变量或者挂载卷。

# configmap-pod.yaml

apiVersion: v1

kind: Pod

metadata:

name: configmap-pod

spec:

containers:

- name: test-container

  image: gcr.io/google_containers/busybox

  command: [ "/bin/sh", "-c", "env" ]

  env:

    - name: SPECIAL_LEVEL_KEY

      valueFrom:

        configMapKeyRef:

          name: special-config

          key: special.how

让我们创建一个 Pod：kubectl create -f configmap-pod.yaml。在等待几分钟之后，我们可以查看我们的 Pod：

$ kubectl get pods

NAME            READY     STATUS              RESTARTS   AGE

configmap-pod   0/1       RunContainerError   0          3s

Pod 状态是 RunContainerError 。我们可以使用 kubectl describe 了解更多：

$ kubectl describe pod configmap-pod

[...]

Events:

FirstSeen    LastSeen    Count   From                        SubObjectPath           Type        Reason      Message

---------    --------    -----   ----                        -------------           --------    ------      -------

20s        20s     1   {default-scheduler }                                Normal      Scheduled   Successfully assigned configmap-pod to gke-ctm-1-sysdig2-35e99c16-tgfm

19s        2s      3   {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}   spec.containers{test-container} Normal      Pulling     pulling image "gcr.io/google_containers/busybox"

18s        2s      3   {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}   spec.containers{test-container} Normal      Pulled      Successfully pulled image "gcr.io/google_containers/busybox"

18s        2s      3   {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}                   Warning     FailedSync  Error syncing pod, skipping: failed to "StartContainer" for "test-container" with RunContainerError: "GenerateRunContainerOptions: configmaps \"special-config\" not found"

Events 章节的最后一条告诉我们什么地方错了。Pod 尝试访问名为 special-config 的 ConfigMap，但是在该 namespace 下找不到。一旦我们创建这个 ConfigMap，Pod 应该重启并能成功拉取运行时数据。

在 Pod 规格说明中访问 Secrets 作为环境变量会产生相似的错误，就像我们在这里看到的 ConfigMap错误一样。

# missing-secret.yaml

apiVersion: v1

kind: Pod

metadata:

name: secret-pod

spec:

containers:

- name: test-container

  image: gcr.io/google_containers/busybox

  command: [ "/bin/sh", "-c", "env" ]

  volumeMounts:

    - mountPath: /etc/secret/

      name: myothersecret

restartPolicy: Never

volumes:

- name: myothersecret

  secret:

    secretName: myothersecret

让我们用 kubectl create -f missing-secret.yaml 来创建一个 Pod。

几分钟后，我们 get Pods，可以看到 Pod 仍处于 ContainerCreating 状态：

$ kubectl get pods

NAME            READY     STATUS              RESTARTS   AGE

secret-pod   0/1       ContainerCreating   0          4h

这就奇怪了。我们 describe 一下，看看到底发生了什么：

$ kubectl describe pod secret-pod

Name:        secret-pod

Namespace:    fail

Node:        gke-ctm-1-sysdig2-35e99c16-tgfm/10.128.0.2

Start Time:    Sat, 11 Feb 2017 14:07:13 -0500

Labels:

Status:        Pending

IP:

Controllers:    

[...]

Events:

FirstSeen    LastSeen    Count   From                        SubObjectPath   Type        Reason      Message

---------    --------    -----   ----                        -------------   --------    ------      -------

18s        18s     1   {default-scheduler }                        Normal      Scheduled   Successfully assigned secret-pod to gke-ctm-1-sysdig2-35e99c16-tgfm

18s        2s      6   {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}           Warning     FailedMount MountVolume.SetUp failed for volume "kubernetes.io/secret/337281e7-f065-11e6-bd01-42010af0012c-myothersecret" (spec.Name: "myothersecret") pod "337281e7-f065-11e6-bd01-42010af0012c" (UID: "337281e7-f065-11e6-bd01-42010af0012c") with: secrets "myothersecret" not found

Events 章节再次解释了问题的原因。它告诉我们 Kubelet 无法从名为 myothersecret 的 Secret 挂卷。为了解决这个问题，我们可以创建 myothersecret ，它包含必要的安全认证信息。一旦 myothersecret 创建完成，容器也将正确启动。

apiVersion: v1

kind: Pod

metadata:

name: liveness-pod

spec:

containers:

- name: test-container

  image: rosskukulinski/leaking-app

  livenessProbe:

    httpGet:

      path: /healthz

      port: 8080

    initialDelaySeconds: 3

    periodSeconds: 3

  readinessProbe:

    httpGet:

      path: /healthz

      port: 8080

    initialDelaySeconds: 3

    periodSeconds: 3

让我们创建这个 Pod：kubectl create -f liveness.yaml，过几分钟后查看发生了什么：

$ kubectl get pods

NAME           READY     STATUS    RESTARTS   AGE

liveness-pod   0/1       Running   4          2m

2分钟以后，我们发现 Pod 仍然没处于 Ready 状态，并且它已被重启了4次。让我们 describe 一下查看更多信息：

$ kubectl describe pod liveness-pod

Name:        liveness-pod

Namespace:    fail

Node:        gke-ctm-1-sysdig2-35e99c16-tgfm/10.128.0.2

Start Time:    Sat, 11 Feb 2017 14:32:36 -0500

Labels:

Status:        Running

IP:        10.108.88.40

Controllers:

Containers:

test-container:

Container ID:    docker://8fa6f99e6fda6e56221683249bae322ed864d686965dc44acffda6f7cf186c7b

Image:        rosskukulinski/leaking-app

Image ID:        docker://sha256:7bba8c34dad4ea155420f856cd8de37ba9026048bd81f3a25d222fd1d53da8b7

Port:

State:        Running

  Started:        Sat, 11 Feb 2017 14:40:34 -0500

Last State:        Terminated

  Reason:        Error

  Exit Code:    137

  Started:        Sat, 11 Feb 2017 14:37:10 -0500

  Finished:        Sat, 11 Feb 2017 14:37:45 -0500

[...]

Events:

FirstSeen    LastSeen    Count   From                        SubObjectPath           Type        Reason      Message

---------    --------    -----   ----                        -------------           --------    ------      -------

8m        8m      1   {default-scheduler }                                Normal      Scheduled   Successfully assigned liveness-pod to gke-ctm-1-sysdig2-35e99c16-tgfm

8m        8m      1   {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}   spec.containers{test-container} Normal      Created     Created container with docker id 0fb5f1a56ea0; Security:[seccomp=unconfined]

8m        8m      1   {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}   spec.containers{test-container} Normal      Started     Started container with docker id 0fb5f1a56ea0

7m        7m      1   {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}   spec.containers{test-container} Normal      Created     Created container with docker id 3f2392e9ead9; Security:[seccomp=unconfined]

7m        7m      1   {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}   spec.containers{test-container} Normal      Killing     Killing container with docker id 0fb5f1a56ea0: pod "liveness-pod_fail(d75469d8-f090-11e6-bd01-42010af0012c)" container "test-container" is unhealthy, it will be killed and re-created.

8m    16s 10  {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}   spec.containers{test-container} Warning Unhealthy   Liveness probe failed: Get http://10.108.88.40:8080/healthz: dial tcp 10.108.88.40:8080: getsockopt: connection refused

8m    1s  85  {kubelet gke-ctm-1-sysdig2-35e99c16-tgfm}   spec.containers{test-container} Warning Unhealthy   Readiness probe failed: Get http://10.108.88.40:8080/healthz: dial tcp 10.108.88.40:8080: getsockopt: connection refused

Events 章节再次救了我们。我们可以看到活跃度探测和就绪状态探测都失败了。关键的一句话是 container "test-container" is unhealthy, it will be killed and re-created。这告诉我们 Kubernetes 正在杀这个容器，因为容器的活跃度探测失败了。

这里有三种可能性：

- 你的探测不正确，健康检查的 URL 是否改变了？

- 你的探测太敏感了， 你的应用是否要过一会才能启动或者响应？

- 你的应用永远不会对探测做出正确响应，你的数据库是否配置错了

查看 Pod 日志是一个开始调测的好地方。一旦你解决了这个问题，新的 deployment 应该就能成功了。

# gateway.yaml

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

name: gateway

spec:

template:

metadata:

  labels:

    app: gateway

spec:

  containers:

    - name: test-container

      image: nginx

      resources:

        requests:

          memory: 5Gi

你会看到我们设了 5Gi 的资源请求。让我们创建这个 deployment：kubectl create -f gateway.yaml。

现在我们可以看到我们的 Pod：

$ kubectl get pods

No resources found.

为啥，让我们用 describe 来观察一下我们的 deployment：

$ kubectl describe deployment/gateway

Name:            gateway

Namespace:        fail

CreationTimestamp:    Sat, 11 Feb 2017 15:03:34 -0500

Labels:            app=gateway

Selector:        app=gateway

Replicas:        0 updated | 1 total | 0 available | 1 unavailable

StrategyType:        RollingUpdate

MinReadySeconds:    0

RollingUpdateStrategy:    0 max unavailable, 1 max surge

OldReplicaSets:

NewReplicaSet:        gateway-764140025 (0/1 replicas created)

Events:

FirstSeen    LastSeen    Count   From                SubObjectPath   Type        Reason          Message

---------    --------    -----   ----                -------------   --------    ------          -------

4m        4m      1   {deployment-controller }            Normal      ScalingReplicaSet   Scaled up replica set gateway-764140025 to 1

基于最后一行，我们的 deployment 创建了一个 ReplicaSet（gateway-764140025） 并把它扩展到 1。这个是用来管理 Pod 生命周期的实体。我们可以 describe 这个 ReplicaSet：

$ kubectl describe rs/gateway-764140025

Name:        gateway-764140025

Namespace:    fail

Image(s):    nginx

Selector:    app=gateway,pod-template-hash=764140025

Labels:        app=gateway

    pod-template-hash=764140025

Replicas:    0 current / 1 desired

Pods Status:    0 Running / 0 Waiting / 0 Succeeded / 0 Failed

No volumes.

Events:

FirstSeen    LastSeen    Count   From                SubObjectPath   Type        Reason      Message

---------    --------    -----   ----                -------------   --------    ------      -------

6m        28s     15  {replicaset-controller }            Warning     FailedCreate    Error creating: pods "gateway-764140025-" is forbidden: [maximum memory usage per Pod is 100Mi, but request is 5368709120., maximum memory usage per Container is 100Mi, but request is 5Gi.] 

# test-quota.yaml

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

name: gateway-quota

spec:

template:

spec:

  containers:

    - name: test-container

      image: nginx

我们可用 kubectl create -f test-quota.yaml 创建，然后观察我们的 Pods：

$ kubectl get pods

NAME                            READY     STATUS    RESTARTS   AGE

gateway-quota-551394438-pix5d   1/1       Running   0          16s

看起来很好，现在让我们扩展到 3 个副本：kubectl scale deploy/gateway-quota --replicas=3，然后再次观察 Pods：

$ kubectl get pods

NAME                            READY     STATUS    RESTARTS   AGE

gateway-quota-551394438-pix5d   1/1       Running   0          9m

啊，我们的pod去哪了？让我们观察一下 deployment：

$ kubectl describe deploy/gateway-quota

Name:            gateway-quota

Namespace:        fail

CreationTimestamp:    Sat, 11 Feb 2017 16:33:16 -0500

Labels:            app=gateway

Selector:        app=gateway

Replicas:        1 updated | 3 total | 1 available | 2 unavailable

StrategyType:        RollingUpdate

MinReadySeconds:    0

RollingUpdateStrategy:    1 max unavailable, 1 max surge

OldReplicaSets:

NewReplicaSet:        gateway-quota-551394438 (1/3 replicas created)

Events:

FirstSeen    LastSeen    Count   From                SubObjectPath   Type        Reason          Message

---------    --------    -----   ----                -------------   --------    ------          -------

9m        9m      1   {deployment-controller }            Normal      ScalingReplicaSet   Scaled up replica set gateway-quota-551394438 to 1

5m        5m      1   {deployment-controller }            Normal      ScalingReplicaSet   Scaled up replica set gateway-quota-551394438 to 3

在最后一行，我们可以看到 ReplicaSet 被告知扩展到 3 。我们用 describe 来观察一下这个 ReplicaSet 以了解更多信息：

kubectl describe replicaset gateway-quota-551394438

Name:        gateway-quota-551394438

Namespace:    fail

Image(s):    nginx

Selector:    app=gateway,pod-template-hash=551394438

Labels:        app=gateway

    pod-template-hash=551394438

Replicas:    1 current / 3 desired

Pods Status:    1 Running / 0 Waiting / 0 Succeeded / 0 Failed

No volumes.

Events:

FirstSeen    LastSeen    Count   From                SubObjectPath   Type        Reason          Message

---------    --------    -----   ----                -------------   --------    ------          -------

11m        11m     1   {replicaset-controller }            Normal      SuccessfulCreate    Created pod: gateway-quota-551394438-pix5d

11m        30s     33  {replicaset-controller }            Warning     FailedCreate        Error creating: pods "gateway-quota-551394438-" is forbidden: exceeded quota: compute-resources, requested: pods=1, used: pods=1, limited: pods=1

# cpu-scale.yaml

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

name: cpu-scale

spec:

template:

metadata:

  labels:

    app: cpu-scale

spec:

  containers:

    - name: test-container

      image: nginx

      resources:

        requests:

          cpu: 1

我把这个应用部署到有 2 个可用 CPU 的集群。除了我的 cpu-scale 应用，Kubernetes 内部服务也在消耗 CPU 和内存。

我们可以用 kubectl create -f cpu-scale.yaml 部署这个应用，并观察 pods：

$ kubectl get pods

NAME                        READY     STATUS    RESTARTS   AGE

cpu-scale-908056305-xstti   1/1       Running   0          5m

第一个 pod 被调度并运行了。我们看看扩展一个会发生什么：

$ kubectl scale deploy/cpu-scale --replicas=2

deployment "cpu-scale" scaled

$ kubectl get pods

NAME                        READY     STATUS    RESTARTS   AGE

cpu-scale-908056305-phb4j   0/1       Pending   0          4m

cpu-scale-908056305-xstti   1/1       Running   0          5m

我们的第二个pod一直处于 Pending，被阻塞了。我们可以 describe 这第二个 pod 查看更多的信息:

$ kubectl describe pod cpu-scale-908056305-phb4j

Name:        cpu-scale-908056305-phb4j

Namespace:    fail

Node:        gke-ctm-1-sysdig2-35e99c16-qwds/10.128.0.4

Start Time:    Sun, 12 Feb 2017 08:57:51 -0500

Labels:        app=cpu-scale

    pod-template-hash=908056305

Status:        Pending

IP:

Controllers:    ReplicaSet/cpu-scale-908056305

[...]

Events:

FirstSeen    LastSeen    Count   From            SubObjectPath   Type        Reason          Message

---------    --------    -----   ----            -------------   --------    ------          -------

3m        3m      1   {default-scheduler }            Warning     FailedScheduling    pod (cpu-scale-908056305-phb4j) failed to fit in any node

fit failure on node (gke-ctm-1-sysdig2-35e99c16-wx0s): Insufficient cpu

fit failure on node (gke-ctm-1-sysdig2-35e99c16-tgfm): Insufficient cpu

fit failure on node (gke-ctm-1-sysdig2-35e99c16-qwds): Insufficient cpu

# volume-test.yaml

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

name: volume-test

spec:

template:

metadata:

  labels:

    app: volume-test

spec:

  containers:

    - name: test-container

      image: nginx

      volumeMounts:

      - mountPath: /test

        name: test-volume

  volumes:

  - name: test-volume

    # This GCE PD must already exist (oops!)

    gcePersistentDisk:

      pdName: my-data-disk

      fsType: ext4

让我们创建这个 deployment：kubectl create -f volume-test.yaml，过几分钟后查看 pod：

kubectl get pods

NAME                           READY     STATUS              RESTARTS   AGE

volume-test-3922807804-33nux   0/1       ContainerCreating   0          3m

3 分钟的等待容器创建时间是很长了。让我们用 describe 来查看这个 pod，看看到底发生了什么：

$ kubectl describe pod volume-test-3922807804-33nux

Name:        volume-test-3922807804-33nux

Namespace:    fail

Node:        gke-ctm-1-sysdig2-35e99c16-qwds/10.128.0.4

Start Time:    Sun, 12 Feb 2017 09:24:50 -0500

Labels:        app=volume-test

    pod-template-hash=3922807804

Status:        Pending

IP:

Controllers:    ReplicaSet/volume-test-3922807804

[...]

Volumes:

test-volume:

Type:    GCEPersistentDisk (a Persistent Disk resource in Google Compute Engine)

PDName:    my-data-disk

FSType:    ext4

Partition:    0

ReadOnly:    false

[...]

Events:

FirstSeen    LastSeen    Count   From                        SubObjectPath   Type        Reason      Message

---------    --------    -----   ----                        -------------   --------    ------      -------

4m        4m      1   {default-scheduler }                        Normal      Scheduled   Successfully assigned volume-test-3922807804-33nux to gke-ctm-1-sysdig2-35e99c16-qwds

1m        1m      1   {kubelet gke-ctm-1-sysdig2-35e99c16-qwds}           Warning     FailedMount Unable to mount volumes for pod "volume-test-3922807804-33nux_fail(e2180d94-f12e-11e6-bd01-42010af0012c)": timeout expired waiting for volumes to attach/mount for pod "volume-test-3922807804-33nux"/"fail". list of unattached/unmounted volumes=[test-volume]

1m        1m      1   {kubelet gke-ctm-1-sysdig2-35e99c16-qwds}           Warning     FailedSync  Error syncing pod, skipping: timeout expired waiting for volumes to attach/mount for pod "volume-test-3922807804-33nux"/"fail". list of unattached/unmounted volumes=[test-volume]

3m        50s     3   {controller-manager }                       Warning     FailedMount Failed to attach volume "test-volume" on node "gke-ctm-1-sysdig2-35e99c16-qwds" with: GCE persistent disk not found: diskName="my-data-disk" zone="us-central1-a"

你可能之前也碰到过这种错误:

$ kubectl create -f test-application.deploy.yaml

error: error validating "test-application.deploy.yaml": error validating data: found invalid field resources for v1.PodSpec; if you choose to ignore these errors, turn validation off with --validate=false

在这个例子中，我尝试创建以下 deployment：

# test-application.deploy.yaml

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

name: test-app

spec:

template:

metadata:

  labels:

    app: test-app

spec:

  containers:

  - image: nginx

    name: nginx

  resources:

    limits:

      cpu: 100m

      memory: 200Mi

    requests:

      cpu: 100m

      memory: 100Mi

Image pull policy. One of Always, Never, IfNotPresent. Defaults to Always if :latest tag is specified, or IfNotPresent otherwise.

#!/bin/bash

if [ -z "$1" ]

then

  echo "ERROR: No deployment specified"

  exit 1

fi

DEPLOY=${1}

NAMESPACE=${2:=default}

printf "\n\nOk - Let's figure out why this deployment might have failed"

printf "\n\n------------------------------\n\n"

printf "> kubectl describe deployment ${DEPLOY} --namespace=${NAMESPACE}\n\n"

kubectl describe deployment ${DEPLOY} --namespace=${NAMESPACE}

printf "\n\n------------------------------\n\n"

CURRENT_GEN=$(kubectl get deployment ${DEPLOY} --namespace=${NAMESPACE} -o jsonpath='{.metadata.generation}')

OBS_GEN=$(kubectl get deployment ${DEPLOY} --namespace=${NAMESPACE} -o jsonpath='{.status.observedGeneration}')

REPLICAS=$(kubectl get deployment ${DEPLOY} --namespace=${NAMESPACE} -o jsonpath='{.status.replicas}')

UPDATED_REPLICAS=$(kubectl get deployment ${DEPLOY} --namespace=${NAMESPACE} -o jsonpath='{.status.updatedReplicas}')

AVAILABLE_REPLICAS=$(kubectl get deployment ${DEPLOY} --namespace=${NAMESPACE} -o jsonpath='{.status.availableReplicas}')

if [ "$AVAILABLE_REPLICAS" == "$REPLICAS" ] && \

   [ "$UPDATED_REPLICAS" == "$REPLICAS" ] ; then

  printf "Available Replicas (${AVAILABLE_REPLICAS}) equals Current Replicas (${REPLICAS}) \n"

  printf "Updated Replicas (${UPDATED_REPLICAS}) equals Current Replicas (${REPLICAS}). \n"

  printf "Are you sure the deploy failed?\n\n"

  exit 0

fi

if [ "$AVAILABLE_REPLICAS" != "$REPLICAS" ] ; then

  printf "Available Replicas (${AVAILABLE_REPLICAS}) does not equal Current Replicas (${REPLICAS}) \n"

fi

if [ "$UPDATED_REPLICAS" != "$REPLICAS" ] ; then

  printf "Updated Replicas (${UPDATED_REPLICAS}) does not equal Current Replicas (${REPLICAS}) \n"

fi

printf "\n\n------------------------------\n\n"

NEW_RS=$(kubectl describe deploy ${DEPLOY} --namespace=${NAMESPACE} | grep "NewReplicaSet" | awk '{print $2}')

POD_HASH=$(kubectl get rs ${NEW_RS} --namespace=${NAMESPACE} -o jsonpath='{.metadata.labels.pod-template-hash}')

printf "Pods for this deployment:\n\n"

printf "> kubectl get pods  --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH}\n\n"

kubectl get pods --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH}

printf "\n\n------------------------------\n\n"

printf "Detailed pods for this deployment:\n\n"

printf "> kubectl describe pods  --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH}\n\n"

kubectl describe pods --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH}

printf "\n\n------------------------------\n\n"

printf "Containers that are currently 'waiting':\n\n"

printf "> kubectl get pods --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH} -o jsonpath='...'\n"

kubectl get pods --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH} -o jsonpath='{"\n"}{range .items[*]}{@.metadata.name}:{"\n"}{range @.status.conditions[*]}{"\t"}{@.lastTransitionTime}: {@.type}={@.status}{"\n"}{end}{"\n"}{"\tWaiting Containers\n"}{range @.status.containerStatuses[?(@.state.waiting)]}{"\t\tName: "}{@.name}{"\n\t\tImage: "}{@.image}{"\n\t\tState: Waiting"}{"\n\t\tMessage: "}{@.state.waiting.message}{"\n\t\tReason: "}{@.state.waiting.reason}{end}{"\n"}{end}'

printf "\n\n------------------------------\n\n"

printf "Pods with Terminated state\n\n"

printf "> kubectl get pods --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH} -o jsonpath='...'\n"

kubectl get pods --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH} -o jsonpath='{"\n"}{range .items[*]}{"\n"}{@.metadata.name}:{"\n"}{"\n\tTerminated Containers\n"}{range @.status.containerStatuses[?(@.lastState.terminated)]}{"\t\tName: "}{@.name}{"\n\t\tImage: "}{@.image}{"\n\t\texitCode: "}{@.lastState.terminated.exitCode}{"\n\t\tReason: "}{@.lastState.terminated.reason}{"\n"}{end}{"\n"}{end}'

printf "\n\n------------------------------\n\n"

printf "Trying to get previous logs from each Terminated pod\n\n"

kubectl get pods --namespace=${NAMESPACE} -l pod-template-hash=${POD_HASH} --no-headers | awk '{print $1}' | xargs -I pod sh -c "printf \"pod\n\n\"; kubectl --namespace=${NAMESPACE} logs --previous --tail=100 --timestamps pod; printf \"\n\n\""