集群内外访问pod的方式

文章目录

集群内访问service

通过服务名&&环境变量&&clusterIP访问

集群内外访问pod的方式
service的clusterIP即:service的虚拟IP

示例:
server.yaml

kind: Deployment
apiVersion: apps/v1
metadata:
  labels:
    run: nginx
  name: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      run: nginx
  template:
    metadata:
      labels:
        run: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        imagePullPolicy: IfNotPresent
---
apiVersion: v1
kind: Service
metadata:
  labels:
    run: nginx
  name: nginx-service-test
spec:
  selector:
    run: nginx
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80   # backend pod port

client.yaml

apiVersion: v1
kind: Pod
metadata:
  name: client
spec:
  containers:
  - name: client
    image: library/busybox
    imagePullPolicy: IfNotPresent
    command: ["/bin/sh"]
    args: ["-c", "while true; do echo hello; sleep 10;done"]

集群内访问:
首先获取到svc的clusterIP: 10.97.109.170

$ kubectl get svc -A -o wide
NAMESPACE       NAME                                 TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE     SELECTOR
default         demo                                 ClusterIP      10.110.69.155    <none>        80/TCP                       33m     app=demo
default         kubernetes                           ClusterIP      10.96.0.1        <none>        443/TCP                      65d     <none>
default         nginx-service-test                   ClusterIP      10.97.109.170    <none>        80/TCP                       2m31s   run=nginx
$ kubectl exec -it client sh
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
/ # wget -o- 10.97.109.170:80. // 通过ClusterIP访问
Connecting to 10.97.109.170:80 (10.97.109.170:80)
saving to 'index.html'
index.html           100% |******************************************************************************************************************|   615  0:00:00 ETA
'index.html' saved
/ # rm index.html
/ # wget -o- $NGINX_SERVICE_TEST_SERVICE_HOST:$NGINX_SERVICE_TEST_SERVICE_PORT。// 通过环境变量访问
Connecting to 10.97.109.170:80 (10.97.109.170:80)。
saving to 'index.html'
index.html           100% |******************************************************************************************************************|   615  0:00:00 ETA
'index.html' saved
/ # rm index.html
/ # wget -o- nginx-service-test:80   // 通过服务名访问
Connecting to nginx-service-test:80 (10.97.109.170:80)
saving to 'index.html'
index.html           100% |******************************************************************************************************************|   615  0:00:00 ETA
'index.html' saved
/ #

集群外访问service

hostNetwork

这是一种直接定义 Pod 网络的方式。

如果在 Pod 中使用 hostNotwork:true 配置的话,在这种 pod 中运行的应用程序可以直接看到 pod 启动的主机的网络接口。在主机的所有网络接口上都可以访问到该应用程序。以下是使用主机网络的 pod 的示例定义:

apiVersion: v1
kind: Pod
metadata:
  name: influxdb
spec:
  hostNetwork: true
  containers:
    - name: influxdb
      image: influxdb

访问该 pod 所在主机的 8086 端口:
可以通过kubectl get node获取INTERNAL-IP

HostName:由节点的内核设置。可以通过 kubelet 的 --hostname-override 参数覆盖。
ExternalIP:通常是节点的可外部路由(从集群外可访问)的 IP 地址。
InternalIP:通常是节点的仅可在集群内部路由的 IP 地址。

$ kubectl get nodes -o wide
NAME       STATUS   ROLES                  AGE   VERSION   INTERNAL-IP    EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION         CONTAINER-RUNTIME
minikube   Ready    control-plane,master   21h   v1.23.1   192.168.49.2   <none>        Ubuntu 20.04.2 LTS   4.19.117.bsk.6-amd64   docker://20.10.12
$ curl -v 192.168.49.2:8086/ping
*   Trying 192.168.49.2...
* TCP_NODELAY set
* Connected to 192.168.49.2 (192.168.49.2) port 8086 (#0)
> GET /ping HTTP/1.1
> Host: 192.168.49.2:8086
> User-Agent: curl/7.52.1
> Accept: */*
>
< HTTP/1.1 204 No Content
< X-Influxdb-Build: OSS
< X-Influxdb-Build: oss2
< X-Influxdb-Version: 2.1.1
< X-Influxdb-Version: 2.1.1
< Date: Sun, 23 Jan 2022 09:15:06 GMT
<
* Curl_http_done: called premature == 0
* Connection #0 to host 192.168.49.2 left intact

注意每次启动这个 Pod 的时候都可能被调度到不同的节点上,所有外部访问 Pod 的 IP 也是变化的,而且调度 Pod 的时候还需要考虑是否与宿主机上的端口冲突,因此一般情况下除非您知道需要某个特定应用占用特定宿主机上的特定端口时才使用 hostNetwork: true 的方式。

这种 Pod 的网络模式有一个用处就是可以将网络插件包装在 Pod 中然后部署在每个宿主机上,这样该 Pod 就可以控制该宿主机上的所有网络。

hostPort

hostPort 是直接将容器的端口与所调度的节点上的端口路由,这样用户就可以通过宿主机的 IP 加上来访问 Pod 了,如:

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
  - name: nginx
    image: nginx
    ports:
      - containerPort: 80
        hostPort: 8088

查看pod所在节点的node ip

$ kubectl get nodes -o wide
NAME       STATUS   ROLES                  AGE   VERSION   INTERNAL-IP    EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION         CONTAINER-RUNTIME
minikube   Ready    control-plane,master   18h   v1.23.1   192.168.49.2   <none>        Ubuntu 20.04.2 LTS   4.19.117.bsk.6-amd64   docker://20.10.12

访问pod暴露出来的服务

$ curl 192.168.49.2:8088
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

这样做有个缺点,因为 Pod 重新调度的时候该 Pod 被调度到的宿主机可能会变动,这样就变化了,用户必须自己维护一个 Pod 与所在宿主机的对应关系。

这种网络方式可以用来做 nginx ingress controller。外部流量都需要通过 Kubernetes node 节点的 80 和 443 端口。

NodePort

NodePort 在 Kubernetes 里是一个广泛应用的服务暴露方式。Kubernetes 中的 service 默认情况下都是使用的 ClusterIP 这种类型,这样的 service 会产生一个 ClusterIP,这个 IP 只能在集群内部访问,要想让外部能够直接访问 service,需要将 service type 修改为 nodePort。

同时还可以给 service 指定一个 nodePort 值,范围是 30000-32767,这个值在 API server 的配置文件中,用 --service-node-port-range 定义。

apiVersion: v1
kind: Pod
metadata:
  name: nginx-nodeport
  labels:
    name: nginx-nodeport
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    ports:
      - containerPort: 80
---
kind: Service
apiVersion: v1
metadata:
  name: nginx-service
spec:
  type: NodePort
  ports:
    - port: 80
      nodePort: 30000
  selector:
    name: nginx-nodeport
$ kubectl apply -f nodeport.yaml
pod/nginx-nodeport created
service/nginx-service created
$ kubectl get pod,svc
NAME                 READY   STATUS    RESTARTS   AGE
pod/nginx-nodeport   1/1     Running   0          3s

NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/kubernetes      ClusterIP   10.96.0.1        <none>        443/TCP        21h
service/nginx-service   NodePort    10.101.143.175   <none>        80:30000/TCP   3s
$ curl 192.168.49.2:30000

集群外就可以使用 kubernetes 任意一个节点的 IP 加上 30000 端口访问该服务了。kube-proxy 会自动将流量以 round-robin 的方式转发给该 service 的每一个 pod。

这种服务暴露方式,无法让你指定自己想要的应用常用端口,不过可以在集群上再部署一个反向代理作为流量入口。

loadbalancer

集群内外访问pod的方式
LoadBalancer 只能在 service 上定义。这是公有云提供的负载均衡器,如 AWS、Azure、CloudStack、GCE 等。
示例
server.yaml

kind: Deployment
apiVersion: apps/v1
metadata:
  labels:
    run: nginx
  name: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      run: nginx
  template:
    metadata:
      labels:
        run: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        imagePullPolicy: IfNotPresent
---
apiVersion: v1
kind: Service
metadata:
  labels:
    run: nginx
  name: nginx-service
spec:
  selector:
    run: nginx
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
  type: LoadBalancer

就会有外部IP(EXTERNAL-IP)

kubectl get pod,svc -o wide
NAME                        READY   STATUS    RESTARTS   AGE     IP          NODE             NOMINATED NODE   READINESS GATES
pod/client                  1/1     Running   0          7m49s   10.1.0.87   docker-desktop   <none>           <none>
pod/nginx-f689df495-5ckkj   1/1     Running   0          22m     10.1.0.81   docker-desktop   <none>           <none>
pod/nginx-f689df495-bq26n   1/1     Running   0          22m     10.1.0.80   docker-desktop   <none>           <none>
pod/nginx-f689df495-jnq9s   1/1     Running   0          22m     10.1.0.82   docker-desktop   <none>           <none>

NAME                    TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE   SELECTOR
service/kubernetes      ClusterIP      10.96.0.1        <none>        443/TCP        57d   <none>
service/nginx-service   LoadBalancer   10.103.181.174   localhost     80:31571/TCP   22m   run=nginx

内部可以使用 ClusterIP 加端口来访问服务,如 19.97.121.42:8086。
外部可以用以下两种方式访问该服务

  • 使用任一节点的 IP 加 31571 端口访问该服务
  • 使用 EXTERNAL-IP 来访问,这是一个 VIP,是云供应商提供的负载均衡器 IP,如 10.13.242.236:8086。

Ingress

Ingress 是自 kubernetes1.1 版本后引入的资源类型。必须要部署 Ingress controller 才能创建 Ingress 资源,Ingress controller 是以一种插件的形式提供。Ingress controller 是部署在 Kubernetes 之上的 Docker 容器。它的 Docker 镜像包含一个像 nginx 或 HAProxy 的负载均衡器和一个控制器守护进程。控制器守护程序从 Kubernetes 接收所需的 Ingress 配置。它会生成一个 nginx 或 HAProxy 配置文件,并重新启动负载平衡器进程以使更改生效。换句话说,Ingress controller 是由 Kubernetes 管理的负载均衡器。

Kubernetes Ingress 提供了负载平衡器的典型特性:HTTP 路由,粘性会话,SSL 终止,SSL 直通,TCP 和 UDP 负载平衡等。目前并不是所有的 Ingress controller 都实现了这些功能,需要查看具体的 Ingress controller 文档。
集群内外访问pod的方式

在 Minikube 环境中使用 NGINX Ingress 控制器配置 Ingress

$ minikube addons enable ingress --alsologtostderr

外部访问 URL http://influxdb.kube.example.com/ping 访问该服务,入口就是 80 端口,然后 Ingress controller 直接将流量转发给后端 Pod,不需再经过 kube-proxy 的转发,比 LoadBalancer 方式更高效。

在docker-desktop中配置Ingress

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.1.1/deploy/static/provider/cloud/deploy.yaml

Local testing
Let’s create a simple web server and the associated service:

kubectl create deployment demo --image=httpd --port=80
kubectl expose deployment demo

Then create an ingress resource. The following example uses an host that maps to localhost:

kubectl create ingress demo-localhost --class=nginx \
  --rule=demo.localdev.me/*=demo:80

Now, forward a local port to the ingress controller:

kubectl port-forward --namespace=ingress-nginx service/ingress-nginx-controller 8080:80

At this point, if you access http://demo.localdev.me:8080/, you should see an HTML page telling you “It works!”.

参考

上一篇:大白话 K8S(03):从 Pause 容器理解 Pod 的本质


下一篇:echo print() print_r() var_dump()的区别