使用ingress暴露kubernetes集群内部的pod服务

Ingress和Ingress Controller是什么?

我们把kubernetes集群内部的服务提供给外界访问会产生以下几个问题:

1、Pod 漂移问题

Kubernetes具有强大的副本控制能力,能保证在任意副本(Pod)挂掉时自动从其他机器启动一个新的,还可以动态扩容等,通俗地说,这个Pod可能在任何时刻出现在任何节点上,也可能在任何时刻死在任何节点上;那么自然随着Pod的创建和销毁,Pod IP 肯定会动态变化;那么如何把这个动态的Pod IP暴露出去?这里借助于Kubernetes的 Service 机制,Service可以以标签的形式选定一组带有指定标签的Pod,并监控和自动负载他们的Pod IP,那么我们向外暴露只暴露Service IP就行了;这就是NodePort模式:即在每个节点上开起一个端口,然后转发到内部Pod IP 上,如下图所示:

此时的访问方式:http://nodeip:nodeport/

使用ingress暴露kubernetes集群内部的pod服务


2、端口管理问题

采用NodePort方式暴露服务面临的问题是,服务一旦多起来,NodePort在每个节点上开启的端口会及其庞大,而且难以维护;这时,我们能否使用一个Nginx直接对内进行转发呢?众所周知的是,Pod与Pod之间是可以互相通信的,而Pod是可以共享宿主机的网络名称空间的,也就是说当在共享网络名称空间时,Pod上所监听的就是Node上的端口。那么这又该如何实现呢?简单的实现就是使用 DaemonSet 在每个Node上监听 80,然后写好规则,因为Nginx外面绑定了宿主机80端口(就像NodePort),本身又在集群内,那么向后直接转发到相应 Service IP 就行了,如下图所示:

使用ingress暴露kubernetes集群内部的pod服务


3、域名分配及动态更新问题

从上面的方法,采用Nginx-Pod似乎已经解决了问题,但是其实这里面有一个很大缺陷:当每次有新服务加入又该如何修改Nginx配置呢?我们知道使用Nginx可以通过虚拟主机域名进行区分不同的服务,而每个服务通过upstream进行定义不同的负载均衡池,再加上location进行负载均衡的反向代理,在日常使用中只需要修改nginx.conf即可实现,那在K8S中又该如何实现这种方式的调度呢?假设后端的服务初始服务只有ecshop,后面增加了bbs和member服务,那么又该如何将这2个服务加入到Nginx-Pod进行调度呢?总不能每次手动改或者Rolling Update 前端Nginx Pod吧!此时Ingress出现了,如果不算上面的Nginx,Ingress 包含两大组件:Ingress Controller 和 Ingress。

使用ingress暴露kubernetes集群内部的pod服务

Ingress简单的理解就是你原来需要改Nginx配置,然后配置各种域名对应哪个 Service,现在把这个动作抽象出来,变成一个 Ingress 对象,你可以用 yaml 创建,每次不要去改Nginx 了,直接改yaml然后创建/更新就行了;那么问题来了:”Nginx 该怎么处理?”

Ingress Controller 这东西就是解决 “Nginx 的处理方式” 的;Ingress Controoler 通过与 Kubernetes API 交互,动态的去感知集群中Ingress规则变化,然后读取他,按照他自己模板生成一段 Nginx 配置,再写到 Nginx Pod 里,最后 reload 一下,工作流程如下图:

使用ingress暴露kubernetes集群内部的pod服务

实际上Ingress也是Kubernetes API的标准资源类型之一,它其实就是一组基于DNS名称(host)或URL路径把请求转发到指定的Service资源的规则。用于将集群外部的请求流量转发到集群内部完成的服务发布。我们需要明白的是,Ingress资源自身不能进行“流量穿透”,仅仅是一组规则的集合,这些集合规则还需要其他功能的辅助,比如监听某套接字,然后根据这些规则的匹配进行路由转发,这些能够为Ingress资源监听套接字并将流量转发的组件就是Ingress Controller。

注:Ingress控制器不同于Deployment控制器的是,Ingress控制器不直接运行为kube-controller-manager的一部分,它仅仅是Kubernetes集群的一个附件,类似于CoreDNS,需要在集群上单独部署。


4.Ingress Controllers是什么?

Ingress Controller是一个七层负载均衡调度器,客户端的请求先到达这个七层负载均衡调度器,由七层负载均衡器在反向代理到后端pod,常见的七层负载均衡器有nginx,traefik等,以我们熟悉的nginx为例,假如请求到达nginx,会通过upstream反向代理到后端pod,但是后端pod的ip地址是一直在变化的,因此在后端pod前需要加一个service,这个service只是起到分组的作用,那么我们upstream只需要填写service地址即可。

常见的七层负载均衡调度器有哪些:

nginx:需要手动加载配置文件

traefik:定期自动加载配置文件,不需要手动干预,在微服务中几乎都会使用这种调度器


5.Ingress是什么?

官方:https://kubernetes.io/docs/concepts/services-networking/ingress/

ingress官网定义:ingress可以把进入到集群内部的请求转发到集群中的一些服务上,从而可以把服务暴露到集群外部。Ingress 能把集群内Service 配置成外网能够访问的URL,流量负载均衡,提供基于域名访问的虚拟主机等;ingress是k8s中的资源,当service关联的后端pod ip地址发生变化,就会把这些变化信息保存在ingress中,由ingress注入到七层负载均衡调度器ingress controller中,也就是把信息传入到七层负载均衡调度器的配置文件中,并且重新加载使配置生效,Ingress 可以用来规定HTTP/S请求应该被转发到哪个 Service 上,比如根据请求中不同的Host和url路径让请求落到不同的 Service 上


6.总结:

Ingress Controller:

Ingress Controller 可以理解为控制器,它通过不断的跟 Kubernetes API 交互,实时获取后端 Service、Pod 的变化,比如新增、删除等,然后结合 Ingress 定义的规则生成配置,然后动态更新上边的 Nginx 或者trafik负载均衡器,并刷新使配置生效,来达到服务自动发现的作用。

Ingress:

Ingress 是定义规则,通过它定义某个域名的请求过来之后转发到集群中指定的 Service。它可以通过 Yaml 文件定义,可以给一个或多个 Service 定义一个或多个 Ingress 规则。


7.使用七层负载均衡调度器的步骤

(1)部署ingress controller,我们ingress controller使用的是traefik

(2)创建service,用来分组pod

(3)创建pod应用,可以通过控制器创建pod

(4)创建ingress http,测试通过http访问k8s内部pod

(5)创建ingress https,测试通过https访问k8s内部pod


8.客户端通过七层调度器访问后端pod的方式

使用七层负载均衡调度器ingress controller时,当客户端访问kubernetes集群内部的应用时,数据包走向如下面流程所示:

client--->Nodeip:port----->IngressController--->service--->pod

使用ingress暴露kubernetes集群内部的pod服务

如何创建Ingress资源

Ingress资源是基于HTTP虚拟主机或URL的转发规则,需要强调的是,这是一条转发规则。它在资源配置清单中的spec字段中嵌套了rules、backend和tls等字段进行定义。如下示例中定义了一个Ingress资源,其包含了一个转发规则:将发往tomcat.lucky.com的请求,代理给一个名字为myapp的Service资源。

apiVersion: extensions/v1beta1    kind: Ingress    metadata:        name: ingress-myapp     namespace: default       annotations:              kubernetes.io/ingress.class: "nginx"spec:       rules:     - host: tomcat.lucky.com       http:      paths:             - path:               backend:              serviceName: myapp          servicePort: 80

Ingress中的spec字段是Ingress资源的核心组成部分,主要包含以下3个字段:

rules:用于定义当前Ingress资源的转发规则列表;由rules定义规则,或没有匹配到规则时,所有的流量会转发到由backend定义的默认后端。

backend:默认的后端用于服务那些没有匹配到任何规则的请求;定义Ingress资源时,必须要定义backend或rules两者之一,该字段用于让负载均衡器指定一个全局默认的后端。

tls:TLS配置,目前仅支持通过默认端口443提供服务,如果要配置指定的列表成员指向不同的主机,则需要通过SNI TLS扩展机制来支持该功能。

backend对象的定义由2个必要的字段组成:serviceName和servicePort,分别用于指定流量转发的后端目标Service资源名称和端口。rules对象由一系列的配置的Ingress资源的host规则组成,这些host规则用于将一个主机上的某个URL映射到相关后端Service对象,其定义格式如下:

spec:  rules:  - hosts: <string>    http:      paths:      - path:        backend:          serviceName: <string>          servicePort: <string>

需要注意的是,.spec.rules.host属性值,目前暂不支持使用IP地址定义,也不支持IP:Port的格式,该字段留空,代表着通配所有主机名。tls对象由2个内嵌的字段组成,仅在定义TLS主机的转发规则上使用。

hosts:包含 于 使用 的 TLS 证书 之内 的 主机 名称 字符串 列表, 因此, 此处 使用 的 主机 名 必须 匹配 tlsSecret 中的 名称。

secretName: 用于 引用 SSL 会话 的 secret 对象 名称, 在 基于 SNI 实现 多 主机 路 由 的 场景 中, 此 字段 为 可选。

Ingress资源类型

Ingress的资源类型有以下4种:

1、单Service资源型Ingress2、基于URL路径进行流量转发3、基于主机名称的虚拟主机4、TLS类型的Ingress资源

单Service资源型Ingress

暴露单个服务的方法有多种,如NodePort、LoadBanlancer等等,当然也可以使用Ingress来进行暴露单个服务,只需要为Ingress指定default backend即可,如下示例:

apiVersion: extensions/v1beta1kind: Ingressmetadata:  name: my-ingressspec:  backend:    serviceName: my-svc    servicePort: 80

Ingress控制器会为其分配一个IP地址接入请求流量,并将其转发至后端my-svc

Ingress Nginx部署

使用Ingress功能需要如下步骤:

1、安装部署ingress controller Pod2、部署后端服务3、部署ingress-nginx service4、部署ingress

1.安装Ingress Controller

1)把Ingress相关的yaml文件传到k8s的master节点的/root/test目录

mkdir /root/test

需要上传到这个目录下的yaml文件为

Ingress相关的yaml文件在百度网盘,地址如下:

链接:https://pan.baidu.com/s/1SF9Ni0CK0QmTFDEglmejiA 提取码:61co

2)创建ingress-nginx名称空间

kubectl apply -f namespace.yaml

3)创建ingress controller的pod

kubectl apply -f .

4)测试部署是否成功

kubectl get all -n ingress-nginx

显示如下,说明部署成功了:

NAME                                            READY   STATUS    RESTARTS   AGEpod/default-http-backend-78d75577fd-g4b8n       1/1     Running   0          3m2spod/nginx-ingress-controller-7c7d57b55d-ng2gr   1/1     Running   0          3m2s
NAME                           TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGEservice/default-http-backend   ClusterIP   10.106.23.48   <none>        80/TCP    3m2s
NAME                                       READY   UP-TO-DATE   AVAILABLE   AGEdeployment.apps/default-http-backend       1/1     1            1           3m2sdeployment.apps/nginx-ingress-controller   1/1     1            1           3m2s
NAME                                                  DESIRED   CURRENT   READY   AGEreplicaset.apps/default-http-backend-78d75577fd       1         1         1       3m2sreplicaset.apps/nginx-ingress-controller-7c7d57b55d   1         1         1       3m2s

2.部署后端服务

1)部署后端服务

mkdir /root/test/ingress  && cd  /root/test/ingress

cat deploy-demo.yaml

apiVersion: v1kind: Servicemetadata:  name: myapp  namespace: defaultspec:  selector:    app: myapp    release: canary  ports:  - name: http    targetPort: 80    port: 80---apiVersion: apps/v1kind: Deploymentmetadata:  name: myapp-backend-pod  namespace: defaultspec:  replicas: 3  selector:    matchLabels:      app: myapp      release: canary  template:    metadata:      labels:        app: myapp        release: canary    spec:      containers:      - name: myapp        image: ikubernetes/myapp:v2        ports:        - name: http          containerPort: 80

2)更新yaml文件

kubectl apply -f deploy-demo.yaml

3)查看pod是否部署成功

kubectl get pods

显示如下,说明部署成功:

myapp-backend-pod-559ff5c66-6jgjs     1/1     Running   0          6smyapp-backend-pod-559ff5c66-fthgt     1/1     Running   0          6smyapp-backend-pod-559ff5c66-xtz6z     1/1     Running   0          6s


3.部署ingress-nginx service

通过ingress-controller对外提供服务,现在还需要手动给ingress-controller建立一个service,接收集群外部流量。方法如下:

1)下载ingress-controller的yaml文件

cat service-nodeport.yaml

apiVersion: v1kind: Servicemetadata:  name: ingress-nginx  namespace: ingress-nginx  labels:    app: ingress-nginxspec:  type: NodePort  ports:    - name: http      port: 80      targetPort: 80      protocol: TCP      nodePort: 30080    - name: https      port: 443      targetPort: 443      protocol: TCP      nodePort: 30443  selector:    app: ingress-nginx

2)创建ingress-controller的service

kubectl apply -f service-nodeport.yaml

查看service是否创建成功

kubectl get svc -n ingress-nginx

显示如下,说明创建成功:

ingress-nginx          NodePort    10.101.70.164   <none>        80:30080/TCP,443:30443/TCP   90s

3)浏览器访问ingress-controller的service

192.168.0.6:30080

注:192.168.0.6是k8s的master节点ip

此时应该是404 ,调度器是正常工作的,但是后端服务没有关联

使用ingress暴露kubernetes集群内部的pod服务

4.部署ingress

(1)编写ingress的配置清单

cat ingress-myapp.yaml

apiVersion: extensions/v1beta1          #api版本kind: Ingress           #清单类型metadata:                       #元数据  name: ingress-myapp    #ingress的名称  namespace: default     #所属名称空间  annotations:           #注解信息    kubernetes.io/ingress.class: "nginx"spec:      #规格  rules:   #定义后端转发的规则  - host: tomcat.lucky.com    #通过域名进行转发    http:      paths:             - path:       #配置访问路径,如果通过url进行转发,需要修改;空默认为访问的路径为"/"        backend:    #配置后端服务          serviceName: myapp          servicePort: 80


2)更新yaml文件

kubectl apply -f ingress-myapp.yaml

3)查看ingress-myapp的详细信息

kubectl describe ingress ingress-myapp

显示如下:

Name:             ingress-myappNamespace:        defaultAddress:          Default backend:  default-http-backend:80 (<error: endpoints "default-http-backend" not found>)Rules:  Host              Path  Backends  ----              ----  --------  tomcat.lucky.com                         myapp:80 (10.244.1.57:80,10.244.1.58:80,10.244.1.59:80)Annotations:        kubernetes.io/ingress.class: nginxEvents:  Type    Reason  Age   From                      Message  ----    ------  ----  ----                      -------  Normal  CREATE  44s   nginx-ingress-controller  Ingress default/ingress-myapp

4)修改本地host文件,下面的ip是k8s的master节点ip

192.168.0.6  tomcat.lucky.com

5)浏览器访问tomcat.lucky.com:30080

出现如下:

使用ingress暴露kubernetes集群内部的pod服务

5.部署ingress-测试代理tomcat服务

1)部署tomcat服务

cat tomcat-demo.yaml

apiVersion: v1kind: Servicemetadata:  name: tomcat  namespace: defaultspec:  selector:    app: tomcat    release: canary  ports:  - name: http    targetPort: 8080    port: 8080  - name: ajp    targetPort: 8009    port: 8009---apiVersion: apps/v1kind: Deploymentmetadata:  name: tomcat-deploy  namespace: defaultspec:  replicas: 3  selector:    matchLabels:      app: tomcat      release: canary  template:    metadata:      labels:        app: tomcat        release: canary    spec:      containers:      - name: tomcat        image: tomcat:8.5.34-jre8-alpine           ports:        - name: http          containerPort: 8080          name: ajp          containerPort: 8009


2)更新yaml文件

kubectl apply -f tomcat-demo.yaml

3)查看tomcat的pod是否部署成功

kubectl get pods

显示如下,说明创建成功:

tomcat-deploy-8655579b6c-5dfqw        1/1     Running   0          83stomcat-deploy-8655579b6c-9d79c        1/1     Running   0          83stomcat-deploy-8655579b6c-qmc62        1/1     Running   0          83s


4)编写tomcat的ingress规则,并创建ingress资源

cat ingress-tomcat.yaml

apiVersion: extensions/v1beta1kind: Ingressmetadata:  name: tomcat  namespace: default  annotations:    kubernetes.io/ingress.class: "nginx"spec:  rules:  - host: tomcat.lucky6.com    #主机域名    http:      paths:      - path:        backend:          serviceName: tomcat          servicePort: 8080


更新yaml文件:

kubectl apply -f ingress-tomcat.yaml

修改本地host文件,下面的ip是k8s的master节点ip

192.168.0.6  tomcat.lucky6.com

5)浏览器访问tomcat.lucky6.com:30080

可看到出现如下界面:

使用ingress暴露kubernetes集群内部的pod服务

6)总结

从前面的部署过程中,可以再次进行总结部署的流程如下:

①下载Ingress-controller相关的YAML文件,并给Ingress-controller创建独立的名称空间;

②部署后端的服务,如myapp,并通过service进行暴露;

③部署Ingress-controller的service,以实现接入集群外部流量;

④部署Ingress,进行定义规则,使Ingress-controller和后端服务的Pod组进行关联。

构建TLS站点

(1)准备证书,在k8s的master节点操作

openssl genrsa -out tls.key 2048


openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/L=Beijing/O=DevOps/CN=tomcat.lucky.com


(2)生成secret,在k8s的master节点操作

kubectl create secret tls tomcat-ingress-secret --cert=tls.crt --key=tls.key


(3)查看secret

kubectl get secret

显示如下:

tomcat-ingress-secret   kubernetes.io/tls                     2      56s

(4)查看tomcat-ingress-secret详细信息

kubectl describe secret tomcat-ingress-secret


显示如下:


Name:         tomcat-ingress-secretNamespace:    defaultLabels:       <none>Annotations:  <none>Type:  kubernetes.io/tlsData====tls.key:  1679 bytestls.crt:  1294 bytes


(5)创建ingress

cat ingress-tomcat-tls.yaml

apiVersion: extensions/v1beta1kind: Ingressmetadata:  name: ingress-tomcat-tls  namespace: default  annotations:    kubernetes.io/ingress.class: "nginx"spec:  tls:  - hosts:    - tomcat.lucky.com    secretName: tomcat-ingress-secret  rules:  - host: tomcat.lucky.com    http:      paths:      - path:        backend:          serviceName: tomcat          servicePort: 8080


更新yaml文件

kubectl apply -f ingress-tomcat-tls.yaml

(6)访问测试:

https://tomcat.lucky.com:30443/

上面最好火狐浏览器访问,选择接受风险并继续即可出现如下界面

使用ingress暴露kubernetes集群内部的pod服务


上一篇:多云管理平台Rancher与安全最佳实践


下一篇:03-K8s部署安装配置nginx-ingress和配置外网访问