服务网格GRPC协议多种编程语言实践.3.GRPC协议示例的容器实践

2022-05-26 18:07:21

1 容器资源

本篇使用上一篇分发的镜像，在阿里云容器服务(ACK)上部署。

4个版本的client通过调用变量GRPC_SERVER定义的服务grpc-server-svc.grpc-best.svc.cluster.local，均匀地路由到4个版本的server上。与此同时，我们通过配置istio-ingressgateway的Gateway可以将外部请求按负载均衡策略路由到4个版本的grpc server上。

示例完整的拓扑如下图所示。

grpc-server-svc

本系列的示例只有一个命名为grpc-server-svc的grpc类型的Service。grpc类型的服务，spec.ports.name的值需要以grpc开头。

apiVersion: v1
kind: Service
metadata:
  namespace: grpc-best
  name: grpc-server-svc
  labels:
    app: grpc-server-svc
spec:
  ports:
    - port: 9996
      name: grpc-port
  selector:
    app: grpc-server-deploy

server deployment

完整的deployment详见kube/deployment目录，这里以node server的deployment文件grpc-server-node.yaml为例，对服务端进行说明。

apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: grpc-best
  name: grpc-server-node
  labels:
    app: grpc-server-deploy
    version: v3
spec:
  replicas: 1
  selector:
    matchLabels:
      app: grpc-server-deploy
      version: v3
  template:
    metadata:
      labels:
        app: grpc-server-deploy
        version: v3
    spec:
      serviceAccountName: grpc-best-sa
      containers:
        - name: grpc-server-deploy
          image: registry.cn-beijing.aliyuncs.com/asm_repo/grpc_server_node:1.0.0
          imagePullPolicy: Always
          ports:
            - containerPort: 9996
              name: grpc-port

服务端的4个deployment都需要定义app标签的值为grpc-server-deploy，以匹配grpc-server-svc的selector。每种语言的version标签要各部相同。

client deployment

客户端和服务端有两处不同。

服务端启动后会持续运行，而客户端完成请求后就会结束进程，因此，需要实现一种死循环的方式保持客户端容器不自己退出。
需要定义变量GRPC_SERVER的值，在客户端容器启动时传递给grpc client。

这里以go client的deployment文件grpc-client-go.yaml为例，对客户端进行说明。

apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: grpc-best
  name: grpc-client-go
  labels:
    app: grpc-client-go
spec:
  replicas: 1
  selector:
    matchLabels:
      app: grpc-client-go
  template:
    metadata:
      labels:
        app: grpc-client-go
    spec:
      serviceAccountName: grpc-best-sa
      containers:
        - name: grpc-client-go
          image: registry.cn-beijing.aliyuncs.com/asm_repo/grpc_client_go:1.0.0
          command: ["/bin/sleep", "3650d"]
          env:
            - name: GRPC_SERVER
              value: "grpc-server-svc.grpc-best.svc.cluster.local"
          imagePullPolicy: Always

其中，command: ["/bin/sleep", "3650d"]是定义grpc_client_go启动后执行的命令，通过长久地sleep的方式保持客户端容器运行。env中定义了GRPC_SERVER变量，值为grpc-server-svc.grpc-best.svc.cluster.local。

2 部署

首先在ACK实例中创建名称为grpc-best的命名空间，然后为该命名空间启用自动注入sidecar。

alias k="kubectl --kubeconfig $USER_CONFIG"
k create ns grpc-best
k label ns grpc-best istio-injection=enabled

执行如下命令部署ServiceAccount、Service，及8个Deployment。

k apply -f grpc-sa.yaml
k apply -f grpc-svc.yaml
k apply -f deployment/grpc-server-java.yaml
k apply -f deployment/grpc-server-python.yaml
k apply -f deployment/grpc-server-go.yaml
k apply -f deployment/grpc-server-node.yaml
k apply -f deployment/grpc-client-java.yaml
k apply -f deployment/grpc-client-python.yaml
k apply -f deployment/grpc-client-go.yaml
k apply -f deployment/grpc-client-node.yaml

3 从POD侧验证

kube验证包括两侧，一侧是从client容器请求grpc server service，另一侧是从本地请求ingressgateway。这里演示从client容器请求4个server容器的过程。

首先通过如下命令，获取4个client容器的名称。

client_java_pod=$(k get pod -l app=grpc-client-java -n grpc-best -o jsonpath={.items..metadata.name})
client_go_pod=$(k get pod -l app=grpc-client-go -n grpc-best -o jsonpath={.items..metadata.name})
client_node_pod=$(k get pod -l app=grpc-client-node -n grpc-best -o jsonpath={.items..metadata.name})
client_python_pod=$(k get pod -l app=grpc-client-python -n grpc-best -o jsonpath={.items..metadata.name})

然后通过如下命令，在client容器中执行对grpc server service的请求。

k exec "$client_java_pod" -c grpc-client-java -n grpc-best -- java -jar /grpc-client.jar

k exec "$client_go_pod" -c grpc-client-go -n grpc-best -- ./grpc-client

k exec "$client_node_pod" -c grpc-client-node -n grpc-best -- node proto_client.js
  
k exec "$client_python_pod" -c grpc-client-python -n grpc-best -- sh /grpc-client/start_client.sh

最后我们以node client为例，通过一个循环，验证grpc server service的负载均衡。

for ((i = 1; i <= 100; i++)); do
  k exec "$client_node_pod" -c grpc-client-node -n grpc-best -- node kube_client.js > kube_result
done
sort kube_result | grep -v "^[[:space:]]*$" | uniq -c | sort -nrk1

输出如下，均匀路由4个版本的服务，符合预期。

  26 Talk:PYTHON
  25 Talk:NODEJS
  25 Talk:GOLANG
  24 Talk:JAVA

4 从本地验证

接下来，我们再来验证从本地请求istio-ingressgateway。进入服务网格(ASM)实例，定义GRPC服务的Gateway，将如下内容复制到页面。

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  namespace: grpc-best
  name: grpc-gateway
spec:
  selector:
    istio: ingressgateway
  servers:
    - port:
        number: 9996
        name: grpc
        protocol: GRPC
      hosts:
        - "*"

使用如下命令获取istio-ingressgateway的IP。

alias k="kubectl --kubeconfig $USER_CONFIG"
INGRESS_IP=$(k -n istio-system get service istio-ingressgateway -o jsonpath='{.status.loadBalancer.ingress[0].ip}')

使用如下命令验证grpc server service的负载均衡。

docker run -d --name grpc_client_node -e GRPC_SERVER="${INGRESS_IP}" registry.cn-beijing.aliyuncs.com/asm_repo/grpc_client_node:1.0.0 /bin/sleep 3650d
client_node_container=$(docker ps -q)

docker exec -e GRPC_SERVER="${INGRESS_IP}" -it "$client_node_container" node kube_client.js

for ((i = 1; i <= 100; i++)); do
  docker exec -e GRPC_SERVER="${INGRESS_IP}" -it "$client_node_container" node kube_client.js >> kube_result
done
sort kube_result | grep -v "^[[:space:]]*$" | uniq -c | sort -nrk1

码农公寓