基于sshd的k8s混合云快速构建实践

2022-03-25 03:55:26

背景

由于多个团队的服务之间得测试环境在不同网段，现在两个集群需要联调，一个是部署在内网的各种数据库环境，如kafka，mysql，redis，另一个是跑在云上的k8s应用，对外网走的 EIP + ELB + istio-ingressgateway 的方式，现在线上集群需要调用线下内网服务。

整体解决方案

整体架构：

确定核心架构后，拆分工作目标

工作拆分

主要可以分为三块工作：

在k8s集群构建一个 sshd 服务
用 istio-ingressgateway 挂载 ELB，为 sshd 服务构建路由
在内网构建反向代理

集群中构建 sshd 服务

编写 Dockerfile

这里选用的是 rastasheep/ubuntu-sshd 的 Dockerfile 作为基础镜像构建：

FROM rastasheep/ubuntu-sshd:14.04

RUN echo "GatewayPorts yes" >> /etc/ssh/sshd_config

EXPOSE 22

CMD    ["/usr/sbin/sshd", "-D"]

注意需要添加GatewayPorts

构建 Dockerfile:

docker build -t registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1  .

推送上云端镜像仓库：

docker login registry.cn-shenzhen.aliyuncs.com
docker push registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1

编写 k8s 应用配置

构建 deployment 和 services 服务：

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: tools-sshd-jumpserver
  name: tools-sshd-jumpserver
spec:
  replicas: 1
  selector:
    matchLabels:
      app: tools-sshd-jumpserver
  template:
    metadata:
      labels:
        app: tools-sshd-jumpserver
    spec:
      containers:
      - image: registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1
        imagePullPolicy: Always
        name: tools-sshd-jumpserver
      imagePullSecrets:
        - name: regcred

---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: tools-sshd-jumpserver
  name: tools-sshd-jumpserver
spec:
  type: ClusterIP
  selector:
    app: tools-sshd-jumpserver
  ports:
    - name: ssh
      port: 22
      targetPort: 22
      protocol: TCP
    - name: kafka
      port: 9092
      targetPort: 9092
      protocol: TCP
    - name: kafka
      port: 9092
      targetPort: 9092
      protocol: TCP
    - name: redis
      port: 6379
      targetPort: 6379
      protocol: TCP
    - name: mysql
      port: 3306
      targetPort: 3306
      protocol: TCP

配置 istio

安装 ingressgateway

由于之前就有一个绑定内网 ELB 的 ingressgateway 了，需要再安装一个外网的 ingressgateway，这里是直接基于 istioctl manifest generate 生成文件安装。这里省略了，有兴趣可以查看地址

绑定公网 ELB

istio 可以通过设置 ingressgateway 绑定 ELB，并设置对外暴露端口，这里以华为云为例：

apiVersion: v1
kind: Service
metadata:
  annotations:
    kubernetes.io/elb.class: union
    kubernetes.io/elb.id: xxxxxx
    kubernetes.io/elb.lb-algorithm: ROUND_ROBIN
    kubernetes.io/elb.vpc.id: xxxxx
    kubernetes.io/session-affinity-mode: SOURCE_IP
  finalizers:
  - service.kubernetes.io/load-balancer-cleanup
  labels:
    app: istio-ingressgateway-external
    install.operator.istio.io/owning-resource: unknown
    istio: ingressgateway-external
    istio.io/rev: default
    operator.istio.io/component: IngressGateways
    release: istio
spec:
  ...
  loadBalancerIP: xx.xx.xx.247 #这里要手动设置ip地址
  ports:
  - name: ssh
    port: 22022
    protocol: TCP
    targetPort: 22022

详细参考：https://support.huaweicloud.com/api-cce/cce_02_0087.html

设置 istio 的 Gateway 和 virtualService

gateway 和 virtualService 会配置 ingress 转发规则。

设置 Gateway，因为走的是 tcp 协议这里设置：

apiVersion: networking.istio.io/v1beta1
kind: Gateway
metadata:
  name: my-tls-gateway
spec:
  selector:
    istio: ingressgateway-external #这个selector要对应istio ingressgateway 的 label
  servers:
  - hosts:
    - '*'
    port:
      name: ssh
      number: 22022
      protocol: TCP

设置 virtualService 到目标地址：

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: sshd-jumpserver
spec:
  gateways:
  - my-tls-gateway
  hosts:
  - xx.xx.xx.247
  tcp:
  - match:
    - port: 22022
    route:
    - destination:
        host: tools-sshd-jumpserver.rcmd.svc.cluster.local
        port:
          number: 22

构建方向代理

ssh -R 做反向代理

ssh 提供了三种代理功能：

正向代理（-L）：相当于 iptable 的 port forwarding
反向代理（-R）：相当于 frp 或者 ngrok
socks5 代理（-D）：相当于 ss/ssr

这里主要使用 ssh 提供的反向代理功能，也就是 ssh -R，用法：

ssh -R <登陆服务暴露的地址>:<登陆服务暴露的端口>:<目标地址>:<目标端口>  <登陆用户名>@<ssh登陆服务> -p <ssh登陆端口>

比如远程机器地址为 14.14.1.1，ssh登陆端口为 22，目标为局域网的一台redis机器，目标地址为 192.168.2.3，目标端口为 6379，登陆服务暴露全网段地址，也就是 0.0.0.0，暴露端口和目标端口保持一致，也是 6379，那么写作：

ssh -R 0.0.0.0:6379:192.168.2.3:6379 root@14.14.1.1 -p 22

okay，基本命令确定后，可以将其封装进 Systemd 守护进程运行，编写systemd文件：

[Unit]
Description=Reverse ssh tunnel
After=network.target

[Service]
Restart=always
RestartSec=10
User=mpengine
ExecStart=/usr/bin/ssh -NT -o ServerAliveInterval=60 -R 0.0.0.0:9092:xx.xx.xx.xx:9092 -R 0.0.0.0:6379:xx.xx.xx.xx:6379 -R 0.0.0.0:3306:xx.xx.xx.xx:3306 root@14.14.1.1 -p 22

[Install]
WantedBy=multi-user.target

systemctl 执行脚本：

$ cp kube-sshd.service /usr/lib/systemd/system/
$ ln -s /usr/lib/systemd/system/kube-sshd.service /etc/systemd/system/cloud-init.target.wants/kube-sshd.service
$ systemctl start kube-sshd.service

测试

用集群内的 redis-cli 连接 sshd 服务进行测试:

okay，整个流程打通。

码农公寓

背景