Springcloud应用在阿里云Kubernetes上的IP互通实践

问题

在应用微服务化方案中,Springcloud是比较常见的选择,毕竟其对于Java 的程序员来说比较友好,基于Springboot的编程方式也使得门槛比较低。但是在将Springcloud的应用运行到Kubernetes容器化平台的时候,对于集群外的Client要访问集群内的服务就变得不是那么容易了。因为通常的Kubernetes部署有以下约束:

  • POD的IP段是独立的IP段,对于集群外的机器是不可访问
  • Springcloud的服务做服务注册的时候,注册的是POD的IP
  • Springcloud的客户端从Eureka上获取服务的IP是POD的IP,从而造成集群外机器访问该POD的IP是不通的。

解决方案

方案一: Host network

部署的时候,以host network的方式部署Springcloud的服务应用。这个方式虽然简单,但是其利用的是port mapping的方式,在同一个node节点部署多个实例时,容易造成端口冲突的问题,在kubernetes环境下,一般不建议使用

方案二:Bridge network/Macvlan/Vlan

利用CNI的bridge/Macvlan网络模式,或者是网络插件的Vlan模式(如Contiv),将POD的IP段设置成与主机IP段在同一个段内 ,通过配置交换机的路由,使其能够互访。
但是这里面有一定的局限性,特别是在公有云上,是无法在虚拟网络里再构建这些二层网络的。

方案三:将集群外的机器也纳入集群内管理,但是不运行POD(建议)

依然是将POD的IP段设置为独立的IP段,和主机IP段隔离。但是将集群外的机器,也纳入集群内:安装对应的kubectl, kubeproxy。这样在这台机器是可以直接访问POD的IP的。为了不让这些机器接受调度请求而运行对应的POD,需要认为将这些机器设置为非容器调度节点就可:

kubectl cordon <node-name>

如果不小心在上面已经了POD,则可以将这些POD驱离:

kubectl drain <node-name>

被驱离的node节点会显示SchedulingDisabled的状态:
Springcloud应用在阿里云Kubernetes上的IP互通实践

需要注意的是,可能某些DaemonSet已经在上面运行POD(如flexvolume, kube-proxy等),则忽略就可。这些DaemonSet通常占用资源很少,无需担忧起损耗

kubectl cordon <node-name> --ignore-daemonsets

如果在合适的时候,觉得这个node节点也可以加入kubernetes集群,则一条命令就搞定了:

kubectl uncordon <node-name>

在阿里云的kubernetes服务中,建议采用这种方式运行。

一个具体例子:

  • 在阿里云上通过Kubernetes容器服务,构建一个3 master+3 node的集群用来运行Springcloud的服务。
  • 部署Eureka服务到Kubernetes集群中,可以参考扩展阅读部分的章节(也可以部署在Kubernetes集群外)
  • 将要在集群外部署不是容器的Springcloud的客户端程序所在的ECS通过Kubernetes集群添加现有云服务器的方式纳入集群管理(注意,这些ECS必须和Kubernetes集群的ECS在同一个VPC)

Springcloud应用在阿里云Kubernetes上的IP互通实践

  • 成功添加后,再将该机器设置为非调度节点即可
  • 部署Springcloud的客户端程序

如果特殊情况的确需要将POD的IP段设置成ECS主机所在的VPC的一个段内,则需要特殊处理,请咨询对应的阿里云的服务同学。但是不建议该模式。

扩展阅读

更多Springcloud在kubernetes的实践,可以参考osswangxining同学的系列文章:

第一篇:分布式服务注册与发现系统
第二篇:分布式配置管理系统
第三篇:API网关服务Zuul 系统
第四篇:分布式追踪系统
第五篇:分布式弹性服务与容错处理框架Hystrix及其监控仪表板
第六篇:熔断器聚合监控Hystrix Turbine

上一篇:H3C运维审计系统 Web配置指导(笔记)


下一篇:教你 Shiro + SpringBoot 整合 JWT