问题起源

在通过容器化的道路上，很多实践都是运行在一个hybrid的环境里，也就是有部分程序在容器中，也有部分在VM或者物理机中，这个也是可以理解的，毕竟技术不能总放在一个篮子里，不然运维的人要崩溃的。在这样的环境下，很多企业原有的应用都是通过DNS访问的，那么容器里的应用是如何访问到这些应用的呢？在阿里云的Kubernetes里默认配置使用了KubeDNS(在后面的版本将被CoreDNS代替，敬请期待)，这个KubeDNS的上行DNS服务器，直接使用了阿里云的DNS服务，从而在默认情况下无法通过DNS的方式访问到企业的这些服务。

解决之道

阿里云的Kubernetes始终保持着对于Kuberbetes的一致性以及可移植性，所以可以直接参考Kubernetes的官方文档：https://kubernetes.io/docs/tasks/administer-cluster/dns-custom-nameservers/。主要思路是通过添加KubeDNS的上游DNS服务器来解决。这里具体演示如何在阿里云的Kubernetes设置上游DNS服务。

具体实践

Kubedns的组件基本介绍：

KubeDNS是Kubernetes的add-on组件，主要提供容器的DNS服务，他包含了一下组件在一个Pod中：

• kubedns: 监听k8s api server，在内存中维护DNS的记录同时响应DNS的请求
• dnsmasq: 增加DNS缓存来提高性能，查错主要通过这个组件来日志来判断。
• sidecar: 提供了一个统一的健康检查接口来执行对其它上面两个组件的健康检查

Kubelet的相关配置

DNS和Kubelete相关的配置有两个：

• --cluster-dns=<dns-service-ip> 指定容器使用的dns，因为使用了kubeDNS，这里配置的是kuebDNS的clusterip
• --cluster-domain=<default-local-domain> k8s内部使用的域名后缀。默认值是：cluster.local。目前不建议更改这个值。

配置上游DNS来支持企业内服务DNS服务器

通过kubectl describe kube-dns -n kube-system可以看到，kubedns的启动参数需要使用--config-dir=/kube-dns-config来读取配置文件，而这个配置是通过一个名为kube-dns的configmap获取的，所以我们只需要配置这个configmap就好

kubectl create configmap/kube-dns -n kube-system 

kubectl edit configmap/kube-dns -n kube-system

然后在data下添加对应的内容，例如：

upstreamNameservers: '["8.8.8.8", "100.100.2.136"]'

这里"8.8.8.8"和 "100.100.2.136"就是上游对应的DNS服务器了。

这里需要注意的是，变更了configmap，容器是无法感知的，这个也是我对configmap吐槽最多的地方。要使这个配置生效，只能去delete对应kube-dns的容器，让其重启来获取对应新的配置：

kubectl delete pod/<kube-dns-xxx> -n kube-system

这样我们就配置好了对应的上游服务器DNS了，容器内的应用就可以通过域名的方法来访问集群外的其它企业应用了。

填坑小记：

• 在阿里云中注意注意安全组的设置，因为kubeDNS是标准的DNS借口，所以主机间需要开放UDP 53端口，如果你发现可以 ping通ip，但是不能ping通域名，很可能就是这个问题了
• 需要查看kubedns是否已经激活对应的上游dns，可以用如下命令查日志：kubectl logs <kubedns pod> -c dnsmasq -n kube-system
  如图：

从而判断是否配置了上游的DNS服务器