
一次 K8s 节点日志暴涨排查:node-exporter 的 hostPath 让 netns 变成了删不掉的僵尸
测试集群里 k8snode21 这根节点最近有点不对劲。108G 的系统盘用掉 75G,占用 69%,但节点上只跑了 18 个 pod。更怪的是 /var/log/messages
集群使用 Docker Swarm 部署,Nginx 通过反向代理访问网关服务 wulaoer。按 Swarm 规则,Nginx 配置里写服务名加端口即可通信,例如:
proxy_pass http://wulaoer:8000;
但实际遇到一个稳定复现的问题:先重启 Nginx,再重启网关,请求开始报错:
connect() failed (113: No route to host) while connecting to upstream,
upstream: "http://10.1.1.158:8000/..."
并且 Nginx 会把该 upstream 临时标记为不可用:
upstream server temporarily disabled while connecting to upstream
问题的本质不在 Swarm 网络,也不在"路由器",而在于 Nginx 的 DNS 解析缓存策略。
Nginx 对 proxy_pass 后面直接写死的域名或服务名,只在启动或 reload 配置时解析一次,然后把解析到的 IP 缓存进内存,之后所有请求都直接使用这个 IP,不再查询 DNS。
于是出现了这个时序:
10.1.1.158,Nginx 启动时解析并缓存了它。10.1.1.158,继续往这个已不存在的地址发包 → No route to host。反过来"先重启网关、再重启 Nginx"就不会报错,因为 Nginx 启动时解析到的是新 IP。这个现象正好印证了根因是 Nginx 缓存的 IP 过期,而不是网络本身有问题。
Swarm 确实内置了 DNS 和服务发现:overlay 网络中的容器通过 127.0.0.11 查询服务名,Swarm 会返回服务的虚拟 IP(VIP),并由路由网格维护转发。服务更新时,这套映射本身是能跟着变的。
但关键点是:Swarm 的 DNS 会更新,Nginx 却不会主动去反复查询它。 问题不在 Swarm 缺少 DNS,而在 Nginx 默认"解析一次、长期缓存"的行为。这和 Kubernetes 里 Service 的表现不同——K8s 侧通常由 Ingress Controller 或相关组件处理动态更新,而手动配置的 Nginx 需要显式告诉它"去重新查"。
要触发 Nginx 在运行时重新解析,必须同时满足两个条件:
proxy_pass 后面,要先赋给变量。/etc/resolv.conf,必须指明 DNS 地址(Swarm 中是 127.0.0.11),并用 valid 控制缓存有效期。server {
listen 80;
resolver 127.0.0.11 valid=10s ipv6=off;
location /api/ {
set $gateway_upstream "wulaoer:8000";
proxy_pass http://$gateway_upstream;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
代价:valid=10s 意味着网关重启后最长有 10 秒窗口可能仍用旧 IP,这段时间请求会失败。可以调小到 2s 甚至 1s 来压缩窗口,但理论上无法做到零失败。如果业务要求"连 1 秒错误都不能有",这种定时轮询机制本身就不满足要求,需要事件驱动方案(如 docker-gen 监听容器事件、IP 变化即重载 Nginx),代价是引入额外组件和维护成本。
另一个思路是把"会变的容器 IP"换成"不变的宿主机 IP + 固定映射端口",Nginx 代理目标变成静态地址,从根本上绕开 IP 变化问题。
前提是宿主机内网 IP 稳定。通过 Swarm 发布端口:
docker service update --publish-add published=8000,target=8000 wulaoer
不指定 mode,默认就是 ingress 模式。Nginx 配置相应改为:
proxy_pass http://<宿主机内网IP>:8000;
这是很多人容易担心的问题:两个副本落在同一节点会不会抢 8000 端口?在 ingress 模式下不会。
ingress 模式的端口发布是服务级别的,由 Swarm 的路由网格(routing mesh) 统一接管。集群每个节点都监听 8000,请求进入路由网格后,通过内部 IPVS 机制负载均衡到任意健康的后端容器,无论容器在哪个节点。端口不是由单个容器或宿主机绑定的,所以即使两个副本同节点也不会冲突。
只有 mode=host 才会冲突:容器直接使用宿主机网络命名空间,同一节点上第二个绑定同端口的副本会启动失败。所以要避开 host 模式。
用 docker service inspect 查看,但要注意查对字段。.Spec.EndpointSpec.Ports 和 .Endpoint.Ports 在未发布端口时都返回 null:
docker service inspect wulaoer --format '{{json .Endpoint.Ports}}'
如果服务确实发布了端口,这里应能看到类似:
[{"Protocol":"tcp","TargetPort":8000,"PublishedPort":8000}]
若输出为 null,说明创建服务时根本没带 --publish,需要补上:
docker service update --publish-add published=8000,target=8000 wulaoer
也可以用 --pretty 查看,Ports 栏为空即代表未发布。补充一点:端口发布配置在服务上是持久化的,日常滚动更新(换镜像、调健康检查、改更新策略)只要不带 --publish-rm,就不会丢失端口映射,不需要每次更新都加 --publish-add。
ingress 模式在功能定位上确实很像 Kubernetes 的 Service(尤其是 NodePort 类型):都是集群级入口、都做 L4 负载均衡、都隐藏后端实例细节。区别在实现:K8s 通常由 kube-proxy 通过 iptables/IPVS 配置转发;Swarm 由 Docker Engine 内置的路由网格和 IPVS 完成,并且与 overlay 网络深度集成,开箱即用。
其他服务通过 wulaoer:8000 访问时,Docker Swarm 的 DNS 返回的是 VIP,VIP 由路由网格维护,不随具体容器 IP 变化。所以之前 Nginx 那种"缓存旧容器 IP"的问题,一般不会在正常走 DNS 解析的调用方身上复现。
但要留意几类例外:
建议检查调用方框架是否支持定期重新解析 DNS,并配置合理的超时与重试。
| 方案 | 是否解决 IP 变化 | 复杂度 | 负载均衡 | 适用场景 | | ---------------------------- | ---------------- | ------ | ------------ | ---------------------- | | 变量 + resolver | 是(有窗口期) | 低 | 保留 VIP | 常规 Swarm | | docker-gen 等事件驱动 | 是(近实时) | 中 | 保留 VIP | 要求高可用 | | 宿主机 IP + ingress 端口发布 | 是(彻底固定) | 低 | 保留 ingress | 节点 IP 稳定、副本不多 |
核心结论:Swarm 的 DNS 和 VIP 机制本身是健全的,报错的根源是客户端(Nginx)缓存了过期 IP。 选择哪种解法,取决于你能接受多长的失败窗口、宿主机 IP 是否稳定,以及是否愿意引入额外组件。对于"节点 IP 稳定 + 副本数不多"的常见场景,ingress 端口发布配合宿主机 IP 是最简单可靠的落地方式。
评论 0