👋 欢迎来到吴老二技术博客,专注运维 / 数据库 / 云原生
首页/云原生/正文

Docker Swarm 中 Nginx 反代网关报 "No route to host" 的根因与解法

吴
吴老二
2026-11-17云原生11 次浏览0 条评论

背景

集群使用 Docker Swarm 部署,Nginx 通过反向代理访问网关服务 wulaoer。按 Swarm 规则,Nginx 配置里写服务名加端口即可通信,例如:

proxy_pass http://wulaoer:8000;

但实际遇到一个稳定复现的问题:先重启 Nginx,再重启网关,请求开始报错:

connect() failed (113: No route to host) while connecting to upstream,
upstream: "http://10.1.1.158:8000/..."

并且 Nginx 会把该 upstream 临时标记为不可用:

upstream server temporarily disabled while connecting to upstream

根因:Nginx 缓存了网关的旧容器 IP

问题的本质不在 Swarm 网络,也不在"路由器",而在于 Nginx 的 DNS 解析缓存策略。

Nginx 对 proxy_pass 后面直接写死的域名或服务名,只在启动或 reload 配置时解析一次,然后把解析到的 IP 缓存进内存,之后所有请求都直接使用这个 IP,不再查询 DNS。

于是出现了这个时序:

  1. 先重启 Nginx:此时网关容器 IP 是 10.1.1.158,Nginx 启动时解析并缓存了它。
  2. 再重启网关:Swarm 重建网关容器,分配了新的 IP。
  3. Nginx 内存里仍是旧 IP 10.1.1.158,继续往这个已不存在的地址发包 → No route to host。

反过来"先重启网关、再重启 Nginx"就不会报错,因为 Nginx 启动时解析到的是新 IP。这个现象正好印证了根因是 Nginx 缓存的 IP 过期,而不是网络本身有问题。

一个常见误解:Swarm 不是有 DNS 吗?

Swarm 确实内置了 DNS 和服务发现:overlay 网络中的容器通过 127.0.0.11 查询服务名,Swarm 会返回服务的虚拟 IP(VIP),并由路由网格维护转发。服务更新时,这套映射本身是能跟着变的。

但关键点是:Swarm 的 DNS 会更新,Nginx 却不会主动去反复查询它。 问题不在 Swarm 缺少 DNS,而在 Nginx 默认"解析一次、长期缓存"的行为。这和 Kubernetes 里 Service 的表现不同——K8s 侧通常由 Ingress Controller 或相关组件处理动态更新,而手动配置的 Nginx 需要显式告诉它"去重新查"。

解法一:变量 + resolver,让 Nginx 周期性重新解析

要触发 Nginx 在运行时重新解析,必须同时满足两个条件:

  1. 使用变量:不能把服务名直接写在 proxy_pass 后面,要先赋给变量。
  2. 显式指定 resolver:Nginx 不读系统 /etc/resolv.conf,必须指明 DNS 地址(Swarm 中是 127.0.0.11),并用 valid 控制缓存有效期。
server {
    listen 80;
    resolver 127.0.0.11 valid=10s ipv6=off;

    location /api/ {
        set $gateway_upstream "wulaoer:8000";
        proxy_pass http://$gateway_upstream;

        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

代价:valid=10s 意味着网关重启后最长有 10 秒窗口可能仍用旧 IP,这段时间请求会失败。可以调小到 2s 甚至 1s 来压缩窗口,但理论上无法做到零失败。如果业务要求"连 1 秒错误都不能有",这种定时轮询机制本身就不满足要求,需要事件驱动方案(如 docker-gen 监听容器事件、IP 变化即重载 Nginx),代价是引入额外组件和维护成本。

解法二:端口发布到宿主机,Nginx 指向宿主机 IP + 端口

另一个思路是把"会变的容器 IP"换成"不变的宿主机 IP + 固定映射端口",Nginx 代理目标变成静态地址,从根本上绕开 IP 变化问题。

前提是宿主机内网 IP 稳定。通过 Swarm 发布端口:

docker service update --publish-add published=8000,target=8000 wulaoer

不指定 mode,默认就是 ingress 模式。Nginx 配置相应改为:

proxy_pass http://<宿主机内网IP>:8000;

为什么多副本、同节点也不冲突

这是很多人容易担心的问题:两个副本落在同一节点会不会抢 8000 端口?在 ingress 模式下不会。

ingress 模式的端口发布是服务级别的,由 Swarm 的路由网格(routing mesh) 统一接管。集群每个节点都监听 8000,请求进入路由网格后,通过内部 IPVS 机制负载均衡到任意健康的后端容器,无论容器在哪个节点。端口不是由单个容器或宿主机绑定的,所以即使两个副本同节点也不会冲突。

只有 mode=host 才会冲突:容器直接使用宿主机网络命名空间,同一节点上第二个绑定同端口的副本会启动失败。所以要避开 host 模式。

这个方案的取舍

  • 优点:彻底规避容器 IP 变化;配置简单;无需 resolver/变量;保留 ingress 的跨节点负载均衡。
  • 缺点:依赖宿主机 IP 稳定;端口被占用后该节点不能再跑绑定同端口的服务;Nginx 与网关的部署有一定耦合。

怎么确认服务用的是 ingress 还是 host 模式

用 docker service inspect 查看,但要注意查对字段。.Spec.EndpointSpec.Ports 和 .Endpoint.Ports 在未发布端口时都返回 null:

docker service inspect wulaoer --format '{{json .Endpoint.Ports}}'

如果服务确实发布了端口,这里应能看到类似:

[{"Protocol":"tcp","TargetPort":8000,"PublishedPort":8000}]

若输出为 null,说明创建服务时根本没带 --publish,需要补上:

docker service update --publish-add published=8000,target=8000 wulaoer

也可以用 --pretty 查看,Ports 栏为空即代表未发布。补充一点:端口发布配置在服务上是持久化的,日常滚动更新(换镜像、调健康检查、改更新策略)只要不带 --publish-rm,就不会丢失端口映射,不需要每次更新都加 --publish-add。

关于 ingress 与 K8s Service 的类比

ingress 模式在功能定位上确实很像 Kubernetes 的 Service(尤其是 NodePort 类型):都是集群级入口、都做 L4 负载均衡、都隐藏后端实例细节。区别在实现:K8s 通常由 kube-proxy 通过 iptables/IPVS 配置转发;Swarm 由 Docker Engine 内置的路由网格和 IPVS 完成,并且与 overlay 网络深度集成,开箱即用。

服务之间通过服务名通信会不会有同样问题

其他服务通过 wulaoer:8000 访问时,Docker Swarm 的 DNS 返回的是 VIP,VIP 由路由网格维护,不随具体容器 IP 变化。所以之前 Nginx 那种"缓存旧容器 IP"的问题,一般不会在正常走 DNS 解析的调用方身上复现。

但要留意几类例外:

  1. 客户端自己缓存 IP:某些 HTTP 客户端、gRPC/Netty 或连接池在启动时解析一次并长期缓存,同样会连旧地址。
  2. 长连接场景:网关副本重启会断开长连接,客户端需要能重新解析并重连。
  3. 内核缺少 IPVS 模块等极端情况会导致 VIP 负载均衡失效。

建议检查调用方框架是否支持定期重新解析 DNS,并配置合理的超时与重试。

小结

| 方案 | 是否解决 IP 变化 | 复杂度 | 负载均衡 | 适用场景 | | ---------------------------- | ---------------- | ------ | ------------ | ---------------------- | | 变量 + resolver | 是(有窗口期) | 低 | 保留 VIP | 常规 Swarm | | docker-gen 等事件驱动 | 是(近实时) | 中 | 保留 VIP | 要求高可用 | | 宿主机 IP + ingress 端口发布 | 是(彻底固定) | 低 | 保留 ingress | 节点 IP 稳定、副本不多 |

核心结论:Swarm 的 DNS 和 VIP 机制本身是健全的,报错的根源是客户端(Nginx)缓存了过期 IP。 选择哪种解法,取决于你能接受多长的失败窗口、宿主机 IP 是否稳定,以及是否愿意引入额外组件。对于"节点 IP 稳定 + 副本数不多"的常见场景,ingress 端口发布配合宿主机 IP 是最简单可靠的落地方式。

评论 0

评论需 登录 后发表(注册并验证邮箱)。
还没有评论,来抢沙发~