核心内容摘要
张一鸣蝉联中国首富，身家5500亿
在ERP、OA等企业级多Web应用场景中K8s集群的入口流量架构设计直接决定系统稳定性、可扩展性和安全性。
本文结合实际项目经验详细拆解“外层Nginx负载均衡内层独立Ingress Controller”架构的设计逻辑、职责划分、动态伸缩实现及完整配置方案适用于中大型企业多业务隔离场景。
架构核心认知两层Nginx并非重复设计很多同学会疑惑外层已部署Nginx负载均衡为何还要在K8s集群内部署Nginx Ingress Controller二者本质是互补协作关系核心差异体现在工作层级、部署位置和职责范围绝非功能重复。
1 架构整体链路用户请求流转路径用户 → 公网域名 → 外层Nginx集群外 → 内层Ingress Controller集群内Pod → 业务Service → 业务Pod该架构通过分层解耦实现流量接入、路由转发、安全防护的精细化管控完全适配企业级多应用场景需求。
2 两层Nginx核心差异对比外层Nginx与内层Nginx Ingress Controller虽同为Nginx但定位、能力、使用场景完全不同核心差异可通过下表清晰区分兼顾运维交底与架构设计参考对比维度外层Nginx集群外负载均衡内层Nginx Ingress Controller集群内工作层级TCP/IP四层传输层仅识别IP和端口不解析HTTP请求头、域名、路径等应用层内容。
HTTP/HTTPS七层应用层深度解析请求中的域名、URL路径、Cookie、请求头支持基于这些信息做路由转发。
部署位置K8s集群外部通常部署在公网与集群之间作为流量进入集群的第一道关口可是物理机、虚拟机或云厂商SLB。
K8s集群内部以Pod形式运行受K8s调度管理可依托K8s实现自动扩缩容、故障自愈。
核心职责
公网IP与域名绑定统一接入入口
SSL证书卸载集群内统一走HTTP减少重复加密损耗
基础安全防护IP黑白名单、防CC攻击、简单WAF
全局限流防护整个集群免受突发流量冲击
分发流量至内层多个Ingress Controller保障Ingress层高可用。
监听K8s Ingress资源动态生成路由规则
基于域名/路径转发至对应业务Service实现应用级路由
业务级精细化控制路径重写、请求头修改、会话保持、灰度发布
依托K8s Service实现后端Pod服务发现无需手动维护Pod IP
针对单个应用做细粒度限流、错误页面自定义等。
配置管理静态配置需通过Ansible、SaltStack或配置中心如Nacos手动推送更新修改后需重载Nginx生效。
动态配置实时监听K8s API Server当Ingress、Service、Pod资源变化时自动更新内部Nginx配置无需人工干预。
高可用实现多实例部署VIP漂移如Keepalived或依赖云厂商SLB的天然高可用能力避免入口单点故障。
多Pod部署K8s反亲和性配置确保Pod分散在不同节点配合K8s自愈能力Pod故障后自动重启重建。
适用场景集群全局入口管控负责流量接入、安全防护、全局负载适配多集群、混合云场景的统一入口需求。
集群内应用路由分发适配多应用隔离、动态扩缩容、精细化流量控制的企业级业务需求。
通过上述差异可见两层Nginx各司其职、层层互补既避免了功能重叠又实现了流量接入、路由转发、安全防护的全链路管控共同构成企业级K8s集群的高可用入口架构为后续多应用独立Ingress部署奠定基础。
多应用独立Ingress Controller设计意义在企业K8s集群中为每个Web应用部署独立Ingress Controller且多Pod运行是经过实践验证的高可用设计
核心价值体现在四大维度
1 业务隔离规避“一损俱损”风险不同应用的Ingress Controller完全独立部署在专属命名空间实现三重隔离故障隔离某应用Ingress配置错误或流量突增仅影响自身不扩散至ERP、OA等核心业务。
资源隔离为核心业务如ERP财务模块分配更高CPU、内存资源避免非核心业务挤占资源。
配置隔离每个应用的路由规则、限流策略、灰度配置独立管理无规则冲突风险。
2 多Pod部署消除单点故障单Pod部署的Ingress Controller存在明显单点风险多Pod部署结合K8s反亲和性配置可实现流量自动分发外层Nginx将流量转发至多个Ingress Pod单个Pod故障时请求自动切换至健康实例。
节点级容灾通过反亲和性将Pod调度至不同节点避免节点故障导致整个应用Ingress服务不可用。
3 灵活扩展适配业务流量波动企业应用流量存在明显峰值如ERP月末结账、电商促销独立Ingress Controller支持独立扩缩容仅针对高负载应用的Ingress Controller扩容无需影响其他应用资源利用率更高。
定制化优化针对不同应用特性调整配置如静态资源应用开启缓存API服务优化连接复用。
4 安全合规满足企业管控要求金融、制造等行业对系统安全合规要求较高该设计可实现权限隔离为每个Ingress Controller绑定专属ServiceAccount限制对K8s API的访问权限降低安全风险。
审计追溯独立的Ingress访问日志可清晰追溯每个应用的访问行为满足合规审计需求。
动态伸缩关键外层Nginx如何发现Ingress PodIngress Controller动态扩缩容时外层Nginx需自动感知Pod新增/下线无需人工修改配置。
推荐采用K8s Service 反向代理方案无需额外引入组件适配企业单集群多应用场景。
1
实现原理核心依赖K8s Service的自动发现能力为每个Ingress Controller创建专属Service通过Label Selector关联对应Pod。
Service自动维护后端Endpoints列表Ingress Pod扩缩容时Endpoints实时更新。
外层Nginx仅需转发流量至Service的固定ClusterIP由Service完成Pod负载均衡。
推荐使用Headless ServiceclusterIP: None外层Nginx可直接解析Pod IP减少转发层级提升性能。
2 完整配置实操以ERP订单模块为例以下配置可直接复制部署实现Ingress Controller独立部署、多Pod运行及动态伸缩适配企业生产环境。
3.
1 命名空间创建业务隔离必备创建ERP订单模块专属命名空间避免资源冲突# erp-order-namespace.yaml apiVersion: v1 kind: Namespace metadata: name: erp-order # 订单模块专属命名空间 labels: app: erp-order
3.
2 Ingress Controller Deployment配置管理Ingress Pod生命周期支持动态扩缩容配置中重点标注企业级优化项# erp-order-ingress-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: erp-order-ingress-controller namespace: erp-order spec: replicas: 2 # 初始2个Pod可动态调整 selector: matchLabels: app: erp-order-ingress-controller # 关联Service的核心标签 template: metadata: labels: app: erp-order-ingress-controller spec: containers: - name: nginx-ingress-controller image: k8s.gcr.io/ingress-nginx/controller:v
1.
6 # 官方稳定版镜像 args: # 仅监听本命名空间Ingress资源实现多应用隔离 - --watch-namespaceerp-order # 关联Service确保Ingress规则正确生效 - --publish-service$(POD_NAMESPACE)/erp-order-ingress-service - --log-levelinfo # 生产环境建议info级别 # ERP长连接优化适配大文件上传/报表导出 - --proxy-connect-timeout60s - --proxy-read-timeout300s resources: # 资源限制按业务负载调整 limits: cpu: 1000m memory: 1Gi requests: cpu: 500m memory: 512Mi ports: - name: http containerPort: 80 - name: https containerPort: 443 # 健康检查异常Pod自动重启 livenessProbe: httpGet: path: /healthz port: 10254 initialDelaySeconds: 10 periodSeconds: 10 readinessProbe: httpGet: path: /healthz port: 10254 initialDelaySeconds: 5 periodSeconds:
53.
3 Ingress Controller Service配置创建Service为Ingress Pod提供固定入口自动感知Pod变化# erp-order-ingress-service.yaml apiVersion: v1 kind: Service metadata: name: erp-order-ingress-service namespace: erp-order spec: selector: app: erp-order-ingress-controller # 与Deployment标签一致 type: ClusterIP # 集群内访问外层Nginx通过ClusterIP转发 ports: - name: http port: 80 targetPort: 80 protocol: TCP # 如需HTTPS启用以下配置 # - name: https # port: 443 # targetPort: 443 # protocol: TCP
3.
4 外层Nginx对接配置外层Nginx只需对接Service的固定ClusterIP无需关心Pod数量配置如下# 外层Nginx配置erp-order.conf http { upstream erp_order_ingress_cluster { server
10.
96.
1
10:80; # 替换为实际Service ClusterIP keepalive 32; # 开启连接复用提升性能 } server { listen 80; server_name order.erp.wolfcode.cn; # 订单模块公网域名 location / { proxy_pass http://erp_order_ingress_cluster; # 传递真实IP和域名便于业务日志溯源 proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # 适配ERP长请求场景 proxy_connect_timeout 60s; proxy_read_timeout 300s; } } }
3.
5 部署与动态扩缩容测试#
部署Ingress Controller kubectl apply -f erp-order-ingress-deployment.yaml #
创建Service kubectl apply -f erp-order-ingress-service.yaml #
查看Service ClusterIP替换外层Nginx配置 kubectl get svc erp-order-ingress-service -n erp-order #
扩容至5个Pod kubectl scale deployment erp-order-ingress-controller -n erp-order --replicas5 #
验证Pod状态 kubectl get pods -n erp-order #
查看Service关联的PodEndpoints kubectl describe svc erp-order-ingress-service -n erp-order
企业级优化与避坑指南
1 避免功能重叠减少性能损耗SSL卸载仅在外层Nginx处理HTTPS证书集群内流量用HTTP传输避免重复加密解密。
限流分层外层做全局限流防护集群内层做业务级限流精准控制单应用。
2 简化配置维护降低运维成本外层Nginx用Ansible或配置中心管理静态配置批量同步更新。
内层Ingress完全通过K8s Ingress资源定义路由规则实现配置动态更新。
3 性能优化适配企业高负载场景外层Nginx开启连接复用、Gzip压缩、缓存静态资源提升访问速度。
Ingress Controller调整worker进程数匹配宿主机CPU核心数优化连接超时时间适配ERP长连接。
4 监控告警提前发现问题外层Nginx监控公网入口QPS、延迟、错误率告警异常流量攻击。
Ingress Controller监控各应用转发延迟、Pod健康状态告警Pod扩缩容异常。
五、
总结“外层Nginx负载均衡内层独立Ingress Controller”架构通过分层解耦、业务隔离、动态伸缩设计完美适配企业级多Web应用的稳定性、安全性和可扩展性需求。
核心在于明确两层Nginx的职责边界依托K8s Service实现Ingress Pod的自动发现无需额外组件即可满足生产环境需求。
该架构已在多个ERP项目中落地验证能够有效支撑业务迭代和流量波动同时降低运维复杂度适合中大型企业K8s集群长期演进。