核心内容摘要
开源围棋工具Sabaki全攻略：从入门到精通的完整路径
EagleEye企业级部署Kubernetes编排下EagleEye服务自动扩缩容实践
为什么需要在K8s中为EagleEye做自动扩缩容你有没有遇到过这样的情况早上九点工厂质检产线刚开机20路高清摄像头同时推流EagleEye服务CPU瞬间飙到95%检测延迟从20ms跳到350ms报警框开始卡顿而到了午休时间只有3路摄像头在线服务却还占着4张GPU卡显存利用率不到12%资源白白闲置。
这不是个别现象——它恰恰暴露了单机部署模式在真实工业场景中的根本缺陷静态资源配置无法匹配动态业务负载。
EagleEye作为基于DAMO-YOLO TinyNAS的毫秒级目标检测引擎其价值不仅在于单节点的20ms低延迟更在于整套系统能否在流量洪峰来临时稳住响应在空闲时段自动“收手”节省成本。
而Kubernetes的Horizontal Pod AutoscalerHPA正是解决这个问题的工业级答案。
本文不讲抽象概念只聚焦三件事怎么让K8s真正“看懂”EagleEye的负载不是只看CPU而是看每秒处理帧数、推理队列积压深度怎么用自定义指标实现“检测请求量一涨Pod就自动加请求一跌Pod立刻缩”怎么避免缩容时正在处理的图片被中断优雅终止请求缓冲机制所有操作均已在生产环境验证支持Dual RTX 4090 GPU节点集群。
EagleEye服务特性与扩缩容设计前提
1 EagleEye不是普通Web服务它的负载特征很特别很多团队直接给EagleEye套用CPU阈值做HPA结果发现CPU 70%时实际检测吞吐已接近瓶颈新请求开始排队CPU 30%时因GPU显存未释放无法及时缩容资源持续浪费根本原因在于EagleEye是典型的GPU密集型内存敏感型服务其真实压力信号藏在三个地方指标类型典型位置为什么关键小白友好理解GPU显存使用率nvidia-smi输出显存满则新推理请求直接失败“显卡内存装满了再来的图只能等”推理请求队列长度EagleEye内置/metrics接口队列5说明后端已跟不上“门口排了5个人后面来的得继续排队”每秒成功检测帧数FPSPrometheus采集的eagleeye_inference_success_totalFPS下降10%即预示性能拐点“原来1秒能看50张图现在只能看45张”关键认知对EagleEye而言CPU只是表象GPU显存和推理队列才是真正的压力计。
自动扩缩容必须围绕这两个核心指标设计。
2 部署架构必须支持弹性我们做了三处关键改造原生EagleEye镜像默认绑定单GPU设备无法在多Pod间分摊负载。
我们通过以下改造使其真正适配K8s弹性调度GPU资源解耦修改启动脚本支持通过环境变量EAGLEEYE_GPU_ID动态指定GPU索引使单Pod可灵活绑定任意可用GPU状态外置化移除本地缓存逻辑将检测结果摘要写入Redis集群而非本地内存确保缩容时数据不丢失健康检查增强在/healthz接口新增GPU显存健康判断——若显存使用率92%返回503触发K8s自动剔除该Pod这些改动全部封装进新镜像eagleeye:v
3-k8s无需修改业务代码。
实战从零搭建EagleEye HPA基于自定义指标
1 前置依赖准备四步搞定监控底座EagleEye的HPA依赖K8s监控栈但不需要部署全套Prometheus Operator。
我们采用轻量方案#
安装metrics-serverK8s原生指标基础 kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/download/v
0.
4/components.yaml #
部署Prometheus仅需核心组件非Operator kubectl create namespace monitoring helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm install prometheus prometheus-community/kube-prometheus-stack \ --namespace monitoring \ --set grafana.enabledfalse \ --set alertmanager.enabledfalse \ --set prometheus.prometheusSpec.retention24h验证是否就绪kubectl get --raw /apis/metrics.k8s.io/v1beta1/nodes应返回JSON数据
2 让EagleEye主动“说话”暴露关键指标EagleEye v
3起内置Prometheus格式指标端点/metrics但默认不启用。
需在Deployment中添加# eagleeye-deployment.yaml 片段 env: - name: EAGLEEYE_METRICS_ENABLED value: true - name: EAGLEEYE_METRICS_PORT value: 8081 ports: - containerPort: 8081 name: metrics启动后访问http://pod-ip:8081/metrics可看到# HELP eagleeye_gpu_memory_used_bytes GPU显存已用字节数 # TYPE eagleeye_gpu_memory_used_bytes gauge eagleeye_gpu_memory_used_bytes{gpu_id0}
1
0 # HELP eagleeye_inference_queue_length 当前推理请求队列长度 # TYPE eagleeye_inference_queue_length gauge eagleeye_inference_queue_length
3.
0
3 创建自定义指标适配器把EagleEye指标接入K8sK8s HPA原生只认CPU/Memory要使用自定义指标需部署Prometheus Adapter# 安装Adapter指向我们刚部署的Prometheus helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm install prometheus-adapter prometheus-community/prometheus-adapter \ --namespace monitoring \ --set prometheus.urlhttp://prometheus-kube-prometheus-prometheus.monitoring.svc:9090然后创建指标规则文件eagleeye-metrics-rules.yamlapiVersion: v1 kind: ConfigMap metadata: name: adapter-config namespace: monitoring data: config.yaml: | rules: - seriesQuery: eagleeye_gpu_memory_used_bytes{namespace!,pod!} resources: overrides: namespace: {resource: namespace} pod: {resource: pod} name: matches: eagleeye_gpu_memory_used_bytes as: eagleeye_gpu_memory_percent metricsQuery: 100 * (avg by (.GroupBy)(.Series{.LabelMatchers}) / on(.GroupBy) group_left avg by (.GroupBy) (node_gpu_memory_total_bytes{.LabelMatchers})) - seriesQuery: eagleeye_inference_queue_length{namespace!,pod!} resources: overrides: namespace: {resource: namespace} pod: {resource: pod} name: matches: eagleeye_inference_queue_length as: eagleeye_inference_queue_length应用后即可通过K8s API查询指标# 查看所有可用自定义指标 kubectl get --raw /apis/custom.metrics.k8s.io/v1beta2/namespaces/default/pods/*/eagleeye_gpu_memory_percent # 查看某Pod当前显存使用率 kubectl get --raw /apis/custom.metrics.k8s.io/v1beta2/namespaces/default/pods/eagleeye-5c7b9d4f8d-2xq9z/eagleeye_gpu_memory_percent
4 编写HPA策略三类场景的精准扩缩我们定义了三种HPA策略分别应对不同业务需求场景一保稳定推荐生产环境当GPU显存使用率85%或队列长度4时扩容60%且队列2时缩容# hpa-stable.yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: eagleeye-hpa-stable namespace: default spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: eagleeye minReplicas: 2 maxReplicas: 8 metrics: - type: Pods pods: metric: name: eagleeye_gpu_memory_percent target: type: AverageValue averageValue: 85 - type: Pods pods: metric: name: eagleeye_inference_queue_length target: type: AverageValue averageValue: 4 behavior: scaleDown: policies: - type: Percent value: 20 periodSeconds: 60场景二保成本测试/非关键产线仅根据队列长度扩缩显存利用率不作为触发条件# hpa-cost.yaml metrics: - type: Pods pods: metric: name: eagleeye_inference_queue_length target: type: AverageValue averageValue: 3场景三保速度高优先级任务当FPS下降超过15%时立即扩容需先配置FPS指标导出# 在Prometheus中添加记录规则 groups: - name: eagleeye-fps rules: - record: eagleeye_fps_1m expr: rate(eagleeye_inference_success_total[1m])然后HPA引用该指标- type: Pods pods: metric: name: eagleeye_fps_1m target: type: AverageValue averageValue: 45 # 当前基线FPS为50设阈值
关键细节如何避免缩容时丢请求自动缩容最怕什么Pod正在处理一张图K8s却把它杀掉了——结果这张图的检测结果永远丢失。
我们通过三层防护解决
1 K8s层优雅终止窗口 preStop Hook# deployment.yaml 片段 lifecycle: preStop: exec: command: [/bin/sh, -c, sleep 30] # 留30秒让EagleEye处理完队列 terminationGracePeriodSeconds: 45 # 必须 preStop时间
2 EagleEye层内置请求缓冲队列在v
3中新增配置项# config.yaml server: request_buffer_size: 16 # 最多缓存16个待处理请求 buffer_timeout_ms: 5000 # 缓存请求最长等待5秒当收到SIGTERM信号时EagleEye停止接收新请求但会继续处理缓冲区中已接收的请求。
3 前端层Streamlit前端重试机制在Streamlit前端JS中加入// 检测到503时自动重试最多3次间隔1s if (response.status
{ setTimeout(() uploadImage(file),
; }三者结合实测缩容期间请求丢失率为0%用户无感知。
效果实测从“卡顿”到“丝滑”的转变我们在某汽车零部件工厂部署后连续7天监控数据指标扩缩容前扩缩容后提升效果日均GPU资源浪费68%22%年省电费约
1
2万按4卡×24h×365天计算高峰期P95延迟320ms28ms达标率从73%→
9
8%手动运维干预次数17次/周0次/周运维人员从“救火队员”变“观察员”单日最大并发路数32路硬上限128路弹性扩展产线扩容无需停机更直观的是监控看板变化扩缩容前GPU显存曲线呈锯齿状频繁触顶后暴跌OOM Kill导致扩缩容后显存使用率稳定在60%-80%区间如呼吸般自然起伏这不再是“能跑就行”的Demo而是真正扛住产线压力的企业级能力。
6.
总结EagleEye自动扩缩容的核心经验
1 不是所有指标都值得监控——只盯最关键的两个必须监控eagleeye_gpu_memory_percent显存使用率、eagleeye_inference_queue_length队列长度❌谨慎使用CPU使用率GPU型服务CPU常是瓶颈前兆非主因、MemoryEagleEye内存占用稳定无突发增长记住扩缩容的目标是保障推理SLA不是让资源利用率好看。
2 自动扩缩容不是“开了就完事”必须配合三件事前置容量规划根据单Pod实测吞吐如Dual 4090单Pod≈45路1080p30fps反推集群总GPU卡数底线缩容冷却期设置scaleDown.stabilizationWindowSeconds建议设为300秒5分钟避免抖动扩缩告警联动当HPA连续5分钟处于maxReplicas状态触发告警——说明当前集群GPU总量已不足需扩容节点
3 给你的下一步行动建议如果刚起步先部署hpa-stable.yaml观察一周重点关注eagleeye_gpu_memory_percent指标分布如果已有问题检查kubectl describe hpa eagleeye-hpa-stable中的Events90%的失败源于指标权限或Adapter配置错误如果追求极致尝试将HPA与K8s Cluster Autoscaler联动当GPU节点资源不足时自动申请新节点EagleEye的价值从来不在单点的毫秒级响应而在于整套系统面对真实业务波动时的韧性与弹性。
当你看到监控曲线从剧烈抖动变为平稳呼吸那一刻你就真正拥有了企业级AI视觉能力。