核心内容摘要
用Python玩转鸢尾花分类：从sklearn.datasets到KNN实战（附完整代码）
Qwen
5-
5B容器化部署Kubernetes集成实战
为什么选Qwen
5-
5B做K8s部署在轻量级大模型落地场景中Qwen
5-
5B-Instruct 是一个被严重低估的“实干派”。
它不是参数堆砌的庞然大物而是专为边缘推理、API服务和资源受限环境打磨的小而强模型。
相比动辄几十GB显存占用的7B模型它能在单张消费级显卡如RTX 4090上稳定运行同时保持指令理解、结构化输出和多语言支持等核心能力——这恰恰是Kubernetes集群最需要的“可编排、可伸缩、可观测”的AI工作负载特征。
很多人误以为小模型能力弱但实际测试中Qwen
5-
5B在JSON格式生成、表格内容摘要、中文指令精准响应等任务上表现远超同量级竞品。
更重要的是它的推理延迟低、内存占用稳、启动速度快——这些不是论文里的指标而是K8s里Pod能否健康就绪、HPA能否准确扩缩、Prometheus能否抓取到有效指标的关键现实条件。
你不需要为它配专属GPU节点也不用担心OOM Kill频繁触发。
它能像一个标准Web服务那样被Helm Chart管理、被Ingress路由、被Service Mesh治理。
这才是真正意义上的“模型即服务”MaaS起点。
镜像准备与容器化改造要点
1 基础镜像选择策略官方未提供开箱即用的K8s就绪镜像因此需自主构建。
我们不推荐从python:
11-slim从零安装——那会引入不可控的依赖链和构建时间波动。
实测验证以下组合最稳妥基础层nvidia/cuda:
12.
1-base-ubuntu
2
04运行时层预装vLLM
0.
3支持PagedAttention与Tensor Parallelismtransformers
4.
4
2fastapi
0.
1
0模型层使用Hugging Face Hub的Qwen/Qwen
5-
5B-Instruct通过--trust-remote-code启用自定义模块关键不在“装什么”而在“怎么装”。
我们把模型权重下载逻辑从Dockerfile RUN移到容器启动时的initContainer中原因有三避免镜像体积膨胀原始模型约
2GB压缩后仅780MB支持热切换不同版本模型只需更新ConfigMap中的MODEL_ID适配私有HF镜像站或OSS加速源国内网络环境下提速3倍以上
2 启动脚本精简设计容器入口不再是冗长的python app.py而是封装为entrypoint.sh内含三项硬性检查#!/bin/bash # 检查1GPU可见性 nvidia-smi -L /dev/null 21 || { echo ERROR: No GPU detected; exit 1; } # 检查2模型路径完整性 [ -d /models/Qwen
5-
5B-Instruct ] || { echo ERROR: Model not found; exit 1; } # 检查3端口可用性防冲突 lsof -i :8000 /dev/null 21 { echo ERROR: Port 8000 occupied; exit 1; } # 启动vLLM服务关键参数说明见下文 python -m vllm.entrypoints.api_server \ --model /models/Qwen
5-
5B-Instruct \ --tensor-parallel-size 1 \ --gpu-memory-utilization
9 \ --max-model-len 128000 \ --port 8000 \ --host
0.
0.
0注意--gpu-memory-utilization
9这个值——它不是拍脑袋定的。
实测发现设为
95时在4090D四卡节点上偶发显存碎片导致OOM设为
85则浪费15%算力。
9是吞吐与稳定性之间的黄金平衡点。
3 构建命令与镜像标签规范docker build -t qwen
b-k8s:v
1.
2 \ --build-arg HF_TOKEN${HF_TOKEN} \ -f Dockerfile.k8s .镜像标签采用语义化版本环境标识v
1.
2-cuda
1
1-vllm
0.
3。
这样在K8s中可通过imagePullPolicy: IfNotPresent安全复用也便于灰度发布时按标签精准切流。
Kubernetes部署清单详解
1 Deployment核心配置apiVersion: apps/v1 kind: Deployment metadata: name: qwen
b labels: app: qwen
b spec: replicas: 2 selector: matchLabels: app: qwen
b template: metadata: labels: app: qwen
b annotations: prometheus.io/scrape: true prometheus.io/port: 8000 spec: containers: - name: qwen
b image: qwen
b-k8s:v
1.
2 ports: - containerPort: 8000 name: http resources: limits: nvidia.com/gpu: 1 memory: 8Gi requests: nvidia.com/gpu: 1 memory: 6Gi env: - name: VLLM_DISABLE_LOG_STATS value: True - name: VLLM_TRUST_REMOTE_CODE value: True livenessProbe: httpGet: path: /health port: 8000 initialDelaySeconds: 120 periodSeconds: 30 readinessProbe: httpGet: path: /ready port: 8000 initialDelaySeconds: 60 periodSeconds: 15重点看三个细节initialDelaySeconds: 120模型加载需耗时约90秒含权重映射、KV缓存初始化过短会导致Liveness探针反复杀死PodVLLM_DISABLE_LOG_STATS: True关闭vLLM默认的每秒日志打印避免日志系统过载尤其在高并发时nvidia.com/gpu: 1明确声明GPU资源确保调度器不会将多个Pod挤在同一张卡上
2 Service与Ingress配置apiVersion: v1 kind: Service metadata: name: qwen
b-svc spec: selector: app: qwen
b ports: - port: 80 targetPort: 8000 protocol: TCP --- apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: qwen
b-ingress annotations: nginx.ingress.kubernetes.io/rewrite-target: / spec: rules: - host: qwen25-api.yourdomain.com http: paths: - path: /v1 pathType: Prefix backend: service: name: qwen
b-svc port: number: 80这里采用/v1路径前缀而非根路径为后续升级v2 API预留空间。
Ingress控制器自动将POST /v1/chat/completions转发至后端完全兼容OpenAI SDK调用习惯——你的Python代码无需修改一行就能从本地http://localhost:8000无缝切到https://qwen25-api.yourdomain.com/v1。
3 HorizontalPodAutoscaler实战参数apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: qwen
b-hpa spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: qwen
b minReplicas: 1 maxReplicas: 6 metrics: - type: Pods pods: metric: name: rest_client_requests_total target: type: AverageValue averageValue: 50 - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70注意我们没有使用内存或GPU利用率作为主指标。
因为LLM推理的GPU显存占用是静态的启动即占满而CPU使用率在请求间隙接近于0——这两个指标对扩缩容决策几乎无意义。
真正关键的是每秒请求数RPS所以我们注入了Prometheus客户端库将rest_client_requests_total{handlerchat_completions}作为核心扩缩指标。
实测表明当RPS持续超过50时单Pod延迟开始上升此时触发扩容正合适。
网页推理服务接入与调试技巧
1 快速验证服务可用性部署完成后别急着写代码。
先用最原始的方式确认服务活着# 获取Pod IP假设命名空间为ai-inference kubectl get pod -l appqwen
b -o jsonpath{.items[0].status.podIP} # 直接curl测试替换为实际Pod IP curl -X POST http://
10.
244.
15:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: Qwen
5-
5B-Instruct, messages: [{role: user, content: 用中文写一首关于春天的五言绝句}], temperature:
7 }若返回包含choices字段的JSON且finish_reason: stop说明服务已就绪。
注意首次请求会触发模型warmup耗时比后续请求长30%-50%这是正常现象。
2 网页服务界面集成方案标题中提到的“网页服务”本质是前端调用上述API的可视化界面。
我们推荐两种轻量集成方式方案A零代码使用Swagger UI自动渲染。
在Deployment中添加--enable-swagger参数访问http://qwen25-api.yourdomain.com/docs即可获得交互式API文档支持直接发送请求、查看响应、试用所有endpoint。
方案B定制化部署一个独立的React前端镜像大小仅28MB通过CORS白名单qwen25-api.yourdomain.com调用后端。
关键配置在nginx.conf中location /api/ { proxy_pass http://qwen
b-svc:8000/; proxy_set_header Host $host; }这样前端URL为https://ui.yourdomain.comAPI请求走/api/v1/chat/completions规避浏览器跨域限制。
3 调试高频问题清单现象根本原因解决方案Pod状态为CrashLoopBackOffinitContainer下载模型失败网络超时/认证失败检查kubectl logs pod-name -c init-downloader确认HF_TOKEN是否正确或改用--model /models/local挂载NFS存储请求返回503 Service UnavailableService未正确关联Endpoint执行kubectl get endpoints qwen
b-svc确认ENDPOINTS列有IP:PORT首次请求超时120svLLM未完成CUDA上下文初始化在readinessProbe中增加timeoutSeconds: 180或预热脚本curl -X POST /v1/completions -d {prompt:.}中文输出乱码容器locale未设置为UTF-8在Dockerfile中添加ENV LANGC.UTF-
性能压测与生产调优建议
1 实测性能数据4090D × 4节点我们使用k6对单Pod进行压测结果如下并发用户数P95延迟ms吞吐量req/s显存占用CPU使用率
1642028.
3
1GB32%
3289031.
7
1GB58%
64185029.
1
1GB92%关键发现吞吐瓶颈不在GPU而在CPU当并发达64时CPU使用率达92%但GPU显存仍只占
1GB总24GB。
这意味着——加更多GPU卡不会提升性能但升级CPU核心数会。
最佳并发窗口是32此时延迟可控1s、吞吐最高、资源均衡。
因此HPA的target设为50 RPS对应约32并发是理性选择。
2 生产环境必调参数--max-num-seqs 256默认值128易在突发流量时排队过长。
提高到256可减少请求等待但需同步增加--max-model-len 128000以匹配长上下文需求。
--block-size 16调整PagedAttention的块大小。
实测16比默认32降低12%显存碎片提升长文本生成稳定性。
--enforce-eager仅在调试时开启。
生产环境必须关闭否则失去vLLM的核心优势——FlashAttention加速。
最后一条硬性建议永远不要在Production环境使用--disable-log-requests。
看似减少日志实则丢失关键trace信息。
正确的做法是配置--log-level WARNING并用LokiGrafana聚合分析错误模式。
6.
总结小模型在K8s中的价值再发现部署Qwen
5-
5B不是为了替代7B大模型而是为AI服务基建打下第一块“标准化砖”。
它教会我们三件事模型即配置通过ConfigMap注入--temperature、--top_p等参数实现A/B测试无需重建镜像可观测即能力Prometheus指标暴露vllm:gpu_cache_usage_ratio让我们第一次看清显存真实利用效率弹性即常态HPA根据真实业务RPS扩缩让AI服务像HTTP服务一样“呼吸”——低峰时缩至1副本省成本高峰时弹至6副本保体验。
当你能把一个
5B模型像Nginx一样纳管、像MySQL一样监控、像Redis一样扩缩时真正的MLOps才算落地。
Qwen