核心内容摘要
Livewire Datatables完全指南：用Laravel构建高级数据表格的终极教程
Qwen
5-
5B如何提高并发批量请求处理优化实战教程
为什么小模型也要关心并发能力你可能觉得Qwen
5-
5B 只有
5B 参数跑在单卡甚至笔记本上都绰绰有余还谈什么并发优化但现实很打脸——当你把模型部署成网页服务供多人使用时问题立刻浮现用户同时点“发送”按钮请求排队变长响应延迟从 300ms 涨到
5s批量生成文案的运营同学一次提交 20 条提示词结果只返回前 3 条后面全超时后台日志里反复出现CUDA out of memory可显存明明只用了 40%……这些不是模型太小的问题而是默认推理服务没做请求调度、批处理和资源复用。
Qwen
5-
5B 的优势恰恰在于轻量、低延迟、易部署但它的并发潜力必须靠工程手段“唤醒”。
本教程不讲理论推导只带你实操三步把零散请求自动聚合成 batch让单次 forward 同时处理多个用户输入在不改模型权重的前提下把吞吐量翻
2 倍实测数据。
全程基于 CSDN 星图镜像广场已预置的 Qwen
5-
5B-Instruct 镜像无需重装环境。
理解瓶颈为什么默认网页服务并发差
1 默认服务的“单线程串行”真相CSDN 星图镜像中提供的网页服务基于 FastAPI Transformers pipeline开箱即用但底层是这样工作的# 伪代码默认推理逻辑 def chat_endpoint(request: ChatRequest): # 每个请求都独立调用 model.generate() outputs model.generate( input_idsrequest.input_ids, max_new_tokens512, do_sampleTrue, temperature
7 ) return {response: tokenizer.decode(outputs[0])}表面看是异步接口实际每次请求都触发一次完整generate()调用输入 token 化 → 加载到 GPU → 单次前向 → 解码输出 → 清理显存缓存。
这就像让一位厨师GPU为每位顾客请求单独炒一道菜洗锅、切菜、炒制、装盘全程独占灶台。
即使菜很简单
5B 模型等位队伍请求队列也会越排越长。
2 真正的瓶颈不在算力而在“调度失能”我们用nvidia-smi实时监控 4×4090D 集群上的服务负载场景GPU 利用率显存占用平均延迟QPS单请求压测1并发32%
1GB312ms
210并发随机请求41%
3GB1840ms
410并发相同 prompt38%
2GB1620ms
8关键发现GPU 利用率始终低于 45%远未饱和显存几乎没增长说明没做 KV Cache 复用延迟暴涨
9 倍但吞吐只提升
8 倍 ——大量时间耗在重复加载、重复分词、重复初始化上。
结论很清晰不是模型跑不快是服务没学会“组团点餐”。
实战优化三步实现批量请求处理
1 第一步启用动态批处理Dynamic Batching核心思路不等请求进来就立刻执行而是“攒一批再统一处理”。
我们不用重写服务直接利用 Hugging Facetransformers内置的TextIteratorStreamer 自定义批处理器。
注意此方案兼容原网页界面无需修改前端任何代码。
在镜像的/app/app.py中找到chat_endpoint函数替换为以下增强版# /app/app.py - 替换原有 endpoint from transformers import TextIteratorStreamer from threading import Thread import torch # 全局批处理缓冲区简易版生产环境建议用 asyncio.Queue _batch_buffer [] _batch_lock threading.Lock() _batch_timer None def _flush_batch(): global _batch_buffer with _batch_lock: if not _batch_buffer: return # 提取所有请求的 input_ids 和参数 input_ids_list [req[input_ids] for req in _batch_buffer] max_len max(len(ids) for ids in input_ids_list) # 补齐长度左补 PAD保持 attention mask 正确 padded_inputs [] attention_masks [] for ids in input_ids_list: pad_len max_len - len(ids) padded torch.cat([torch.full((pad_len,), tokenizer.pad_token_id), ids]) mask torch.cat([torch.zeros(pad_len, dtypetorch.long), torch.ones(len(ids), dtypetorch.long)]) padded_inputs.append(padded) attention_masks.append(mask) batch_input torch.stack(padded_inputs).to(model.device) batch_mask torch.stack(attention_masks).to(model.device) # 单次 batch generate with torch.no_grad(): outputs model.generate( input_idsbatch_input, attention_maskbatch_mask, max_new_tokens512, do_sampleTrue, temperature
7, top_p
9, pad_token_idtokenizer.pad_token_id, eos_token_idtokenizer.eos_token_id ) # 分割输出并回调每个请求 for i, req in enumerate(_batch_buffer): decoded tokenizer.decode(outputs[i][len(input_ids_list[i]):], skip_special_tokensTrue) req[callback](decoded) _batch_buffer.clear() app.post(/chat) async def chat_endpoint(request: ChatRequest): # 异步回调函数 result_queue asyncio.Queue() def callback(text: str): asyncio.create_task(result_queue.put(text)) # 加入缓冲区 with _batch_lock: _batch_buffer.append({ input_ids: tokenizer.encode(request.message, return_tensorspt)[0], callback: callback }) # 启动定时刷批200ms 内攒批避免高延迟 global _batch_timer if _batch_timer is not None: _batch_timer.cancel() _batch_timer threading.Timer(
2, _flush_batch) _batch_timer.start() # 等待结果 response await result_queue.get() return {response: response}效果10并发下 GPU 利用率升至 68%QPS 达
1
3延迟稳定在 580ms。
2 第二步启用 PagedAttention vLLM 加速可选但强烈推荐如果你的镜像支持安装扩展检查pip list | grep vllm用 vLLM 替代原生 generate 是质变级优化# 在容器内执行需 root 权限 pip install vllm
0.
2然后新建/app/vllm_server.pyfrom vllm import LLM, SamplingParams from fastapi import FastAPI import uvicorn # 初始化 vLLM自动启用 PagedAttention、连续批处理、KV Cache 共享 llm LLM( model/models/Qwen
5-
5B-Instruct, tensor_parallel_size4, # 4×4090D gpu_memory_utilization
9, enforce_eagerFalse, ) sampling_params SamplingParams( temperature
7, top_p
9, max_tokens512, stop[|im_end|, |endoftext|] ) app FastAPI() app.post(/vllm_chat) async def vllm_chat(request: ChatRequest): prompts [request.message] # 支持批量此处单条演示 results llm.generate(prompts, sampling_params) return {response: results[0].outputs[0].text.strip()}实测对比10并发方案QPSP99延迟显存峰值原生 pipeline
41840ms
3GB动态批处理
1
3580ms
5GBvLLM
3
6210ms
1GB关键提示vLLM 对 Qwen
5 系列原生支持良好无需修改 tokenizer 或模型结构开箱即用。
3 第三步前端请求合并降低无效并发很多并发压力其实来自前端“过度请求”。
比如用户快速连发 3 条消息或前端防抖失效。
在网页服务的index.html中加入轻量级请求节流!-- 在 script 标签内添加 -- script let pendingRequest null; let requestQueue []; function sendChat(message) { return new Promise((resolve, reject) { requestQueue.push({ message, resolve, reject }); // 50ms 内合并请求 if (!pendingRequest) { pendingRequest setTimeout(() { const batch [...requestQueue]; requestQueue []; fetch(/chat, { method: POST, headers: {Content-Type: application/json}, body: JSON.stringify({ messages: batch.map(x x.message) }) }) .then(r r.json()) .then(data { batch.forEach((item, i) { item.resolve(data.responses?.[i] || Error); }); }) .catch(err { batch.forEach(item item.reject(err)); }) .finally(() pendingRequest null); },
; } }); } /script效果用户连击发送时后端收到的是 1 个含 3 条消息的 batch 请求而非 3 个独立请求。
关键参数调优指南针对 Qwen
5-
5B
1 Batch Size 不是越大越好很多人一上来就想设batch_size64但对
5B 模型这是陷阱Batch Size显存占用单次生成延迟吞吐QPS
1
1GB312ms
3.
2
4GB420ms
9.
5
7GB680ms
11.
8
3GB1120ms
1
232OOM——推荐值动态批上限设为 8。
既保证 GPU 利用率又避免长尾延迟。
2 注意 Qwen
5 的特殊 token 处理Qwen
5 使用|im_start|和|im_end|作为对话标记必须在分词时显式添加否则 batch 中不同对话历史会错位# 正确带系统角色的完整对话格式 messages [ {role: system, content: 你是一个专业助手}, {role: user, content: 今天天气怎么样} ] prompt tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) input_ids tokenizer(prompt, return_tensorspt).input_ids # ❌ 错误直接拼字符串会导致 attention mask 错乱 # prompt system: ... user: ...
3 长文本生成的显存安全策略Qwen
5 支持 128K 上下文但
5B 模型在 32K tokens 时显存已近极限。
生产环境务必加保护# 在推理前校验 def safe_encode(text: str, max_input_len: int
: inputs tokenizer(text, truncationTrue, max_lengthmax_input_len, return_tensorspt) if inputs.input_ids.shape[1] max_input_len: raise ValueError(fInput too long: {inputs.input_ids.shape[1]} {max_input_len}) return inputs
效果实测与对比
总结我们在 4×4090D 服务器上用真实业务流量电商客服问答 内容摘要进行 5 分钟压测结果如下优化阶段并发数QPS平均延迟P95延迟成功率默认服务
1
41840ms2410ms100%动态批处理
1
3580ms720ms100%vLLM 批处理
1
6210ms290ms100%vLLM 批处理 前端节流
2
4230ms310ms
9
8%特别说明最后一步将并发从 10 提升到 20QPS 反而更高证明系统已摆脱“请求堆积”瓶颈进入线性扩展区间。
更直观的感受运营同学提交 20 条商品文案生成任务原来要等 1 分 20 秒现在12 秒全部返回客服系统接入 50 个在线会话平均首字延迟从
2 秒降至 240 毫秒用户无感知等待。
6.
总结小模型的并发优化本质是“工程直觉”Qwen
5-
5B 不是玩具模型而是被低估的生产力引擎。
它的并发瓶颈从来不在参数量而在三个被忽视的环节请求调度缺失—— 用动态批处理把“单点访问”变成“组团出行”计算资源闲置—— 用 vLLM 的 PagedAttention 让 GPU 持续满载前后端协同断层—— 用前端节流把“用户手速”转化为“服务友好度”。
你不需要懂 CUDA 编程也不用重训模型。
只要理解并发不是堆硬件而是让每一次 GPU 计算都物有所值。
现在打开你的 CSDN 星图镜像控制台找到正在运行的 Qwen