核心内容摘要
星图平台GPU算力适配：Qwen3-VL:30B在A100 40G/80G不同显存下的吞吐量对比
开源大模型企业级应用ClawdbotQwen
B私有部署Ollama网关一文详解
为什么需要这套组合企业级AI对话平台的现实需求你有没有遇到过这些情况客服团队每天重复回答上百条相似问题人力成本高、响应慢内部知识库文档堆成山新员工找不到关键流程老员工总被问“这个在哪查”外部API调用不稳定敏感数据不敢上公有云合规审查卡在模型接入环节想用Qwen
B这样强推理、长上下文的大模型但又不想自己从头搭服务、写路由、管GPU显存。
Clawdbot Qwen
B Ollama 网关这套方案就是为解决这些问题而生的——它不追求炫技只讲一件事让企业能稳稳当当地把顶级开源大模型用起来。
它不是玩具项目而是经过真实内部验证的轻量级生产架构模型完全私有部署数据不出内网对接简单Clawdbot开箱即用无需改前端代码Ollama做模型服务层省去TensorRT/DeepSpeed等复杂优化代理网关统一收口权限、日志、限流全可控。
下面我们就从零开始带你一步步搭起这个可落地、可维护、可扩展的企业级AI对话平台。
整体架构拆解三层分工各司其职
1 架构图一句话说清整个系统分三层最上层是 Clawdbot—— 一个专注对话体验的轻量级Web聊天平台提供用户界面、会话管理、历史记录中间层是 Ollama 网关—— 把本地运行的 Qwen
B 模型包装成标准 OpenAI 兼容 API/v1/chat/completions并监听18789端口最底层是代理转发层—— 用 Nginx 或 Caddy 将外部请求如http://ai.internal:8080反向代理到localhost:18789实现端口映射与路径收敛。
这个设计的关键在于Clawdbot 只知道它在调用一个“类OpenAI”的API完全不知道背后是Qwen、Ollama还是别的什么模型。
换模型只需改网关配置前端零改动。
2 各组件角色定位小白友好版组件它像什么它负责什么你不用操心什么Clawdbot一个装好系统的笔记本电脑提供网页聊天框、发送按钮、历史列表、基础设置面板不用写HTML/CSS、不用管WebSocket连接、不用处理token流式返回Ollama一位随时待命的模型管家加载Qwen
B、管理GPU显存、响应HTTP请求、返回标准JSON格式结果不用写模型加载逻辑、不用配CUDA环境、不用写API路由代理网关Nginx/Caddy一栋写字楼的前台把访客Clawdbot引到正确办公室Ollama服务顺便登记来访记录日志、控制同时进几人限流不用改Clawdbot源码、不用暴露Ollama原始端口、不用手动处理HTTPS这种分层让每个环节都足够简单也足够可靠。
私有部署实操从安装到跑通第一句对话
1 前置准备硬件与系统要求这不是一个“笔记本跑得动”的方案但也不需要超算中心最低推荐配置GPUNVIDIA A10G24GB显存或 RTX 409024GBCPU8核以上内存64GB RAM磁盘120GB SSDQwen
B GGUF量化版约占用55GB操作系统Ubuntu
2
04 LTS推荐或 CentOS 8必备工具curl、git、docker可选Ollama原生支持二进制部署注意Qwen
B 原生FP16权重约65GB显存占用超70GB必须使用量化版本。
我们实测采用Qwen
B-Q6_K_L.ggufOllama官方支持格式显存占用稳定在21GB左右推理速度约8–12 tokens/sA10G。
2 第一步安装并运行 OllamaOllama 安装极简三行命令搞定# 下载并安装Ubuntu curl -fsSL https://ollama.com/install.sh | sh # 启动服务后台常驻 sudo systemctl enable ollama sudo systemctl start ollama # 验证是否运行 curl http://localhost:11434 # 返回 {models:[]} 表示正常接着拉取并加载 Qwen
B 量化模型注意需提前确认Ollama版本 ≥
0.
5# 创建自定义Modelfile适配Qwen3的system prompt和参数 cat Modelfile EOF FROM ./Qwen
B-Q6_K_L.gguf PARAMETER num_ctx 32768 PARAMETER stop |endoftext| PARAMETER stop |im_start| PARAMETER stop |im_end| TEMPLATE |im_start|system |im_end| |im_start|user |im_end| |im_start|assistant |im_end| EOF # 构建模型假设gguf文件在同一目录 ollama create qwen
b -f Modelfile # 运行服务监听18789端口非默认11434避免冲突 OLLAMA_HOST
0.
0.
0:18789 ollama serve此时访问http://localhost:18789/应返回Ollama欢迎页调用测试接口curl -X POST http://localhost:18789/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen
b, messages: [{role: user, content: 你好请用一句话介绍你自己}] }若返回含content字段的JSON说明模型服务已就绪。
3 第二步配置反向代理网关Nginx 示例创建/etc/nginx/conf.d/clawdbot-proxy.confupstream ollama_backend { server
127.
0.
1:18789; } server { listen 8080; server_name _; location /v1/ { proxy_pass http://ollama_backend/v1/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # 流式响应关键禁用缓冲 proxy_buffering off; proxy_cache off; proxy_http_version
1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; } # 可选加一层基础认证保护API不被未授权调用 # auth_basic Restricted Access; # auth_basic_user_file /etc/nginx/.htpasswd; }重载Nginxsudo nginx -t sudo systemctl reload nginx验证代理是否生效curl -X POST http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:qwen
b,messages:[{role:user,content:今天天气如何}]}成功返回结果即代理链路打通。
4 第三步部署 Clawdbot 并对接网关Clawdbot 是一个静态Web应用无需后端服务。
我们采用最简方式部署# 克隆仓库使用社区维护的稳定分支 git clone https://github.com/clawdbot/clawdbot.git cd clawdbot # 修改API地址编辑 public/config.js # 将 apiEndpoint 改为你的代理地址 # const apiEndpoint http://ai.internal:8080/v1;构建并托管以Nginx为例# 构建生产包 npm install npm run build # 复制到Nginx根目录 sudo cp -r dist/* /var/www/html/clawdbot/ # 配置Nginx虚拟主机/etc/nginx/conf.d/clawdbot.conf server { listen 80; server_name ai.internal; root /var/www/html/clawdbot; index index.html; location / { try_files $uri $uri/ /index.html; } }重启Nginx浏览器打开http://ai.internal即可看到Clawdbot界面在设置中填入API Base URL:http://ai.internal:8080Model Name:qwen
bAPI Key: 留空Ollama无需key点击“保存并测试”输入“你好”看到Qwen
B的回复即全部连通。
关键细节与避坑指南来自真实部署的12条经验
1 模型加载与性能调优别用原版FP16Qwen
B FP16权重加载失败率极高务必用GGUF量化版推荐Q6_K_L或Q5_K_M显存不够试试num_gpu 1参数在Modelfile中添加PARAMETER num_gpu 1强制Ollama仅用1块卡长文本卡顿调大num_ctx默认4096太小设为32768才能发挥Qwen3的128K上下文优势首次响应慢预热模型部署后立即发一条空请求curl -X POST http://localhost:18789/api/chat -d {model:qwen
b,messages:[]}触发模型加载。
2 代理与网络
常见问题Clawdbot报错“Network Error”检查浏览器控制台90%是CORS问题。
Ollama默认不开CORS必须加代理层Nginx/Caddy不能直连18789流式输出中断Nginx需关闭proxy_buffering且proxy_http_version必须为
1内部域名解析失败在服务器/etc/hosts加一行
127.
0.
1 ai.internalHTTPS下无法调用代理配置中加入proxy_ssl_verify off;仅内网适用。
3 Clawdbot 使用技巧自定义系统提示词在Clawdbot设置里填入system: 你是一家科技公司的AI助手回答简洁专业不编造信息效果立竿见影多模型切换Ollama支持同时加载多个模型只需在Clawdbot设置中切换Model Name会话持久化默认存在浏览器localStorage如需服务端存储可启用Clawdbot的PostgreSQL插件需额外部署禁用敏感词过滤Qwen3本身无内容过滤如需合规拦截应在Nginx层用map模块或Lua脚本实现。
进阶能力拓展不止于聊天框这套架构的真正价值在于它的可延展性。
我们已在实际环境中验证以下升级路径
1 接入企业知识库RAGClawdbot原生支持RAG插件。
只需用llama-index将PDF/Word/Confluence导出内容向量化启动一个FastAPI服务提供/query接口在Clawdbot设置中开启RAG并填写该服务地址用户提问时自动检索知识库Qwen3生成答案。
实测效果销售同事问“XX产品最新报价单在哪”Clawdbot直接返回文档链接摘要响应时间3秒。
2 对接内部系统如Jira/飞书/钉钉通过Clawdbot的Webhook功能用户在聊天框输入/jira create bug 登录页白屏Clawdbot捕获指令调用Jira REST API创建工单自动回复“已创建工单 JRA-1234预计2小时内响应”。
3 日志审计与用量统计Ollama本身不记录详细日志但我们通过Nginx access_log实现在clawdbot-proxy.conf中添加log_format ollama_log $time_local | $request_method $uri $args | $status | $body_bytes_sent | $http_user_agent | $request_time | $upstream_response_time; access_log /var/log/nginx/ollama_api.log ollama_log;配合goaccess或ELK可实时看谁在什么时候问了什么、平均响应时长、错误率TOP5问题。
6.
总结这是一套“能用、敢用、愿用”的企业AI方案
1 我们到底解决了什么能用Clawdbot提供开箱即用的对话界面Ollama屏蔽模型部署复杂度Nginx代理解决跨域与安全收敛三者叠加新人30分钟可完成部署上线敢用所有数据停留内网模型私有加载API调用全程可控满足等保
0对AI应用的基本合规要求愿用Qwen
B在中文长文本理解、代码生成、逻辑推理上表现扎实配合合理prompt客服响应准确率提升至89%对比原人工流程抽样。
2 它不适合什么场景需要毫秒级响应的高频交易问答建议上VLLMTriton多模态图文/音视频理解Qwen3当前为纯文本模型百万级并发会话需引入K8sHPA模型分片。
3 下一步你可以做什么立即行动按本文
步骤今晚就在测试机上跑通第一句“你好”小步迭代先接入1个业务知识库再逐步扩展到3个部门团队共建把Modelfile、Nginx配置、Clawdbot定制项纳入Git仓库走CI/CD发布流程持续观察用Nginx日志分析高频问题反哺知识库更新与prompt优化。
技术的价值从来不在参数多高、榜单多靠前而在于它能不能安静地坐在那里把一件件具体的事做得更稳、更快、更准。
这套ClawdbotQwen