核心内容摘要
语音标注不求人！Qwen3-ForcedAligner-0.6B使用教程
ClawdbotQwen
B私有化Chat平台搭建8080→18789代理直连详解
为什么需要私有化Chat平台你是不是也遇到过这些问题想用大模型做内部知识问答但担心数据上传到公有云团队需要稳定响应的AI助手却受限于API调用频率和网络延迟或者只是单纯想在局域网里跑一个完全可控的对话系统Clawdbot Qwen
B 的组合就是为这类需求量身打造的轻量级私有化方案。
它不依赖外部服务所有推理都在你自己的机器上完成它不走公网API避免敏感信息外泄它也不需要复杂Kubernetes集群一台性能尚可的服务器就能跑起来。
最关键的是——整个链路清晰、可调试、可监控。
本文将带你从零开始把 Qwen
B 模型通过 Ollama 启动再经由 Clawdbot 封装成 Web 界面并用最简方式完成端口代理直连最终在浏览器里打开http://localhost:8080就能和 32B 参数量的大模型实时对话。
整个过程不需要改源码、不编译二进制、不配置反向代理规则只靠几条命令和一个配置文件就能搞定。
环境准备与基础服务部署
1 硬件与系统要求Qwen
B 是一个典型的中大型语言模型对显存和内存有一定要求。
我们实测验证过的最低配置如下GPUNVIDIA RTX 409024GB VRAM或 A1024GBCPUIntel i
K 或 AMD Ryzen 7 5800X 及以上内存64GB DDR4推荐 96GB 更稳妥系统Ubuntu
2
04 LTS已验证兼容性最佳也可用于 Debian
macOS SonomaM2 Ultra/M3 Max注意Clawdbot 本身是纯前端应用不占 GPU 资源真正消耗显存的是 Ollama 加载 Qwen
B 的过程。
如果你没有独显Ollama 会自动回退到 CPU 模式但响应时间会明显变长约 15–30 秒/轮仅建议用于测试。
2 安装 Ollama 并加载 Qwen
BOllama 是目前最友好的本地大模型运行时支持一键拉取、自动量化、按需加载。
执行以下命令安装以 Ubuntu 为例# 下载并安装 Ollama curl -fsSL https://ollama.com/install.sh | sh # 启动服务后台运行 sudo systemctl enable ollama sudo systemctl start ollama # 拉取 Qwen
B官方镜像已含 GGUF 量化版本 ollama pull qwen3:32b拉取完成后你可以用这条命令快速验证模型是否就绪ollama list你应该能看到类似这样的输出NAME ID SIZE MODIFIED qwen3:32b 8a2f1c7d8e9f
1
2 GB 3 hours ago接着手动启动一次模型服务确认 API 可用ollama run qwen3:32b 你好请用一句话介绍你自己如果看到模型返回了合理响应比如“我是通义千问Qwen3一个具备强推理和多语言能力的大语言模型”说明 Ollama 已正常工作API 默认监听在http://
127.
0.
1:11434/api/chat。
3 获取并启动 Clawdbot 前端Clawdbot 是一个极简、无后端的 Chat UI它不处理模型推理只负责把用户输入打包成标准 OpenAI 格式转发给指定的 LLM 接口。
它的优势在于零构建、开箱即用、界面干净、支持多会话、可离线使用。
我们不推荐 clone 整个仓库再 build而是直接使用预编译的静态包# 创建工作目录 mkdir -p ~/clawdbot cd ~/clawdbot # 下载最新 releasev
0.
2已适配 Qwen3 API 格式 wget https://github.com/clawdbot/clawdbot/releases/download/v
0.
2/clawdbot-v
0.
8.
zip unzip clawdbot-v
0.
8.
zip # 启动内置 HTTP 服务默认端口 8080 npx http-server -p 8080此时访问http://localhost:8080你就能看到一个简洁的聊天界面。
但别急着输入——现在它还连不上你的 Qwen3 模型因为默认配置指向的是 OpenAI 兼容接口而 Ollama 的路径和字段略有不同。
配置代理实现 8080 → 18789 直连通信
1 为什么需要端口代理直连不行吗Ollama 默认监听
127.
0.
1:11434这是一个本地回环地址Clawdbot 前端运行在浏览器里属于跨域请求http://localhost:8080→http://localhost:11434。
现代浏览器出于安全策略会直接拦截这种非同源的 POST 请求报错CORS policy: No Access-Control-Allow-Origin header is present。
你当然可以给 Ollama 打补丁加 CORS 头但更稳妥、更通用、更符合生产习惯的做法是用一层轻量代理把前端请求“伪装”成同源请求。
我们选择18789作为代理网关端口原因很实在它避开了常见服务端口如 3000/5000/8000/8080又比高位端口如 32768更容易记忆且在大多数内网防火墙中默认放行。
2 使用 socat 快速搭建 TCP 层代理推荐socat是 Unix 下最轻量的双向数据流转发工具无需 Node.js、Python 环境一条命令即可完成端口映射且零配置、零日志、零依赖。
安装 socatUbuntu/Debiansudo apt update sudo apt install -y socat启动代理后台运行监听 18789转发至 Ollama 的 11434socat TCP-LISTEN:18789,reuseaddr,fork TCP:
127.
0.
1:11434 这条命令的关键参数解释TCP-LISTEN:18789在本机 18789 端口监听 TCP 连接reuseaddr允许端口快速重用避免重启时报 “Address already in use”fork为每个新连接 fork 一个子进程支持并发TCP:
127.
0.
1:11434目标地址即 Ollama API后台运行不阻塞终端验证代理是否生效curl -s http://localhost:18789/health | jq .如果返回{status:ok}说明代理已通。
3 修改 Clawdbot 配置指向代理网关Clawdbot 的 API 地址由前端 JS 中的API_BASE_URL控制。
我们不需要改源码只需在index.html里插入一段初始化脚本即可覆盖默认值。
打开~/clawdbot/index.html在head标签内末尾添加script window.API_BASE_URL http://localhost:18789; window.MODEL_NAME qwen3:32b; /script保存后重新刷新http://localhost:8080页面。
此时 Clawdbot 发出的所有请求都会先打到18789端口再由 socat 转发给 Ollama彻底绕过浏览器 CORS 限制。
小技巧你还可以把MODEL_NAME改成qwen3:32b-f16或qwen3:32b-q4_k_m来切换不同量化精度版本只要 Ollama 里存在对应 tag 即可。
实际使用与效果验证
1 第一次对话从输入到响应全流程打开http://localhost:8080在输入框中键入请用 Python 写一个函数接收一个整数列表返回其中偶数的平方和。
点击发送后你会观察到页面右下角显示 “Thinking…”Clawdbot 正在发送请求约 2–4 秒后RTX 4090 实测平均
7 秒文字逐字流式输出输出内容为格式规范的 Python 代码含注释和示例调用这说明整个链路已打通Clawdbot (
→ socat (
→ Ollama (
→ Qwen
B GPU 推理 → 响应原路返回
2 多轮对话与上下文保持测试Qwen
B 支持 128K 上下文窗口Clawdbot 默认启用上下文缓存。
你可以连续发送第一轮帮我写一个冒泡排序算法 第二轮改成升序排列 第三轮加上时间复杂度分析Clawdbot 会自动把前三轮消息拼成完整 history 数组提交给 Ollama。
实测表明在 32B 模型加持下它能准确识别“升序”是修改前一轮代码“时间复杂度分析”是新增要求而非重复提问。
注意Ollama 默认单次请求最大上下文为 8K token若你开启长文本对话可在~/.ollama/modelfile中添加PARAMETER num_ctx 131072并重新ollama create自定义模型但需确保 GPU 显存充足。
3 性能表现与资源占用实测我们在一台配备 RTX 4090 96GB RAM Ryzen 9 7950X 的机器上做了持续 1 小时压力测试每 30 秒发起一次 512 token 输入指标实测值说明平均首 token 延迟
24s从点击发送到第一个字出现平均输出速度
4
6 tokens/s流式输出阶段稳定速率GPU 显存占用
2
3 GBnvidia-smi观察峰值CPU 占用率38%16核主要用于 token 解码与 JSON 序列化socat 内存占用 2MB几乎可忽略结论该组合在单卡消费级显卡上已具备准生产级响应能力适合小团队内部知识库、客服辅助、代码评审等场景。
5.
常见问题与排障指南
1 页面空白 / 加载失败检查npx http-server -p 8080是否仍在运行ps aux | grep http-server查看浏览器控制台F12 → Console是否有Failed to load resource报错确认index.html中API_BASE_URL的协议、域名、端口拼写正确注意不要多写/api/chat
2 发送后一直转圈无响应执行curl -v http://localhost:18789/health确认代理层可达执行curl -v http://localhost:11434/health确认 Ollama 服务存活检查ollama ps是否显示qwen3:32b正在运行若未加载首次调用会触发加载需等待 10–20 秒
3 返回错误model not found或context length exceededmodel not found说明MODEL_NAME值与ollama list输出不一致请严格匹配包括大小写和冒号context length exceededOllama 默认限制 8K token可在请求 payload 中显式传入options: {num_ctx: 32768}Clawdbot v
0.
2 已支持在设置页填入自定义 options
4 如何让其他设备也能访问默认http-server和socat都只监听
127.
0.
1。
如需局域网内其他电脑访问启动 http-server 时加-a
0.
0.
0npx http-server -p 8080 -a
0.
0.
0启动 socat 时绑定
0.
0.
0socat TCP-LISTEN:18789,bind
0.
0.
0,reuseaddr,fork TCP:
127.
0.
1:11434 确保服务器防火墙放行 8080 和 18789 端口sudo ufw allow 8080 sudo ufw allow
进阶优化与扩展建议
1 用 systemd 管理服务推荐生产环境把 Ollama、socat、http-server 都注册为系统服务实现开机自启、异常重启、日志归集# 创建 /etc/systemd/system/ollama.service略标准 Ollama 官方模板 # 创建 /etc/systemd/system/clawdbot-proxy.service sudo tee /etc/systemd/system/clawdbot-proxy.service EOF [Unit] DescriptionClawdbot Proxy to Ollama Afterollama.service [Service] Typesimple ExecStart/usr/bin/socat TCP-LISTEN:18789,bind
0.
0.
0,reuseaddr,fork TCP:
127.
0.
1:11434 Restartalways RestartSec5 [Install] WantedBymulti-user.target EOF sudo systemctl daemon-reload sudo systemctl enable clawdbot-proxy sudo systemctl start clawdbot-proxy
2 添加简单身份认证防误触Clawdbot 本身无登录功能但可通过 Nginx 前置加 Basic Auth。
如果你已部署 Nginx只需在 server 块中加入location / { auth_basic Restricted Access; auth_basic_user_file /etc/nginx/.htpasswd; proxy_pass http://
127.
0.
1:8080; }生成密码文件printf admin:$(openssl passwd -apr1 yourpassword)\n /etc/nginx/.htpasswd
3 替换为更轻量的前端可选如果你追求极致精简可将 Clawdbot 替换为 OpenWebUI需 Docker或 Text Generation WebUIPython 后端但它们会增加部署复杂度。
Clawdbot 的价值正在于“够用、够快、够透明”。
7.
总结我们用不到 20 分钟完成了一套真正私有、可控、可验证的 Chat 平台搭建模型层Ollama 加载 Qwen
BGPU 加速本地运行数据不出内网网关层socat 实现 18789 → 11434 的无损 TCP 代理绕过浏览器 CORS零配置、低开销交互层Clawdbot 提供干净 Web 界面支持流式输出、多会话、上下文记忆纯静态部署它不是玩具也不是 Demo而是一个可立即投入内部使用的最小可行产品MVP。
你不需要理解 Transformer 结构也不用调参微调只要会敲几条命令就能让团队用上 32B 级别的大模型能力。
下一步你可以把公司文档喂给 Qwen3构建专属知识库也可以接入内部数据库让它帮你写 SQL甚至把它嵌入企业微信/钉钉成为员工随问随答的 AI 助手。
技术的价值从来不在参数多大而在是否真正解决了问题。
而这一次问题被实实在在地解决了。