核心内容摘要
不羁的青春，不落的星辰——致敬韩寒，那个敢于发声的时代符号
Moltbot是一个个人AI助手系统采用模块化架构通过本地优先的Gateway控制平面管理多渠道通信和智能体会话。
系统支持13消息平台具备语音唤醒、实时画布、工具系统等高级功能。
基于TypeScript和Node.js构建使用Pi Agent作为智能体运行时通过插件系统实现功能扩展。
跨平台支持macOS、iOS和Android采用WebSocket协议通信会话以JSONL格式持久化存储整体设计注重隐私保护和可扩展性。
这两天被Moltbot刷屏了各大云厂商都已经开始在云上部署Moltbot玩法确实很多具体怎么玩大家也可以在网上搜索一下。
本文主要是从技术层面详细分析 Moltbot 项目的架构设计、技术栈、核心模块和实现细节。
目录
项目概述技术栈核心架构模块详解数据流与协议扩展机制平台支持开发与构建
项目概述Moltbot是一个个人 AI 助手系统可以在用户自己的设备上运行。
它通过用户已使用的通信渠道WhatsApp、Telegram、Slack、Discord、Signal、iMessage 等与用户交互并支持语音唤醒、画布渲染、浏览器控制等高级功能。
核心特性本地优先的 Gateway单一控制平面管理会话、渠道、工具和事件多渠道收件箱支持 13 个消息平台多智能体路由支持多个隔离的智能体工作空间语音唤醒与对话模式macOS/iOS/Android 上的始终在线语音交互实时画布智能体驱动的可视化工作空间工具系统浏览器、画布、节点、定时任务、会话管理等工具配套应用macOS 菜单栏应用 iOS/Android 节点应用技术栈运行时环境Node.js: ≥
22.
1
0主要运行时TypeScript:
5.
3主要开发语言包管理: pnpm
10.
2
0支持 Bun 作为替代核心依赖AI 与智能体mariozechner/pi-agent-core:
0.
4
3 - Pi 智能体核心运行时mariozechner/pi-ai:
0.
4
3 - Pi AI 集成mariozechner/pi-coding-agent:
0.
4
3 - 编码智能体agentclientprotocol/sdk:
0.
1
1 - ACP 协议 SDK消息渠道whiskeysockets/baileys:
7.
0-rc.9 - WhatsApp Web 协议grammy:
1.
3
3 - Telegram Bot APIdiscord.js(通过扩展) - Discord Bot APIslack/bolt:
4.
0 - Slack SDKsignal-cli(外部依赖) - Signal 协议WebSocket 与网络ws:
8.
1
0 - WebSocket 服务器express:
5.
1 - HTTP 服务器控制 UIhono:
4.
1
4 - 轻量级 Web 框架homebridge/ciao:
1.
4 - Bonjour/mDNS 服务发现工具与自动化playwright-core:
1.
5
0 - 浏览器控制CDPchromium-bidi:
13.
1 - 浏览器双向协议croner:
9.
0 - 定时任务sharp:
0.
3
5 - 图像处理数据与存储sqlite-vec:
0.
7-alpha.2 - 向量数据库SQLiteproper-lockfile:
4.
2 - 文件锁类型与验证sinclair/typebox:
0.
3
47 - JSON Schema 与类型验证zod:
4.
6 - 运行时类型验证ajv:
8.
1
1 - JSON Schema 验证器其他关键依赖tslog:
4.
1
2 - 结构化日志commander:
14.
2 - CLI 框架clack/prompts:
0.
1
0 - 终端 UI 组件markdown-it:
14.
0 - Markdown 解析pdfjs-dist:
5.
530 - PDF 处理开发工具Linter: oxlint
1.
4
0Formatter: oxfmt
0.
2
0测试框架: Vitest
4.
18构建工具: TypeScript Compiler (tsc)UI 构建: Rolldown
1.
0-rc.1平台特定macOS/iOS语言: Swift框架: SwiftUI使用 Observation 框架工具: Xcode, xcodegenAndroid语言: Kotlin构建: Gradle (Kotlin DSL)框架: Jetpack Compose核心架构整体架构图┌─────────────────────────────────────────────────────────┐ │ 消息渠道层 │ │ WhatsApp / Telegram / Slack / Discord / Signal / ... │ └──────────────────────┬────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────┐ │ Gateway (控制平面) │ │ • WebSocket 服务器 (ws://
127.
0.
1:
│ │ • 渠道连接管理 │ │ • 会话管理 │ │ • 事件分发 │ │ • 工具执行 │ └──────────────┬────────────────────────────────────────────┘ │ ├─ Pi Agent (RPC 模式) ├─ CLI (moltbot 命令) ├─ WebChat UI ├─ macOS 应用 └─ iOS/Android 节点Gateway 架构Gateway 是系统的核心控制平面负责渠道连接管理维护所有消息渠道的连接WhatsApp、Telegram、Slack 等处理渠道认证和会话保持监控渠道健康状态WebSocket 服务器默认绑定到
127.
0.
1:18789支持本地和远程访问Tailscale、SSH 隧道类型化的请求/响应协议JSON Schema 验证会话管理维护智能体会话状态支持多智能体隔离会话持久化JSONL 格式事件系统服务器推送事件agent,chat,presence,health等客户端订阅机制状态版本控制Gateway 协议连接握手:// 客户端必须首先发送 connect 请求 { type: req, id: unique-request-id, method: connect, params: { deviceId: device-identity, role: operator | node, auth: { token?: string } } } // 服务器响应 { type: res, id: unique-request-id, ok: true, payload: { hello: ok, snapshot: { presence: {...}, health: {...} } } }请求/响应模式:// 请求 { type: req, id: string, method: string, params: any } // 响应 { type: res, id: string, ok: boolean, payload?: any, error?: any }事件推送:{ type: event, event: string, payload: any, seq?: number, stateVersion?: number }智能体运行时Moltbot 使用Pi Agent作为智能体运行时通过 RPC 模式集成智能体循环Agent Loop入口点Gateway RPC:agent和agent.waitCLI:moltbot agent命令执行流程消息接收 → 会话解析 → 上下文组装 → 模型推理 → 工具执行 → 流式回复 → 持久化关键组件runEmbeddedPiAgent: 执行智能体运行createAgentSession: 创建智能体会话subscribeEmbeddedPiSession: 订阅 Pi 事件并桥接到 Gateway 事件流队列与并发按会话键session key序列化运行可选的全局队列防止工具/会话竞争保持会话历史一致性工具系统智能体可以调用多种工具bash: 执行 shell 命令支持沙箱模式browser: 浏览器控制CDPcanvas: 画布操作A2UInodes: 设备节点操作相机、屏幕录制、位置等cron: 定时任务sessions_*: 会话间通信discord/slack: 渠道特定操作gateway: Gateway 配置和管理渠道系统渠道插件架构每个渠道实现为一个插件包含以下适配器type ChannelPlugin { id: ChannelId; meta: ChannelMeta; capabilities: ChannelCapabilities; config: ChannelConfigAdapter; // 配置解析 onboarding?: ChannelOnboardingAdapter; // 引导流程 pairing?: ChannelPairingAdapter; // 配对逻辑 outbound?: ChannelOutboundAdapter; // 消息发送 status?: ChannelStatusAdapter; // 状态检查 gateway?: ChannelGatewayAdapter; // Gateway 方法 // ... 更多适配器 }核心渠道内置渠道:whatsapp: Baileys Web 协议telegram: grammY Bot APIslack: Bolt SDKdiscord: discord.js通过扩展signal: signal-cliimessage: macOS 原生集成webchat: WebSocket 聊天界面扩展渠道通过插件:msteams: Microsoft Teamsmatrix: Matrix 协议zalo: Zalo Bot APIzalouser: Zalo 个人账户bluebubbles: BlueBubbles iMessage 服务器line: LINE Messaging APImattermost: Mattermostnextcloud-talk: Nextcloud Talknostr: Nostr 协议tlon: Urbit Tlontwitch: Twitch IRC路由机制消息路由规则优先级顺序精确对等匹配:bindings中的peer.kindpeer.idGuild 匹配: Discord 的guildIdTeam 匹配: Slack 的teamId账户匹配: 渠道的accountId渠道匹配: 该渠道的任何账户默认智能体:agents.list[].default或第一个列表项会话键Session Key格式直接消息:agent:agentId:main群组:agent:agentId:channel:group:id频道:agent:agentId:channel:channel:id线程: 追加:thread:threadId话题: 嵌入:topic:topicIdTelegram示例agent:main:telegram:group:-1001234567890:topic:42agent:main:discord:channel:123456:thread:987654模块详解
Gateway 模块 (src/gateway/)职责: WebSocket 服务器、协议处理、客户端管理关键文件:server.impl.ts: Gateway 服务器实现server-runtime-state.ts: 运行时状态管理server-methods/: Gateway RPC 方法实现server-channels.ts: 渠道管理器核心功能:WebSocket 连接管理请求路由和验证事件分发客户端配对和设备管理
智能体模块 (src/agents/)职责: Pi Agent 集成、会话管理、工具执行关键文件:pi-embedded-runner/: Pi Agent 嵌入式运行器pi-tools.ts: Moltbot 工具定义cli-runner.ts: CLI 模式运行器model-selection.ts: 模型选择逻辑model-fallback.ts: 模型故障转移核心功能:智能体循环执行工具调用处理会话上下文管理流式响应处理
渠道模块 (src/channels/)职责: 渠道抽象、路由、消息处理关键文件:registry.ts: 渠道注册表dock.ts: 渠道轻量级元数据plugins/: 渠道插件实现targets.ts: 消息目标解析session.ts: 渠道会话管理核心功能:渠道发现和加载消息路由群组和线程处理配对和认证
自动回复模块 (src/auto-reply/)职责: 消息接收、智能体调用、回复发送关键文件:reply/agent-runner-execution.ts: 智能体执行queue.ts: 消息队列reply-payloads.ts: 回复载荷处理typing-mode.ts: 输入指示器核心功能:消息接收和解析智能体调用编排回复生成和发送队列管理
配置模块 (src/config/)职责: 配置管理、验证、持久化关键文件:config.ts: 配置加载和解析types.*.ts: 配置类型定义sessions.ts: 会话配置channels.ts: 渠道配置核心功能:JSON5 配置解析配置验证TypeBox/Zod配置合并和默认值配置热重载
CLI 模块 (src/cli/)职责: 命令行界面、命令注册、用户交互关键文件:program/: 命令注册和路由gateway-cli/: Gateway 命令nodes-cli/: 节点命令config-cli.ts: 配置命令核心功能:命令解析和路由终端 UIclack/prompts进度显示osc-progress帮助系统
工具模块浏览器工具 (src/browser/)Chrome/Chromium 管理CDP 控制快照和操作配置文件管理画布工具 (src/canvas-host/)A2UI 主机画布操作push/reset/evalHTML 渲染节点工具 (src/node-host/)设备节点通信相机、屏幕录制、位置等操作权限管理
媒体处理 (src/media/)职责: 媒体文件处理、转码、存储核心功能:图像处理sharp音频处理视频处理MIME 类型检测文件大小限制
安全模块 (src/security/)职责: 沙箱、权限控制、安全策略核心功能:Docker 沙箱非主会话工具权限控制配对和设备认证配置安全检查
插件系统 (src/plugins/)职责: 插件加载、运行时、工具注入关键文件:loader.ts: 插件加载器runtime.ts: 插件运行时registry.ts: 插件注册表tools.ts: 工具注入核心功能:插件发现和加载插件生命周期管理工具和钩子注册配置模式验证数据流与协议消息处理流程
渠道接收消息 ↓
渠道插件解析消息 ↓
路由解析确定智能体和会话 ↓
消息入队按会话序列化 ↓
智能体循环执行 ├─ 上下文组装 ├─ 模型推理 ├─ 工具调用如需要 └─ 流式回复生成 ↓
回复处理 ├─ Markdown 渲染 ├─ 媒体附件 └─ 格式化 ↓
发送到原渠道Gateway 事件流客户端订阅:// 订阅事件 { type: req, method: subscribe, params: { events: [agent, presence] } } // 接收事件 { type: event, event: agent, payload: { runId, phase: start } } { type: event, event: agent, payload: { runId, stream: assistant, delta: ... } } { type: event, event: agent, payload: { runId, phase: end, summary: {...} } }会话持久化存储位置:~/.clawdbot/agents/agentId/sessions/sessionKey.jsonl格式: JSONL每行一个 JSON 对象{role: user, content: Hello, timestamp:
T10:00:00Z} {role: assistant, content: Hi!, timestamp:
T10:00:01Z}扩展机制插件系统插件类型渠道插件(extensions/*/)实现ChannelPlugin接口提供渠道特定功能工具插件注册自定义工具扩展智能体能力钩子插件生命周期钩子消息处理钩子插件结构extensions/my-plugin/ ├── clawdbot.plugin.json # 插件清单 ├── package.json ├── index.ts # 入口点 └── src/ ├── channel.ts # 渠道实现 ├── runtime.ts # 运行时逻辑 └── config-schema.ts # 配置模式插件清单{ id: my-plugin, name: My Plugin, version:
1.
0, entry: ./index.ts, capabilities: { channel: true, tools: [my-tool] } }Skills 系统Skills 是智能体的能力扩展存储在~/clawd/skills/skill/SKILL.md。
类型:Bundled: 内置技能Managed: 通过 ClawdHub 管理Workspace: 用户自定义注入点:AGENTS.md: 智能体指令TOOLS.md: 工具文档SOUL.md: 个性定义平台支持macOS 应用技术栈:Swift SwiftUIObservation 框架状态管理Bonjour 服务发现XPC 进程间通信功能:菜单栏控制Voice Wake语音唤醒Talk Mode对话模式WebChat 界面远程 Gateway 控制架构:Moltbot.app ├── GatewayConnection (WebSocket) ├── ChannelsStore (状态管理) ├── VoiceWakeManager (语音唤醒) └── NodeMode (节点模式)iOS 应用技术栈:Swift SwiftUIBonjour 配对AVFoundation音频功能:Canvas 渲染Voice WakeTalk Mode相机和屏幕录制Android 应用技术栈:Kotlin Jetpack ComposeWebSocket 客户端CameraX功能:Canvas 渲染Talk Mode相机和屏幕录制可选 SMS 支持开发与构建项目结构moltbot/ ├── src/ # TypeScript 源代码 │ ├── gateway/ # Gateway 核心 │ ├── agents/ # 智能体运行时 │ ├── channels/ # 渠道系统 │ ├── cli/ # CLI 命令 │ ├── commands/ # 命令实现 │ └── ... ├── apps/ # 平台应用 │ ├── macos/ # macOS 应用 │ ├── ios/ # iOS 应用 │ └── android/ # Android 应用 ├── extensions/ # 插件扩展 ├── ui/ # Web UI ├── docs/ # 文档 ├── scripts/ # 构建脚本 └── test/ # 测试构建流程依赖安装:pnpm installUI 构建:pnpm ui:buildTypeScript 编译:pnpm build测试:pnpm test开发命令# 开发模式自动重载 pnpm gateway:watch # 运行 CLI pnpm moltbot command # 测试 pnpm test pnpm test:coverage # 代码质量 pnpm lint pnpm format测试策略单元测试: Vitest覆盖率阈值 70%E2E 测试: Docker 环境实时测试:pnpm test:live需要真实 API 密钥代码规范语言: TypeScript (ESM)格式化: oxfmtLinting: oxlint文件大小: 建议 500 LOC类型: 严格类型避免any
总结Moltbot 是一个设计精良的个人 AI 助手系统具有以下特点模块化架构: 清晰的模块划分易于扩展类型安全: 全面的 TypeScript 类型系统可扩展性: 插件系统和 Skills 机制跨平台: 支持 macOS、iOS、Android本地优先: 数据存储在本地隐私可控多渠道支持: 统一的渠道抽象易于添加新渠道该架构支持快速迭代和功能扩展同时保持代码质量和可维护性。
如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。
但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。
这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。
我在一线互联网企业工作十余年里指导过不少同行后辈。
帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】
大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍
大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。
大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-
5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。
快速开发一个完整的基于 agent 对话机器人。
掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。
为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。
到此为止大概2个月的时间。
你已经成为了一名“AI小子”。
那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。
硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。
天道酬勤你越努力就会成为越优秀的自己。
如果你能在15天内完成所有的任务那你堪称天才。
然而如果你能完成
% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】