核心内容摘要
乐享人生，尽情“操”持：解锁“人人乐人人操”的全新生活哲学
引言随着大模型参数规模不断提升单台设备的显存、算力瓶颈成为普通开发者部署大模型的核心障碍——要么模型因显存不足无法运行要么推理速度极慢。
而exo项目的出现解决了这一痛点它能将日常设备如Mac Studio、MacBook连接成一个AI集群不仅能运行远超单设备显存容量的大模型还能通过RDMA等技术大幅提升推理速度让个人用户也能低成本搭建专属AI集群。
项目核心定位与功能exo是一款面向个人用户的AI集群管理工具核心目标是让普通人用日常设备搭建分布式AI集群轻松运行超大参数量的大模型。
它的核心功能覆盖集群全生命周期设备层面支持自动发现无需手动配置即可让多台设备组建集群模型运行层面支持张量并行能将大模型分片部署到多台设备上实测在4台M3 Ultra Mac Studio组成的集群中可流畅运行Qwen
B、DeepSeek v
1 671B、Kimi K2 Thinking等超大模型此外exo还提供可视化仪表盘和OpenAI兼容的API降低集群使用门槛。
核心创新点与优势exo能突破单设备限制核心源于四大关键创新与优势自动设备发现集群内设备无需手动配置启动exo后自动识别彼此降低集群搭建门槛RDMA over Thunderbolt 5支持原生支持RDMA远程直接内存访问可将设备间通信延迟降低99%这也是exo相比传统分布式框架的核心优势拓扑感知自动并行实时感知设备拓扑结构结合设备资源、网络带宽/延迟动态规划模型分片策略最大化集群效率张量并行提速支持模型分片部署实测2台设备可实现
8倍提速4台设备达
2倍MLX生态适配基于MLX苹果生态高效推理框架和MLX distributed做分布式通信适配Apple Silicon硬件特性性能更优。
部署与技术实践
环境部署分系统macOS部署从源码运行先安装依赖# 安装brew/bin/bash -c$(curl-fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)# 安装uv、macmon、nodebrewinstalluv macmonnode# 安装Rustnightly版本curl--protohttps--tlsv
2 -sSf https://sh.rustup.rs|shrustup toolchaininstallnightly再克隆代码并运行# 克隆仓库gitclone https://github.com/exo-explore/exo# 构建仪表盘cdexo/dashboardnpminstallnpmrun buildcd..# 启动exouv run exo启动后可访问http://localhost:52415查看仪表盘和API。
Linux部署从源码运行以Ubuntu/Debian为例安装依赖# 安装Node.js和npmsudoaptupdatesudoaptinstallnodejsnpm# 安装uvcurl-LsSf https://astral.sh/uv/install.sh|sh# 安装Rustnightly版本curl--protohttps--tlsv
2 -sSf https://sh.rustup.rs|shrustup toolchaininstallnightly克隆代码并运行步骤同macOS无需安装macmongitclone https://github.com/exo-explore/exocdexo/dashboardnpminstallnpmrun buildcd..uv run exo
启用RDMAmacOSRDMA是exo高性能的核心需在macOS
2
2Thunderbolt 5设备中启用关闭Mac长按电源键10秒进入启动菜单选择“Options”进入恢复模式打开“实用工具”→“终端”执行命令启用RDMArdma_ctl enable重启Mac即可。
API使用示例预览模型部署方案curlhttp://localhost:52415/instance/previews?model_idllama-
3.
b创建模型实例curl-X POST http://localhost:52415/instance\-HContent-Type: application/json\-d{ instance: {...} # 替换为预览接口返回的instance内容 }发送聊天补全请求兼容OpenAI APIcurl-N -X POST http://localhost:52415/v1/chat/completions\-HContent-Type: application/json\-d{ model: mlx-community/Llama-
3.
B-Instruct-4bit, messages: [ {role: user, content: What is Llama
2 1B?} ], stream: true }删除模型实例curl-X DELETE http://localhost:52415/instance/YOUR_INSTANCE_ID该项目及相关内容已 AladdinEdu课题广场同步发布欢迎前往了解更多技术实现与资源。
项目地址AladdinEdu课题广场