核心内容摘要
推特射区18
Open-AutoGLM一键部署教程本地电脑手机快速联动
为什么你需要一个会“看”会“点”的AI助手你有没有过这样的时刻想查个快递却要先解锁手机、找到App、输入单号、等页面加载——整个过程比泡面还慢想给朋友发张截图结果手指一滑点错应用又得重新来一遍甚至只是“打开小红书搜美食”都要手动点开、切换输入法、敲字、点搜索……这不是操作太复杂而是我们一直在用“人手”做“机器该干的事”。
Open-AutoGLM 不是另一个语音助手也不是一段固定脚本。
它是一个真正意义上的手机端AI Agent框架——能像人一样“看”屏幕、“想”步骤、“动”手指。
它基于智谱开源的 AutoGLM-Phone 框架融合视觉理解与动作规划能力通过 ADBAndroid Debug Bridge直接操控真实安卓设备。
你只需说一句自然语言指令比如“打开大众点评搜上海静安区评分
8以上的粤菜馆订今晚7点两人位”它就能自动完成截图分析界面 → 识别按钮坐标 → 规划点击路径 → 输入文字 → 滑动筛选 → 点击预约 —— 全程无需你碰一下手机。
本文不讲原理推导不堆参数配置只聚焦一件事如何用你手边的Windows或Mac电脑 一台普通安卓手机在30分钟内跑通整个流程。
全程零显卡依赖支持云端API直连小白可上手开发者可深挖。
环境准备三步搞定硬件与基础工具别被“ADB”“Agent”这些词吓住——实际准备比装微信还简单。
我们分三块说清电脑环境、手机设置、连接验证。
1 电脑端Python ADB 是唯二必需项操作系统Windows 10/11 或 macOS Monterey 及以上Linux同理本文以Win/mac为主Python版本建议
3.
1
9~
11 均兼容避免使用Anaconda默认的
8关键工具ADB平台工具官方包非第三方精简版小贴士不用下载完整Android SDK只要platform-tools压缩包即可。
解压后记住文件夹路径比如C:\adb或~/Downloads/platform-toolsWindows配置ADB环境变量3分钟搞定右键“此电脑”→属性→高级系统设置→环境变量在“系统变量”中找到Path→ 编辑 → 新建 → 粘贴你的ADB解压路径如C:\adb打开新命令行窗口输入adb version看到类似Android Debug Bridge version
1.
41即成功macOS配置终端一行命令echo export PATH$PATH:~/Downloads/platform-tools ~/.zshrc source ~/.zshrc adb version
2 手机端开启“被控制权”仅需3个开关不是越狱不是Root只是标准安卓调试权限。
以主流机型vivo、小米、华为、三星为例开启开发者模式设置 → 关于手机 → 连续点击“版本号”7次部分机型需10次直到弹出“您现在处于开发者模式”提示启用USB调试返回设置 → 系统与更新 → 开发者选项 → 打开“USB调试”若找不到请确认已开启开发者模式并重启手机安装ADB Keyboard解决输入法阻断问题下载官方APKADBKeyBoard.apk命令行安装USB线已连接adb install -r ADBKeyboard.apk手机设置 → 语言与输入法 → 当前输入法 → 切换为ADB Keyboard注意部分新机型如小米
华为Mate60需额外开启“USB调试安全设置”和“MIUI优化关闭”。
若adb devices显示unauthorized请在手机弹窗中点击“允许”。
3 验证连接一眼确认是否就绪保持USB线连接或WiFi同网段运行adb devices正常输出应类似List of devices attached ZY322FDQJL device出现device表示连接成功❌ 若为空或显示offline请检查USB线质量推荐原装线、手机USB模式设为“文件传输”而非“仅充电”。
项目部署克隆、安装、一行命令启动Open-AutoGLM 的控制端代码轻量简洁无复杂构建流程。
所有操作均在本地电脑终端完成。
1 克隆仓库与安装依赖建议新建独立文件夹避免路径空格或中文引发异常# 创建项目目录 mkdir auto-glm-phone cd auto-glm-phone # 克隆官方仓库注意使用HTTPS无需Git认证 git clone https://github.com/zai-org/Open-AutoGLM.git cd Open-AutoGLM # 推荐使用虚拟环境防依赖冲突 python -m venv venv source venv/bin/activate # macOS/Linux # venv\Scripts\activate # Windows # 安装核心依赖含ADB通信、HTTP客户端、日志模块 pip install -r requirements.txt pip install -e .验证安装运行python -c import phone_agent; print(OK)无报错即成功
2 两种启动方式API直连推荐新手 vs 本地模型进阶可选Open-AutoGLM 支持双模式运行API模式调用智谱 BigModel 云端服务无需GPU5分钟上手适合体验与测试本地模型模式需自行部署autoglm-phone-9b模型vLLM或Ollama适合私有化、低延迟场景本文主推API模式——因为✔ 新用户注册即送充足免费Token✔ 无需显卡MacBook Air M1/M2 也能流畅运行✔ 模型持续在线更新效果稳定获取智谱API Key2分钟访问 智谱AI官网注册/登录账号进入「API密钥管理」→「创建新密钥」→ 复制保存形如sk-xxx重要密钥需用英文双引号包裹且不能含空格或换行启动交互式Agent最简命令python main.py \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model autoglm-phone \ --apikey sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx回车后你会看到提示符Enter your task:此时输入自然语言指令例如打开高德地图搜索“杭州西湖音乐喷泉”导航到那里AI将开始截图、分析、点击、输入……全程可视化输出日志你能清晰看到每一步决策逻辑。
成功标志终端打印Result: ...并附带结构化任务反馈如定位成功、导航已启动
实战演示从指令到执行完整走一遍我们用一个真实高频需求来演示全流程“帮我订一杯瑞幸咖啡门店自提地址选公司楼下那家”
1 指令输入与AI理解阶段在交互模式下输入打开瑞幸咖啡App选择公司楼下那家店地址上海市静安区南京西路1266号恒隆广场1F点一杯拿铁温度热糖度标准加一份浓缩自提下单AI会立即执行以下动作链日志节选[INFO] Taking screenshot... [INFO] Sending image text to model... [INFO] Model response: {thought:当前在桌面需先找到瑞幸App图标,action:click,x:320,y:850} [INFO] Executing click at (320,
... [INFO] Taking screenshot... [INFO] Model response: {thought:已进入瑞幸首页顶部有‘门店’Tab点击进入,action:click,x:180,y:120} ... [INFO] Model response: {thought:订单确认页显示‘支付’按钮点击完成下单,action:click,x:540,y:1980} [INFO] Result: 已为您成功下单瑞幸咖啡订单号LX2024052115320088预计15分钟内可取。
2 关键能力解析它凭什么能“看懂”屏幕Open-AutoGLM 的核心不在“多快”而在“多准”。
它通过三重机制保障可靠性能力层实现方式用户价值多模态感知每次操作前自动截屏将图像OCR文本界面DOM结构若可获取联合输入VLM不依赖控件ID即使App更新UI也不失效动作泛化模型输出非固定坐标而是相对位置如“右上角第二个图标”“底部导航栏第三个Tab”适配不同分辨率手机iPhone/安卓/折叠屏安全熔断对支付、删除、授权类操作自动暂停并提示“即将执行敏感操作是否继续”杜绝误触风险人工接管无缝衔接实测发现在vivo S20120Hz屏、小米13LTPO自适应刷新上单次任务平均耗时22~38秒含网络延迟其中AI思考占40%ADB执行占60%。
延迟主要来自云端API响应非本地性能瓶颈。
5.
常见问题与速查解决方案部署过程可能遇到的典型问题我们都为你预判并给出可执行方案
1 ADB连接失败device not found或unauthorized现象adb devices显示空列表或?????????? no permissions根因驱动未安装 / USB模式错误 / 手机未授权解法Windows用户安装Universal ADB Driver手机USB模式切为“文件传输”MTP断开重连手机弹窗点“允许USB调试”
2 中文乱码报错UnicodeDecodeError: gbk codec cant decode...现象运行check_deployment_cn.py时崩溃根因Windows默认用GBK读取UTF-8文件解法编辑scripts/check_deployment_cn.py在第22行左右找到with open(args.messages_file) as f:改为with open(args.messages_file, encodingutf-
as f:
3 指令无响应或反复点击同一位置现象AI一直点击屏幕中央或循环截图不推进根因模型未正确识别UI元素常见于深色模式、定制ROM解法手机切回系统默认浅色主题关闭“极简模式”“老年模式”等UI简化功能在指令末尾追加约束“请严格按顺序执行不要跳步”
4 API调用失败401 Unauthorized或429 Too Many Requests现象终端报错Authentication failed或Rate limit exceeded解法检查API Key是否复制完整共32位含sk-前缀登录智谱后台查看Token余额与调用配额如需高频测试可申请提高免费额度后台提交工单
进阶玩法不止于“点一点”还能怎么玩当你跑通第一条指令真正的探索才刚开始。
Open-AutoGLM 的设计哲学是“开放可扩展”以下是几个已验证的实用方向
1 批量任务自动化把重复操作变成“一句话”利用脚本批量处理例如每日晨会前自动整理信息# batch_task.py from phone_agent.main import run_task tasks [ 打开企业微信转发昨日销售日报到‘管理层群’, 打开飞书下载最新版OKR模板到本地Documents, 打开钉钉打卡今日健康上报 ] for task in tasks: run_task(task, api_keysk-xxx, base_urlhttps://open.bigmodel.cn/api/paas/v
4)
2 自定义提示词优化让AI更懂你的习惯修改prompts/phone_agent_prompt.txt中的system prompt加入领域知识你是一名资深电商运营助理熟悉淘宝、京东、拼多多的UI结构。
当用户说“上架新品”默认执行打开千牛→商品管理→发布商品→填写标题/价格/主图→上架。
3 WiFi远程控制摆脱USB线实现真·无线联动USB连接手机运行adb tcpip 5555断开USB确保手机与电脑在同一WiFi运行adb connect
192.
168.
102:5555手机IP可通过设置→关于手机→状态查看启动时指定IPpython main.py --device-id
192.
168.
102:5555 --base-url ... 打开B站看科技区最新视频
7.
总结这不只是一个工具而是一种新交互范式Open-AutoGLM 的价值远不止于“帮点手机”。
它首次将大模型的认知能力与物理世界操作能力在消费级设备上稳定结合。
我们
总结三个不可替代的优势零学习成本不需要写代码、不需记命令就像吩咐同事一样说人话跨App通用不依赖特定App接口对微信、抖音、银行App等封闭生态同样有效可审计可干预每一步操作都日志化敏感动作强制确认安全与可控兼得当然它也有明确边界目前不支持游戏内实时操作如《原神》战斗、无法处理纯图形验证码、对极小字体识别率略低。
但这些正是未来迭代的方向——而你已经站在了第一排。
下一步你可以用它自动回复消息、整理截图、填表单结合Home Assistant实现“手机智能家居”联动如“打开空调并调至26度”尝试本地部署autoglm-phone-9b获得毫秒级响应技术终将回归人的本意少动手多思考。
当AI开始替你点手机你真正拥有的是多出来的那半小时——用来喝杯咖啡或者认真看看这个世界。