核心内容摘要
寻味千年，品味人生：解码“综合一品道”的东方生活美学
如何用Open-AutoGLM实现手机自动化保姆级部署教程你有没有想过让AI替你点开APP、搜索内容、填写表单、甚至完成购物下单不是靠预设脚本而是真正“看懂”屏幕、“听懂”指令、“想清楚”步骤再动手执行——这不再是科幻场景。
Open-AutoGLM由智谱开源的轻量级手机端AI Agent框架正把这件事变成现实。
它不依赖云端图像上传也不需要你写一行UI自动化代码你只需说一句“打开小红书搜美食”它就能自动识别当前界面、理解按钮位置、模拟点击、输入文字、滑动页面全程无需人工干预。
更关键的是它专为手机端设计模型小9B参数、推理快、支持本地视觉感知远程大模型协同真正在资源受限的边缘设备上跑通了完整的AI Agent闭环。
这篇教程不讲原理、不堆术语只聚焦一件事从零开始在你自己的电脑和手机上跑通第一个全自动手机操作任务。
每一步都经过实测验证覆盖Windows/macOS双平台、USB/WiFi双连接方式、命令行/API双调用路径。
哪怕你没碰过ADB也能在60分钟内让AI第一次帮你点开抖音并关注博主。
先搞懂它到底能做什么Open-AutoGLM不是一个“增强版ADB工具”也不是一个“截图OCR固定流程”的伪智能系统。
它的核心能力来自三层协同
1 多模态屏幕理解看得清、认得准它不是简单截一张图扔给大模型。
系统会实时捕获手机屏幕画面并结合当前界面的UI层级结构通过uiautomator2或ADB dump生成带空间坐标的多模态输入。
比如看到一个“搜索框”它不仅知道文字是“Search”还知道它在屏幕右上角、宽高占比、可点击区域坐标——这才是真正“看懂”。
2 自然语言驱动的任务规划听得懂、想得明你输入的指令比如“打开小红书搜美食”会被拆解为三步意图识别这是启动APP 搜索行为不是打开相册或发消息状态感知当前是否已安装小红书是否已登录首页是否有搜索入口动作编排先找小红书图标 → 点击启动 → 等待首页加载 → 定位搜索框 → 点击 → 输入“美食” → 点击搜索按钮。
整个过程动态生成不依赖硬编码路径。
3 安全可控的自动化执行动得稳、管得住所有操作都通过标准ADB指令下发input tap x y、input text、swipe等但加了两道保险敏感操作确认机制涉及支付、删除、权限授予等动作时自动暂停并弹窗提示等你手动点击“继续”人工接管通道遇到验证码、滑块验证、或模型不确定时立刻切回手动模式你用鼠标/触控板直接操作AI同步学习你的行为。
这意味着它既不是“黑盒全自动”带来的失控风险也不是“半自动脚本”需要你时刻盯着——而是一个真正可信赖、可干预、可进化的手机数字分身。
准备工作硬件、环境与手机设置别急着敲代码。
这一步卡住的人最多但只要按顺序做对后面全是顺水推舟。
1 你的装备清单缺一不可类别要求验证方式控制端你的电脑Windows 10/macOS 12Python
10终端输入python --version被控端安卓手机Android
0建议Android 10以上已解锁开发者选项设置→关于手机→连点“版本号”7次连接方式USB数据线推荐新手或同一WiFi下的稳定网络手机连WiFi后电脑能ping通手机IP必备工具ADB调试工具platform-tools终端输入adb version应返回版本号注意iOS设备暂不支持。
Open-AutoGLM目前仅适配安卓生态因其深度依赖ADB协议与Android UI自动化框架。
2 ADB环境配置手把手不跳步Windows用户去Android SDK Platform-Tools官网下载zip包解压到一个无中文、无空格的路径例如C:\adbWin R→ 输入sysdm.cpl→ “高级”选项卡 → “环境变量” → 在“系统变量”中找到Path→ “编辑” → “新建” → 粘贴你解压的完整路径如C:\adb重启终端输入adb version看到类似Android Debug Bridge version
1.
41即成功。
macOS用户同样下载platform-tools zip解压到~/Downloads/platform-tools打开终端运行echo export PATH$PATH:~/Downloads/platform-tools ~/.zshrc source ~/.zshrc输入adb version验证。
小技巧如果后续总提示command not found: adb大概率是Shell配置文件不对macOS Catalina后默认zsh老系统可能是bash用echo $SHELL查看然后把上面的~/.zshrc换成~/.bash_profile即可。
3 手机端四步设置5分钟搞定这四步必须全部完成缺一不可开启开发者模式设置 → 关于手机 → 连续点击“版本号”7次 → 弹出“您现在处于开发者模式”。
开启USB调试设置 → 系统 → 开发者选项 → 找到“USB调试” → 右侧开关打开 → 弹窗点“确定”。
安装ADB Keyboard关键去GitHub搜索adb-keyboard下载最新apk如adb-keyboard-v
2.
0.
apk用USB线传到手机安装设置 → 系统 → 语言与输入法 → 虚拟键盘 → 勾选“ADB Keyboard” → 设为默认输入法。
为什么必须装它因为普通输入法无法通过ADB接收文字。
ADB Keyboard是唯一能让adb shell input text xxx真正打出字的输入法。
授权电脑调试权限首次连接必做USB连接手机和电脑 → 手机弹出“允许USB调试吗” → 勾选“始终允许” → 点确定。
如果没弹窗说明USB连接模式不对。
下拉通知栏把“传输文件”改成“文件传输”或“MTP”模式。
部署控制端克隆、安装、连接现在你的电脑和手机已经“握手成功”可以开始部署Open-AutoGLM控制端了。
1 下载并安装控制代码打开终端Windows用CMD/PowerShellmacOS用Terminal逐行执行#
克隆官方仓库国内用户建议加代理或用镜像 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM #
创建虚拟环境强烈推荐避免依赖冲突 python -m venv venv source venv/bin/activate # macOS/Linux # venv\Scripts\activate # Windows #
安装依赖注意requirements.txt已适配主流显卡 pip install --upgrade pip pip install -r requirements.txt pip install -e .验证安装运行python -c import phone_agent; print(OK)不报错即成功。
2 确认设备已连接两种方式任选USB直连新手首选最稳定adb devices正常输出应类似List of devices attached 8A5X123456789ABC device其中8A5X123456789ABC就是你的设备ID记下来。
WiFi无线连接适合开发调试前提手机和电脑在同一WiFi且已用USB成功连接过一次。
# 第一步用USB连接时开启手机的TCP/IP服务 adb tcpip 5555 # 第二步拔掉USB线用WiFi连接需知道手机IP adb connect
192.
168.
100:5555 # 替换为你手机的真实IP如何查手机IP设置 → WLAN → 点击当前连接的WiFi → 查看“IP地址”。
验证WiFi连接adb devices应显示
192.
168.
100:5555 device。
启动AI代理一条命令让手机自己动起来Open-AutoGLM的控制端本身不运行大模型它是个“指挥官”把屏幕截图和你的指令发给云端的AutoGLM-Phone模型9B拿到动作序列后再用ADB执行。
所以你需要一个已部署好的云服务端vLLM AutoGLM-Phone API。
如果你还没有可参考官方Docker一键部署方案或使用社区提供的公开API测试端注意公开端有调用频率限制。
假设你已有服务端地址为http://
123.
45.
6
89:8800/v1现在正式开动
1 命令行快速启动推荐新手在Open-AutoGLM根目录下执行python main.py \ --device-id 8A5X123456789ABC \ --base-url http://
123.
45.
6
89:8800/v1 \ --model autoglm-phone-9b \ 打开抖音搜索抖音号为dycwo11nt61d 的博主并关注他参数说明--device-id用adb devices查到的ID或WiFi地址
192.
168.
100:5555--base-url你的AutoGLM-Phone服务API地址末尾必须带/v1最后字符串你的自然语言指令引号包裹支持中文。
成功表现终端会实时打印日志如[INFO] 截获屏幕截图1080x2340 [INFO] 已发送请求至 http://
123.
45.
6
89:8800/v1 [INFO] 模型返回动作[{action: tap, x: 540, y: 1200}, {action: input, text: dycwo11nt61d}] [INFO] 执行 tap(540,
[INFO] 执行 input(dycwo11nt61d) ... [SUCCESS] 任务完成共执行7步动作。
2 Python API调用适合集成进自己的项目如果你希望把自动化能力嵌入脚本或Web应用用API更灵活from phone_agent.main import run_task from phone_agent.adb import ADBConnection #
初始化ADB连接自动检测已连接设备 conn ADBConnection() devices conn.list_devices() if not devices: raise RuntimeError(未检测到任何ADB设备) #
指定目标设备取第一个或按ID筛选 target_device devices[0].device_id #
发起任务参数同命令行但以字典传入 result run_task( device_idtarget_device, base_urlhttp://
123.
45.
6
89:8800/v1, model_nameautoglm-phone-9b, instruction打开小红书搜索‘云南米线’进入第一个笔记点赞并收藏 ) print(f任务状态{result.status}) print(f执行步骤{len(result.actions)} 步) print(f耗时{result.duration:.1f} 秒)提示run_task()返回结构化结果对象包含每一步动作、截图路径、耗时、错误信息方便你做日志分析或失败重试。
排查
常见问题90%的卡点都在这里部署中最常遇到的不是代码错误而是环境“隐形断连”。
对照这份清单5分钟定位现象最可能原因速查命令/操作adb devices显示offline或空白手机USB调试未授权或USB模式错误重新插拔USB → 检查手机弹窗 → 改为“文件传输”模式Connection refused连接被拒云服务端未运行或防火墙拦截端口在服务器上curl http://localhost:8800/v1检查云服务器安全组是否放行8800端口指令执行一半卡住无报错ADB Keyboard未设为默认或输入法冲突手机设置→语言与输入法→确认“ADB Keyboard”已启用并设为默认模型返回乱码、空动作、或超时vLLM启动参数不匹配尤其--max-model-len太小检查服务端启动命令确保--max-model-len 8192且显存足够9B模型建议≥12GB VRAMWiFi连接后adb devices显示unauthorized手机未在WiFi连接时重新授权拔掉USB → 用WiFi连上 → 手机通知栏点“授权调试” → 勾选“始终允许” 终极调试法在执行main.py前先手动测试ADB基础功能adb shell getprop ro.build.version.release # 查安卓版本 adb shell screencap -p /sdcard/screen.png # 截图 adb pull /sdcard/screen.png ./test.png # 拉到电脑查看 adb shell input text hello # 测试输入这三行全通说明ADB链路100%健康问题一定出在Open-AutoGLM或服务端。
下一步从“能跑”到“好用”你现在已拥有了一个能听懂人话、看懂屏幕、动手操作的AI手机助理。
但真正的生产力提升来自定制化批量任务脚本化把常用指令写成JSON列表用循环调用run_task()实现“早八点自动打卡午休刷资讯晚九点发日报”接入微信/钉钉机器人把main.py包装成Webhook接口发条消息就触发手机操作训练专属动作策略用你自己的APP界面截图操作日志微调AutoGLM-Phone的动作头Action Head让它更懂你的高频场景构建家庭IoT中枢手机作为“眼睛和手”通过红外遥控APP或智能家居APP间接控制空调、灯光、扫地机器人。
技术没有终点只有不断延展的边界。
而Open-AutoGLM的价值不在于它今天能做什么而在于它把过去需要App开发、UI自动化、NLP工程三支团队协作才能落地的能力压缩成了一条命令、一个API、一句中文。
你不需要成为专家才能拥有一个数字分身。
你只需要按下开始。