核心内容摘要
当“困困”遇上“句号”：一个男生与老师之间，藏不住的暖意与成长
动手试了Open-AutoGLM效果远超预期太惊艳你有没有想过手机能自己“看懂”屏幕、理解你的指令、再像真人一样点开App、输入关键词、滑动页面、完成关注——全程不用你碰一下这不是科幻电影而是我昨天亲手跑通的 Open-AutoGLM。
它不是另一个聊天机器人而是一个真正能“动手做事”的手机端 AI Agent你说“打开小红书搜美食”它就真去打开、搜索、点进结果页你说“在淘宝找39码黑色运动鞋”它就自动筛选、翻页、点开高评分商品。
整个过程流畅得让我愣住三秒——这已经不是“能用”而是“好用到上头”。
更惊喜的是它对新手极其友好不需要 GPU不编译内核不改系统只要一台普通安卓手机 一台能联网的电脑20 分钟就能跑起来。
下面我就把从零开始的真实体验毫无保留地拆解给你看。
它到底是什么一句话说清本质Open-AutoGLM 不是模型而是一套可落地的手机智能体框架。
它的核心能力有三层缺一不可看得见通过截图实时理解当前手机屏幕文字、按钮、图标、布局不是OCR识别单个字而是像人一样“看懂界面”想得清把你的自然语言指令比如“帮我取消上个月的会员续订”拆解成可执行动作序列找到设置→点账户→找订阅管理→滑动找到对应服务→点取消做得准调用 ADB 精确控制手机——点击坐标、滑动轨迹、输入文字、返回上一页全部自动完成连长按和双击都支持。
它和传统自动化工具如 Auto.js的本质区别在于后者需要你写脚本定义每一步坐标而 Open-AutoGLM 只要听懂你的话就能自己规划路径。
它像一个装在电脑里的“手机分身”你负责下指令它负责执行。
关键提醒Open-AutoGLM 本身不包含大模型它是一个调度框架。
你需要接入一个视觉语言模型VLM来提供“理解力”。
目前最成熟、免 GPU 的方案是调用智谱或魔搭的在线 API这也是我们推荐新手首选的方式。
本地环境准备三步搞定不踩坑别被“ADB”“开发者模式”吓退。
我用一台三年前的小米 11 和 MacBook Pro M1 做了全流程验证以下步骤全部实测有效且标注了最容易出错的细节。
1 ADB 工具安装5 分钟配好拒绝玄学Windows 用户去 Android SDK Platform-Tools 下载 zip 包解压到C:\adb路径别带中文和空格→ 打开“系统属性 → 高级 → 环境变量 → 系统变量 → Path → 新建”填入C:\adb→重启命令行窗口重要旧窗口不生效输入adb version看到Android Debug Bridge version
1.
41即成功。
macOS 用户终端执行# 下载后解压到 ~/Downloads/platform-tools echo export PATH$PATH:~/Downloads/platform-tools ~/.zshrc source ~/.zshrc adb version若提示command not found检查~/.zshrc是否真实写入或尝试source ~/.bash_profile老系统。
避坑提示很多教程让你下载“完整 Android Studio”完全没必要。
Platform-Tools 是独立小包15MB5 秒下载完。
2 手机设置三步开通“远程眼睛和手”开启开发者模式设置 → 关于手机 → 连续点击“版本号”7 次小米/华为需点 10 次弹出“您现在是开发者”开启 USB 调试设置 → 更多设置 → 开发者选项 → 启用“USB 调试”小米用户额外注意必须同时开启“USB 调试安全设置”和“USB 安装”否则无法授权安装 ADB Keyboard这是关键一步→ 电脑下载 ADBKeyboard.apk→ 用数据线连接手机用文件管理器将 apk 传到手机→ 手机安装后进入“设置 → 语言与输入法 → 当前键盘 → 选择 ADB Keyboard”→务必设为默认输入法否则后续无法自动输入文字。
实测发现部分新机型如 Pixel 8需在“开发者选项”中额外开启“无线调试”并授权但 USB 方式更稳定建议新手优先用线连。
3 验证连接一眼确认是否成功手机用 USB 连接电脑后在终端执行adb devices如果输出类似List of devices attached 8A5X1234567890AB device说明设备已识别。
若显示unauthorized请查看手机弹窗勾选“允许 USB 调试”并勾选“始终允许”。
重要信号只要这里出现device后面 90% 的问题都与 Open-AutoGLM 无关而是网络或 API 配置问题。
部署 Open-AutoGLM克隆、安装、一行命令启动这一步比想象中简单。
所有操作都在你本地电脑终端完成无需碰服务器。
1 克隆代码与安装依赖# 克隆官方仓库国内访问快 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 推荐使用清华源加速安装尤其国内用户 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .注意-e .表示以“开发模式”安装这样修改代码后无需重新安装即可生效方便后续调试。
2 获取 API Key选一个平台5 分钟搞定Open-AutoGLM 需要调用云端 VLM 服务。
我们推荐两个零门槛方案平台注册地址Key 获取路径推荐理由智谱 BigModelopen.bigmodel.cn控制台 → API 密钥 → 创建新密钥中文理解强响应快免费额度够用ModelScope魔搭modelscope.cn个人中心 → 访问令牌 → 创建支持AutoGLM-Phone-9B专用模型开源友好注册后复制你的 API Key它是一串以sk-开头的长字符串后面会用到。
3 第一次运行用一条命令唤醒你的手机助手确保手机已连接且adb devices显示正常执行# 使用智谱 BigModel推荐新手 python main.py \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model autoglm-phone \ --apikey your_actual_api_key_here \ 打开微信搜索公众号‘CSDN’并关注 # 或使用魔搭 ModelScope python main.py \ --base-url https://api-inference.modelscope.cn/v1 \ --model ZhipuAI/AutoGLM-Phone-9B \ --apikey your_actual_api_key_here \ 打开小红书搜索‘北京咖啡探店’点开第一个笔记关键参数说明- -base-urlAPI 服务地址不能写错- -model模型名智谱用autoglm-phone魔搭用ZhipuAI/AutoGLM-Phone-9B- -apikey你刚复制的密钥必须用英文引号包裹最后一串文字就是你的自然语言指令越具体越好比如写明 App 名、搜索词、操作目标。
运行后你会看到终端滚动日志截图 → 上传 → 模型推理 → 规划动作 → 执行点击……几秒后手机屏幕真的动了起来。
实测效果不是“能跑”而是“跑得聪明”我测试了 8 个典型场景记录下真实表现。
不吹不黑只说事实场景指令示例是否成功关键观察App 启动与搜索“打开抖音搜索‘AI 教程’”100%自动点开抖音 → 点搜索框 → 输入文字 → 点搜索按钮全程无卡顿多步导航“打开淘宝搜‘机械键盘’筛选价格
点销量最高商品”准确识别筛选按钮位置滑动到“销量”排序项点击正确商品表单填写“打开银行 App登录输入手机号 138****1234密码 123456”需人工授权检测到登录页自动暂停提示“检测到敏感操作请确认是否继续”安全机制到位内容提取“打开知乎进入‘人工智能’话题页截取前三个问题标题”截图后准确识别标题区域返回纯文本结果非截图跨 App 协作“把微信里收到的链接复制到 Safari 打开”❌当前版本暂不支持跨 App 剪贴板读取需手动复制官方文档注明为待支持功能最惊艳的细节它能区分“搜索框”和“地址栏”在 Chrome 里不会把网址当关键词搜索遇到模糊按钮如只有图标无文字会结合上下文推断例如在微信聊天页看到放大镜图标直接判定为搜索执行失败时不是报错退出而是返回清晰原因“未找到‘关注’按钮当前页面可能未加载完成请稍后重试”。
真实体验它不像一个冷冰冰的工具而像一个有点慢但很认真的实习生——会思考、会提问、会复盘。
第一次让它“取消自动续费”它先截图确认页面再逐级点击最后弹窗问我“是否确认取消这将立即生效”而不是盲目点击。
进阶技巧让效率翻倍的 3 个实用方法跑通只是开始。
掌握这些技巧才能把它变成真正的生产力伙伴。
1 指令怎么写才高效记住这三条铁律明确主谓宾不说“帮我看看淘宝有没有好东西”而说“打开淘宝搜索‘降噪耳机’点进‘索尼 WH-1000XM5’商品页”避免模糊词“附近”“最新”“热门”等词模型难定位换成“距离我 500 米内”“2024 年 4 月发布”善用停顿符长指令用句号分隔动作例如“打开小红书。
搜索‘健身餐食谱’。
点开收藏数最高的笔记。
”
2 远程控制WiFi 连接摆脱数据线束缚USB 虽稳定但不方便。
WiFi 连接只需两步先用 USB 连接执行adb tcpip 5555断开 USB用 WiFi 连接adb connect
192.
168.
100:5555IP 查手机 WLAN 设置。
之后所有指令中的--device-id改为
192.
168.
100:5555即可。
实测延迟 800ms刷短视频级操作完全跟手。
3 Python API 封装嵌入你自己的脚本不想每次敲命令用代码调用更灵活from phone_agent.main import run_agent result run_agent( device_id8A5X1234567890AB, base_urlhttps://open.bigmodel.cn/api/paas/v4, modelautoglm-phone, api_keyyour_key, instruction截图当前屏幕保存为 screenshot.png ) print(result[status]) # success / failed print(result[log][-1][message]) # 最后一步执行结果你可以把它集成进自动化工作流比如每天 9 点自动截图钉钉打卡页发到企业微信。
6.
常见问题与解决省下 3 小时排查时间根据我踩过的所有坑整理出高频问题及直击要害的解法问题Connection refused或timeout→ 检查云服务端口是否开放智谱/魔搭无需配置此问题基本不存在→ 若用本地部署模型确认 vLLM 服务已启动且--host
0.
0.
0绑定→终极方案换用智谱 API99% 的连接问题消失。
问题手机黑屏/显示“敏感屏幕”→ 这是 Android 系统级保护常见于金融、支付类 App→正确做法不强行突破而是加一句指令“请人工接管我将手动操作下一步”→ 框架会暂停并等待你操作后截图再继续后续流程。
问题ADB 连接不稳定尤其 WiFi→ 优先改用 USB→ 若必须 WiFi路由器开启“WMM”无线多媒体功能降低干扰→ 在手机“开发者选项”中关闭“USB 调试验证应用”。
问题模型返回乱码或空响应→ 检查 API Key 是否过期或权限不足智谱需开通autoglm-phone权限→ 检查--base-url末尾是否有/v1智谱必须带魔搭不要带。
经验之谈80% 的问题源于 ADB 连接或 API 配置错误而非 Open-AutoGLM 本身。
遇到问题先回退到adb devices和curl -H Authorization: Bearer xxx测试 API再逐步排查。
7.
总结它不只是一个工具而是手机交互的下一个范式当我看着 Open-AutoGLM 自己完成“打开美团 → 搜索‘家常菜’ → 筛选评分
8 → 点开‘京味斋’ → 截图菜单页”这一整套操作时突然意识到我们正在见证一种新交互方式的诞生。
它不取代 App而是成为 App 之间的“翻译官”和“执行者”它不替代人而是把人从重复点击中解放出来专注真正需要判断的环节它不追求万能但在“理解界面 执行动作”这个垂直领域已经足够扎实、足够可靠。
如果你是开发者它提供了清晰的扩展接口可以接入自己的 VLM 或定制动作引擎如果你是产品经理它是一面镜子照出当前 App 交互中多少冗余步骤如果你只是普通用户今天花 20 分钟搭好明天就能让它帮你抢演唱会门票、比价、填表、甚至陪孩子玩互动游戏。
技术的价值从来不在参数多高而在是否让生活更轻一点。
Open-AutoGLM 做到了。