核心内容摘要
tqdm进度条加持，MGeo处理万条地址不慌
用Open-AutoGLM做了个AI手机助手效果太惊艳了你有没有想过有一天对着手机说一句“帮我订明天下午三点的咖啡外卖”手机就自动打开APP、选店铺、加购物车、填地址、完成支付——全程不用你点一下屏幕这不是科幻电影而是我上周用Open-AutoGLM亲手搭出来的现实。
整个过程没有写一行推理逻辑没调一个UI坐标只输入了一句话AI就自己看界面、想步骤、点按钮、输文字像真人一样把事办妥了。
更让我惊讶的是它不是在模拟器里跑着玩的——我直接连上了我日常用的安卓真机从解锁屏到下单成功全程流畅自然。
今天这篇笔记不讲大道理不堆参数就带你从零开始用最直白的方式把这套“会动手的AI”装进你的手机里。
你不需要是算法工程师只要会装软件、能连数据线就能复现这个效果。
它到底是什么一个真正会“看”会“动”的AI
1 不是聊天机器人是能干活的数字分身很多人第一次听说AutoGLM下意识以为又是另一个“能说会道”的大模型。
但Open-AutoGLM Phone版完全不是这样。
它不回答问题它解决问题它不生成文字它操控设备。
你可以把它理解成一个数字手数字眼数字脑的组合体数字眼每秒自动截一次屏把当前手机画面变成一张图交给视觉语言模型去“看懂”——哪个是搜索框、哪个是返回键、哪块是广告、哪行是商品标题它都认得清数字脑接到你的指令后它先拆解任务比如“搜美食”要分三步打开小红书→点搜索栏→输入关键词再判断当前界面是否匹配下一步动作数字手通过ADBAndroid调试桥发出真实操作指令——点击坐标、滑动区域、输入文字、长按菜单全部是真机级操作和你手指点的一模一样。
所以它不是“帮你查资料”而是“替你点手机”。
2 和普通AI助手的本质区别对比项传统语音助手如Siri/小爱同学Open-AutoGLM Phone交互方式只听语音固定唤醒词有限指令接收任意自然语言无唤醒词限制理解能力依赖预设意图识别只能响应“打电话”“设闹钟”等固定动作看图识界理解当前APP布局与状态动态规划路径执行能力调用系统API仅支持少数内置功能通过ADB控制任意已安装APP包括未开放API的第三方应用容错机制指令失败即终止遇到弹窗、验证码、登录页会暂停并提示人工接管不瞎点举个真实例子我让它“给微信里备注‘张经理’的人发一条‘会议改到四点’的消息”。
它先打开微信→在通讯录里找“张经理”→点进去→调出键盘→输入文字→点发送。
整个过程它自己判断了“张经理”在哪一页、要不要下滑、输入法是否切换成功——而这些没有任何代码是我写的。
三步上手从连上手机到让它干活
1 准备工作两台设备一个连接你不需要服务器、不买显卡、不配环境。
只需要一台电脑Windows/macOS均可Python
10一部安卓手机Android
0真机或模拟器都行一根USB线首次配置用后续可WiFi无线控制注意iOS设备暂不支持因苹果未开放ADB权限。
鸿蒙OS部分机型兼容建议优先用原生安卓。
手机端设置5分钟搞定开开发者模式设置 → 关于手机 → 连续点击“版本号”7次 → 弹出“您现在是开发者”开USB调试设置 → 系统 → 开发者选项 → 打开“USB调试”装ADB键盘关键下载 ADB Keyboard APKGitHub开源项目手机安装后进入 设置 → 系统 → 语言与输入法 → 当前输入法 → 切换为“ADB Keyboard”这一步是为了让AI能真正“打字”。
普通输入法无法被ADB远程触发而ADB Keyboard专为此设计装完即可。
电脑端配置命令行3条指令#
安装ADB若未装过 # Windows下载platform-tools.zip解压后把路径加进系统环境变量 # macOS终端运行 brew install android-platform-tools #
验证连接 adb devices # 正常应显示类似XXXXXX device如果显示unauthorized手机上弹出“允许USB调试吗”勾选“始终允许”再点确定。
2 部署AI代理一行命令启动Open-AutoGLM的控制端代码极简所有复杂逻辑都封装好了# 克隆代码无需改任何文件 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装依赖自动处理PyTorch、Pillow、adbutils等 pip install -r requirements.txt pip install -e . # 启动用你的设备ID和智谱API Key python main.py \ --device-id ZY225XXXXX \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model autoglm-phone-9b \ --apikey your_api_key_here \ 打开高德地图搜索离我最近的充电站--device-id运行adb devices第一列显示的那串字符--apikey去智谱开放平台注册后在“API Key管理”里创建一个复制粘贴即可最后引号里的句子就是你给AI下的指令——越像人话越好不用格式、不加标点要求。
小技巧第一次运行建议用USB连接稳定熟悉后改用WiFi只需在USB连通时执行adb tcpip 5555然后断开USB再用adb connect
192.
168.
100:5555手机IP可在WiFi设置里查。
3 看它干活真实任务实录我测试了5个日常高频场景全程录屏观察。
以下是其中两个典型过程场景一“打开小红书搜‘露营装备推荐’保存前三篇笔记封面”第1秒AI截图识别桌面找到小红书图标点击第3秒等待APP加载再次截图定位顶部搜索栏点击第5秒调起ADB键盘逐字输入“露营装备推荐”第8秒识别搜索结果页滑动浏览对每篇笔记截图→用OCR提取标题→判断是否含“推荐”“清单”等关键词第12秒长按
封面→弹出菜单→点击“保存图片”→重复三次。
整个过程无卡顿无误触保存的三张图全在相册里命名带时间戳。
场景二“在淘宝找iPhone15保护壳筛选‘销量优先’加入购物车第一个商品”它准确识别了淘宝首页的搜索框输入后进入结果页自动点击右上角“筛选”按钮在弹出菜单中它不是乱点而是截图分析文字位置精准点击“销量优先”选项刷新后识别商品卡片区域计算第一个商品的中心坐标点击进入详情页最后找到“加入购物车”按钮即使按钮文字是“立即购买”或“购物车”它也能通过位置颜色上下文综合判断。
这不是脚本回放是实时感知动态决策。
效果为什么惊艳三个被忽略的关键能力
1 界面理解不靠坐标靠“看懂”传统自动化工具如Appium、UiAutomator严重依赖UI控件ID或屏幕坐标。
一旦APP更新、界面重排、字体缩放脚本立刻失效。
而Open-AutoGLM Phone用的是多模态联合理解它把整张截图你的文字指令一起喂给模型让模型自己回答“此刻屏幕上我要找的东西在哪儿”比如你让它“点右上角的三个点”它不会记死“x900,y120”而是看图判断“右上角那个由三个圆点组成的图标大概率是菜单按钮”。
这就意味着——同一套指令在不同分辨率手机上通用APP改版后只要按钮样式没彻底重做它依然能认出来甚至能处理模糊截图、半遮挡按钮、深色模式等复杂情况。
我在华为Mate60和小米14上分别测试了同一指令成功率均为100%没做任何适配。
2 操作不靠穷举靠“想清楚再动手”很多AI Agent一上来就猛点点错就报错退出。
Open-AutoGLM Phone有明确的动作验证闭环发出点击指令前先预测“点击后界面会变成什么样”执行后立刻截图比对预测图与实际图如果不一致比如该跳转却没跳转它会主动重试或向上反馈。
我在测试中故意把小红书后台杀掉让它“打开小红书”。
它没有反复点击桌面图标而是先检测到APP未运行自动执行“从应用列表启动”流程——先滑到应用页再找图标再点。
这种“思考-行动-验证-修正”的循环让它看起来不像程序而像一个谨慎又耐心的真人助理。
3 安全不靠信任靠“人工守门员”最让我放心的是它的敏感操作熔断机制涉及支付、转账、删除联系人、清除数据等操作时它会自动暂停输出提示“检测到支付页面需人工确认是否继续”并等待你敲回车遇到短信验证码、人脸识别、二次密码弹窗它不尝试破解而是截图发给你说“请在手机上输入验证码输入完成后按回车”。
这避免了“AI失控乱点”的最大风险。
它不是取代你而是延伸你——把重复劳动交出去把关键决策权留给你。
实战技巧让AI更听话的3个经验
1 指令怎么写记住这三条铁律不说“帮我”写“打开微博热搜榜”比“帮我打开微博热搜榜”更高效模型专注动作不解析主语不省略关键名词写“在京东搜‘机械键盘 红轴’”比“搜机械键盘”强明确平台属性减少歧义复杂任务分两句与其写“订一杯瑞幸拿铁送到公司前台”不如分两步“打开瑞幸APP点‘外卖’→在搜索框输入‘拿铁’选‘公司前台’为收货地址”。
我在测试中发现单句指令长度控制在15字内成功率最高超过30字模型容易漏掉后半部分意图。
2 真机比模拟器更稳但要注意两点关闭手机省电模式华为/小米的“智能省电”会强制冻结后台ADB服务导致连接中断锁屏状态下慎用虽然它能自动解锁但部分全面屏手机的“上滑解锁”手势识别不稳定建议保持亮屏。
我的解决方案在手机设置里把Open-AutoGLM加入“电池优化白名单”并用adb shell input keyevent 26电源键adb shell input swipe 500 1500 500 500模拟上滑组合实现稳定唤醒。
3 API调用省成本的小窍门智谱API按token计费而屏幕截图占大量token。
我做了个简单优化# 在main.py里找到截图逻辑加个缓存判断 if last_screenshot_hash current_screenshot_hash: # 界面没变跳过上传复用上次分析结果 pass else: upload_and_analyze(current_screenshot)实测在连续滑动浏览类任务中token消耗降低60%响应速度提升近一倍。
它能做什么这些真实场景已跑通别只盯着“点APP”这种基础操作。
我把它接入了日常工作流以下场景全部100%可用场景类别具体任务示例实际耗时备注信息获取“查今天北京到上海的高铁余票最早一班几点”自动打开12306→查票→截图结果28秒需提前登录12306内容管理“把微信收藏里带‘Python教程’的5条链接发到钉钉‘技术组’群”41秒自动识别链接、切换APP、粘贴发送电商操作“在拼多多找‘降噪耳机’价格低于300元加入购物车第一个”33秒成功避开广告位精准识别商品卡片生活服务“打开美团搜‘家附近修空调’打电话给第一个商家”37秒自动识别电话号码并调起拨号界面办公提效“把钉钉待办里标‘紧急’的3件事同步到飞书日程”52秒跨平台数据搬运无需手动复制最惊喜的是——它能处理非标准界面。
比如我让它“在闲鱼上找二手MacBook筛选‘自提’点开第一个商品看详情”。
闲鱼的UI极其混乱商品卡片高度不
标签堆叠、按钮位置随机但它依然准确找到了“自提”标签并定位到第一个商品的“查看详情”按钮。
6.
总结这不是玩具是人机协作的新起点我用Open-AutoGLM Phone跑了整整一周从最初的新奇到后来的习惯再到现在的依赖。
它没让我失业反而让我每天多出47分钟——这些时间我用来读论文、写方案、陪家人而不是机械地刷APP、填表单、翻页面。
它证明了一件事AI的价值不在于它多能说而在于它多能做。
当模型开始理解像素、响应界面、执行动作人机边界就不再是“我问它答”而是“我告诉它目标它负责抵达”。
这背后的技术链条VLM规划ADB控制已经足够成熟缺的只是更多人把它用起来、改起来、连起来。
如果你也想试试现在就可以打开终端插上手机敲下那行python main.py。
不需要懂多模态不需要调参就像当年第一次用智能手机——你不需要知道iOS内核怎么调度进程你只需要知道它能让生活变得更简单。
而这就是技术最迷人的地方它不该让人仰望而该让人伸手就够得着。