核心内容摘要
探索“涩涩漫画”的艺术魅力：视觉盛宴与情感共鸣
亲测Open-AutoGLM一句话让AI替我操作手机太爽了
这不是科幻是我昨晚刚用上的真实体验昨天晚上十一点我瘫在沙发上刷小红书看到一条“打开美团搜附近川菜馆”的评论。
手一滑顺手把这句话复制进终端——回车执行。
三秒后我的手机屏幕自动亮起解锁、打开美团、跳转到搜索页、输入“川菜馆”连定位都自动开了。
我甚至没来得及放下薯片袋子。
这不是录屏不是脚本也不是预设流程。
就是一句话一个模型一次真实的多模态理解与执行闭环。
Open-AutoGLM 不是又一个“能说会道”的大模型它是第一个真正意义上看懂你手机屏幕、听懂你自然语言、然后替你点下去的 AI 手机助理。
它不生成文字不画图不配音——它直接接管你的设备像一个坐在你旁边、手指比你还快的朋友。
这篇文章不讲架构图、不列参数表、不谈“端云协同”这种虚词。
我会带你从零开始用一台旧安卓机、一台笔记本电脑实打实跑通整个流程。
你会看到怎么让 AI 看懂微信聊天框里的“帮我订明天上午十点去首都机场的滴滴”它怎么识别弹窗、跳过广告、在验证码出现时主动喊你“该你输数字了”为什么说“打开小红书搜美食”背后藏着视觉理解 意图解析 动作规划三重能力以及它目前最真实的能力边界在哪——哪些事它干得比你利索哪些事它还在挠头全程不用改一行源码不配一个环境变量除了 ADB不碰任何配置文件。
就像装个普通软件那样简单。
准备工作三步搞定硬件与连接
1 你只需要这四样东西一台 Android
0 的真机别用模拟器它真要操作屏幕一台 Windows 或 macOS 电脑Mac 用户注意别用 M 系列芯片的 Rosetta 模式运行 ADB会掉线一根 USB 数据线WiFi 连接可选但首次务必用 USB十分钟耐心——真的十分钟不需要显卡不跑本地大模型所有 AI 推理都在云端完成。
你本地只跑一个轻量控制端负责截图、传图、发指令、执行点击。
2 手机设置三分钟开好“遥控开关”别被“开发者模式”吓到这比连蓝牙耳机还简单开开发者模式手机「设置」→「关于手机」→连续点击「版本号」7 次直到弹出“您现在是开发者”开 USB 调试返回上一级进「开发者选项」→ 找到「USB 调试」打开它装 ADB Keyboard关键去 GitHub 下载 ADBKeyboard.apk最新版 v
3安装后进「设置」→「语言与输入法」→「当前键盘」→ 切换为「ADB Keyboard」这一步决定了 AI 能不能往输入框里打字。
没有它所有“搜索”“登录”“发消息”都会卡住。
小贴士如果手机提示“未知来源应用”请在安装界面点右上角三个点 → 允许此来源安装。
3 电脑装 ADBWindows 和 Mac 都只需两行命令Windows 用户去 Android SDK Platform-Tools 页面 下载 zip 包 → 解压到C:\adb→ 右键“此电脑”→属性→高级系统设置→环境变量→系统变量→Path→新建→填入C:\adb→ 打开 CMD 输入adb version看到版本号就成功了Mac 用户终端执行curl https://dl.google.com/android/repository/platform-tools-latest-darwin.zip -o platform-tools.zip unzip platform-tools.zip export PATH$PATH:$(pwd)/platform-tools adb version验证成功的标志手机连上 USB 后在电脑终端输入adb devices返回类似ZY322XXXXX device的一行而不是unauthorized或空行。
如果显示unauthorized请检查手机是否弹出了“允许 USB 调试吗”的授权弹窗——点“允许”并勾选“始终允许”。
一分钟部署克隆、安装、启动
1 控制端代码真正的“一键获取”打开终端Windows 用 CMD/PowerShellMac 用 Terminal依次执行git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM pip install -r requirements.txt pip install -e .全程无报错即成功。
pip install -e .是为了让 Python 能直接 import 项目内的模块不是可有可无的步骤。
2 连接你的手机USB 是最稳的选择确保手机已通过 USB 连接电脑并且adb devices显示device状态。
记下那一串字母数字组合比如ZY322XXXXX——这就是你的--device-id。
注意不要用emulator-5554这类模拟器 ID。
Open-AutoGLM 目前对模拟器支持不稳定真机才是唯一推荐路径。
3 启动代理一句话触发整套流程现在最关键的一步来了。
在Open-AutoGLM目录下执行python main.py \ --device-id ZY322XXXXX \ --base-url http://
127.
0.
1:8000/v1 \ 打开微信给张三发消息今晚火锅局老地方见等等——http://
127.
0.
1:8000/v1是哪来的这是默认指向本地运行的 vLLM 服务。
但别慌我们不用自己搭。
实测建议直接使用智谱官方提供的免费 API 服务需注册获取 key。
替换为--base-url https://open.bigmodel.cn/api/phone/v1并在命令末尾加--api-key your_api_key_here不过为了让你立刻上手我们先用更轻量的方式跳过自建推理服务直接调用已部署好的公开 demo 端点测试用非生产环境python main.py \ --device-id ZY322XXXXX \ --base-url https://autoglm-demo.zhipu.ai/v1 \ 打开淘宝搜‘无线充电宝’按销量排序点第一个商品你将亲眼看到手机自动解锁 → 启动淘宝 → 顶部搜索栏高亮 → 弹出软键盘 → 输入“无线充电宝” → 点击搜索 → 等待结果加载 → 点击“销量”筛选 → 滑动 → 点击第一个商品卡片整个过程无需人工干预AI 自己判断每一步该点哪、等多久、要不要滑动。
实测效果它到底能干啥哪些事它真比你强我用同一台小米 12Android 13连续测试了 12 类日常指令以下是真实记录非理想化描述
1 它干得又快又准的事成功率 95%指令示例实际表现耗时备注“打开小红书搜‘露营装备推荐’”自动打开 App → 点搜索框 → 输入 → 点搜索 → 加载完成
2 秒中文识别稳定错别字容忍度高“打开设置关蓝牙”进设置 → 滑动找“蓝牙” → 点击 → 关开关
8 秒对图标位置判断准确不依赖文字识别“打开相册选最近一张照片分享到微信”进相册 → 点最新图 → 点分享 → 选微信 → 发送
1 秒能区分“分享”和“发送”不误触“编辑”核心优势对主流 App微信、淘宝、小红书、美团、设置、相册、浏览器的 UI 结构理解成熟动作规划逻辑清晰响应延迟低平均单步
2 秒。
2 它会卡壳、需要你帮一把的事成功率 60–75%指令示例卡点位置你该做什么原因分析“登录支付宝输账号 138****1234密码 123456”在密码框弹出时AI 停住不动手动点一下密码框它立刻继续输入当前版本对“安全键盘”兼容性弱需人工激活输入焦点“打开京东搜‘iPhone 15’加购第一个去结算”加购成功但结算页未自动点“提交订单”提示“请确认收货地址”你点一下地址栏多级弹窗地址选择逻辑复杂需更多上下文训练“打开知乎搜‘大模型怎么学’点阅读量最高的回答”搜索成功但无法准确识别“阅读量最高”标签手动滑动两下它立刻识别并点击长列表中排序标识位置不固定视觉模型需更强空间推理真实提醒它不是魔法是仍在快速迭代的工程产品。
它的强项是结构化任务流打开→搜索→点击→输入弱项是模糊语义动态界面“最好的”“最火的”“随便挑一个”。
但它会在卡住时明确告诉你“正在等待用户确认验证码”或“检测到登录弹窗请手动输入”。
3 它让我惊呼“原来还能这样”的隐藏能力跨 App 协同“把微信里王五发的链接复制到 Safari 打开”→ AI 自动长按微信消息 → 点“复制” → 切换到 Safari → 点地址栏 → 粘贴 → 回车。
完全理解“复制”“切换”“粘贴”是三个独立动作。
图文混合理解截图一张带二维码的公众号文章发指令“扫这个码关注‘AI前线’”→ AI 识别图中二维码 → 调起微信扫码 → 自动关注。
它真能“看图办事”。
容错式重试指令“打开微博搜‘台风预警’点第一条带视频的微博”→ 第一次没找到视频图标它自动滑动一页 → 再识别 → 找到后点击。
失败不报错而是主动探索。
这些不是文档里写的“支持”是我在凌晨两点随手试出来的、带着生活毛边的真实能力。
为什么它能做到三句话说清技术内核别被“多模态”“Agent”这些词绕晕。
Open-AutoGLM 的聪明就藏在三个务实设计里
1 它不“读”屏幕它“看”屏幕传统自动化工具如 Auto.js靠坐标、ID、文本匹配。
Open-AutoGLM 用 GLM-
5V 视觉模型把整张手机截图当一张图来理解——按钮是凸起的输入框有光标广告有“关闭”小叉弹窗有半透明蒙层。
它不依赖 App 是否开放 Accessibility 权限只要屏幕亮着它就能工作。
2 它不“执行”指令它“规划”动作你输入“打开抖音搜美食”它内部拆解为① 启动抖音 App → ② 等待首页加载完成 → ③ 点击顶部搜索图标 → ④ 等待搜索框获得焦点 → ⑤ 输入“美食” → ⑥ 点击搜索按钮 → ⑦ 等待结果页渲染。
每一步都有超时判断、状态校验、失败回退。
这不是脚本是带反馈的闭环。
3 它不“越权”它“守界”所有敏感操作支付、删除、发送私密消息前它会暂停并弹出通知“即将向张三发送消息确认执行”。
你点“是”它才继续。
它不会偷偷操作而是把你放在决策环里——这才是真正可用的 AI 助理。
现在就能动手的三个实用场景别再想“未来怎样”今天就能用起来。
我整理了三个零门槛、高回报的落地方式
1 场景一信息聚合员适合所有人指令“打开知乎、小红书、B站分别搜‘RTX 5090 发布’把前三条标题截图发我微信”效果AI 自动轮换打开三个 App → 搜索 → 截图 → 切回微信 → 新建聊天 → 发送三张图。
你省下的不是时间是反复切屏、手动截图、找聊天窗口的心智负担。
2 场景二长辈远程助手适合子女让父母手机连上你的电脑WiFi 连接你远程下发指令“帮我妈手机里把微信收藏里的‘高血压食谱’发到她微信对话框”→ AI 自动打开微信 → 进收藏 → 找文档 → 点开 → 长按 → 发送给“我”。
你不再需要视频教他们点哪而是直接“告诉它你要什么”。
3 场景三App 测试轻量化适合开发者写个简单脚本批量测试不同分辨率下的 UI 兼容性for app in [taobao, meituan, xiaohongshu]: cmd fpython main.py --device-id {id} --base-url {url} 打开{app}点首页截图 os.system(cmd)10 分钟生成 30 张各 App 首页截图比手动点快 5 倍比 Selenium 写脚本快 10 倍。
7.
总结它不是替代你是把“操作权”还给你我用了一周 Open-AutoGLM最大的感受不是“AI 多厉害”而是“原来我每天在手机上做的有 70% 根本不值得亲手点”。
点外卖、查快递、比价、转发链接、填表单、设闹钟……这些不是“使用手机”是在给手机打工。
Open-AutoGLM 的价值不在于它多像人而在于它足够不像人——它不犹豫、不手滑、不忘记、不厌烦把重复劳动从你手指上卸下来。
它目前还有短板对小众 App 支持弱、复杂表单填写吃力、中文口语指令泛化不足。
但它开源意味着下周可能就有开发者补上“支持钉钉审批”“适配鸿蒙系统”的 PR意味着三个月后它就能处理“把会议录音转文字摘要重点发邮件给老板”这样的链路。
这不是终点是起点。
当你第一次看着手机自己点开 App、输入文字、完成操作那种轻微的眩晕感和十年前第一次用 Siri 说“打电话给妈妈”时一模一样。
只是这一次它真的伸出手替你按下了那个按钮。