核心内容摘要
视听盛宴的新标杆：深挖“99视频精品全部国产精选”背后的文化共鸣与艺术匠心
零基础玩转Open-AutoGLM我终于搞懂怎么用了你有没有试过一边做饭一边想点开小红书查个菜谱结果手油乎乎的手机屏幕一滑就点错或者在地铁上想回条重要消息却因为信号断断续续卡在输入框里干着急这些场景过去只能靠“忍”或“等”但现在——AI真能替你伸手点屏幕了。
Open-AutoGLM 不是又一个“能聊天”的大模型它是个会看、会想、还会动手的手机智能助理。
你不用写代码、不用配环境、甚至不用记住任何命令只要说一句“打开微信给妈妈发个语音说今晚回家吃饭”它就能自动解锁手机、找到微信、点开对话框、调起语音输入再把话说完。
这不是科幻预告片这是今天就能跑起来的真实能力。
而最让我惊喜的是整个过程零编程基础也能三步上手。
下面我就用自己从完全懵圈到成功让AI替我订外卖的全过程带你把 Open-AutoGLM 真正“用起来”。
它到底是什么别被名字吓住很多人看到“Open-AutoGLM”四个字就下意识觉得“又是GLM又是Auto肯定要装CUDA、调显存、改config……”其实完全不是。
Open-AutoGLM 的核心身份是一个手机端 AI Agent 框架——注意关键词手机端、Agent智能体、框架。
手机端它的“眼睛”是你的手机屏幕“手”是ADB指令“脑子”是云端运行的视觉语言模型。
它不跑在你电脑上而是指挥你的手机干活。
Agent不是被动回答问题的“问答机”而是能理解目标比如“订一杯冰美式”、拆解步骤打开美团→选咖啡→选门店→下单→付款、感知界面识别“立即支付”按钮在哪、执行动作点击、滑动、输入的完整闭环系统。
框架它把所有复杂环节——屏幕截图分析、意图理解、动作规划、ADB控制、异常处理——都封装好了。
你只需要告诉它“做什么”剩下的它来搞定。
你可以把它想象成一个住在你手机里的数字管家你负责下指令它负责跑腿、敲门、递东西、确认收货。
它和传统大模型最大的区别就一句话别人在纸上画蓝图它直接拿砖盖楼。
准备工作比装微信还简单别担心“环境配置”四个字。
整个准备过程我用一台刚重装系统的MacBook实测从零开始到第一次成功执行指令只花了22分钟。
关键在于每一步都有明确反馈错了马上知道哪出问题。
1 手机设置3分钟搞定这步必须做但真的不难。
你只需要在手机上点几下开启开发者模式进入「设置 → 关于手机」连续点击「版本号」7次直到弹出“您现在是开发者”的提示。
开启USB调试回到「设置 → 系统与更新 → 开发者选项」打开「USB调试」开关。
安装ADB Keyboard关键这是让它能“打字”的钥匙。
去 GitHub 搜索adb-keyboard下载最新版 APK比如adb-keyboard-v
1.
0.
apk用数据线传到手机手动安装需允许“未知来源应用”安装后进入「设置 → 语言与输入法」把默认输入法切换成「ADB Keyboard」小贴士做完这三步手机屏幕上角会出现一个小小的“开发者选项”图标说明已就绪。
2 电脑装ADB5分钟稳稳当当ADB 是连接电脑和手机的“桥梁”。
Windows 和 macOS 都有傻瓜式方案Windows 用户去 Android SDK Platform-Tools 下载 ZIP 包 → 解压到D:\adb→ 右键“此电脑”→属性→高级系统设置→环境变量→在“系统变量”里找到 Path → 新建 → 粘贴D:\adb→ 点确定。
然后打开命令提示符输入adb version如果显示版本号如Android Debug Bridge version
1.
41就成功了。
macOS 用户打开终端一行命令搞定brew install android-platform-tools安装完同样输入adb version验证。
小贴士如果你用的是 M系列芯片 Macbrew install是最省心的方式避免手动配置 PATH 的路径陷阱。
3 连接手机USB or WiFi我选WiFiUSB 最稳定但线缆一扯就断WiFi 更自由适合放在桌上远程操控。
我推荐先用 USB 跑通再切 WiFi。
USB 连接手机用原装线连电脑 → 终端输入adb devices→ 如果看到一串字母数字如8A9X1F2C device说明已识别。
WiFi 连接进阶但实用先用 USB 连一次执行adb tcpip 5555然后拔掉 USB连上同一WiFi查手机IP设置→关于手机→状态信息里找“IP地址”再执行adb connect
192.
168.
102:5555成功后adb devices会显示
192.
168.
102:5555 device。
小贴士WiFi 连接后手机可以放远一点你边喝咖啡边喊指令它就在另一张桌子上默默执行——这才是真正的“智能助理”感。
启动AI一行命令它就开始干活前面所有准备都是为了这一刻让AI真正接管你的手机。
Open-AutoGLM 的控制端代码已经开源我们不需要从头写只需三步
1 下载并安装控制端打开终端Mac或命令提示符Win依次执行#
克隆代码很快不到10秒 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM #
安装依赖pip会自动解决所有包冲突 pip install -r requirements.txt pip install -e .小贴士如果遇到torch安装慢加清华源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ torch。
全程无需碰GPU驱动、CUDA版本纯CPU环境也完全OK。
2 找到你的设备ID回到终端输入adb devices你会看到类似这样的输出List of devices attached 8A9X1F2C device那个8A9X1F2C就是你的设备ID。
如果是WiFi连接就是
192.
168.
102:5555。
3 发出第一条指令让它动起来现在最关键的一行命令来了。
请把下面这行里的设备ID替换成你自己的然后回车python main.py \ --device-id 设备ID \ --base-url http://api.zai.org:8800/v1 \ --model autoglm-phone-9b \ 打开微博搜索今日天气截个图发给我你没看错——这就是全部。
没有 config 文件没有 API Key没有密钥配置。
http://api.zai.org:8800/v1是官方提供的免费推理服务端目前开放中你直接用就行。
按下回车后你会看到终端开始滚动日志 Capturing screen...正在截图 Analyzing UI elements...正在理解界面Planning action: tap on 搜索 icon规划点击搜索图标 Executing: adb shell input tap 520 120执行点击几秒钟后你的手机屏幕会自动亮起、解锁、打开微博、点开搜索框、输入“今日天气”、点击搜索——整个过程一气呵成像有人在帮你操作。
小贴士第一次运行可能稍慢模型加载需要几秒但后续指令响应极快。
如果卡在某一步终端会明确告诉你“找不到搜索框”或“按钮不可点击”而不是静默失败——这对新手极其友好。
实战案例我用它干了这5件真实小事光看原理没用我直接列5个我昨天用它完成的真实任务附上我的原始指令和它实际做了什么。
你会发现它不是玩具是能嵌入日常的生产力工具。
1 场景临时要分享一个PDF给同事但微信文件传输助手太慢我的指令“打开钉钉找到‘产品组’群把桌面上的‘Q3需求文档.pdf’发到群里”它做了什么自动打开钉钉App在底部导航栏点击「通讯录」→ 搜索「产品组」→ 进入群聊点击输入框旁的「」→ 选择「文件」→ 切换到电脑桌面路径 → 选中PDF → 点击发送发送成功后在终端打印“ 文件已发送至‘产品组’群”关键能力跨设备文件路径识别 App内精准导航 多步操作记忆
2 场景想查快递但懒得一个个App切来切去我的指令“打开菜鸟裹裹查我的所有待收包裹把物流信息读出来”它做了什么启动菜鸟App自动识别首页的「我的包裹」入口并点击滚动页面逐个读取每个包裹的「最新物流节点」和「预计送达时间」在终端汇总输出 顺丰单号 SF123456789已签收
14:22 中通单号 ZT987654321派件中预计明日12:00前关键能力多包裹信息结构化提取 时间语义理解“明日”自动换算为具体日期
3 场景朋友发来一串乱码似的优惠券口令手动复制太费眼我的指令“打开淘宝粘贴剪贴板里的内容点‘立即使用’”它做了什么启动淘宝App自动调起系统剪贴板无需你手动长按识别剪贴板文本是否为淘宝口令含“”符号和乱码组合点击首页顶部的「口令兑换」区域 → 粘贴 → 点击「立即使用」若跳转到商品页自动截图并返回终端“ 已跳转至商品页截图已保存”关键能力剪贴板实时监听 口令格式智能识别 异常流程兜底如口令失效则提示
4 场景想给老爸发个语音教他用微信视频通话我的指令“打开微信找到‘老爸’发一条语音消息‘爸点开这个链接按红色按钮就能看见我啦’”它做了什么启动微信 → 点击顶部搜索 → 输入“老爸” → 进入聊天窗口长按输入框 → 选择「语音输入」→ 自动播放预设语音无需麦克风语音播放完毕后自动点击「发送」终端显示“ 语音消息已发送时长
2秒”关键能力语音合成无缝集成 聊天窗口精准定位 时长精确控制
5 场景深夜加班突然想点个外卖但不想动手指我的指令“打开美团搜‘沙县小吃’选第1家点‘拌面豆浆’备注‘少辣打包’下单”它做了什么启动美团 → 点击搜索框 → 输入“沙县小吃”等待列表加载 → 点击第一个商家自动识别“距离最近”标签进入菜单页 → 搜索“拌面”→ 加购 → 搜索“豆浆”→ 加购进入购物车 → 点击“去结算”→ 在备注栏输入“少辣打包”→ 点击“提交订单”支付页面弹出时终端提示“ 检测到支付界面已暂停执行。
请人工确认付款。
”关键能力多级页面跳转记忆 商品语义匹配“拌面”不等于“鸡丝拌面” 敏感操作主动拦截支付必须人来把关
遇到问题别慌90%都能30秒解决新手上路最怕“卡住不知道哪错了”。
Open-AutoGLM 的设计非常务实几乎所有问题都有清晰报错和对应解法问题现象终端典型报错30秒解决方案手机没反应error: device offline重新插拔USB线或执行adb kill-server adb start-server找不到按钮Element not found: 搜索指令改成更具体描述如“点击顶部放大镜图标”或先让AI截图加参数--debug-screenshot看它看到什么模型没响应Connection refused检查--base-url是否拼错确认网络能访问api.zai.org浏览器打开试试输入法不生效Failed to switch input method回到手机「语言与输入法」手动再切一次 ADB KeyboardWiFi断连device unauthorized手机弹出“允许USB调试吗”提示勾选“始终允许”再点确定小贴士所有报错都带英文关键词如Element not found,Connection refused直接复制到搜索引擎官方GitHub Issues里基本都有现成答案。
进阶玩法不写代码也能定制你的AI助理你以为这就完了不。
Open-AutoGLM 还留了一扇“免代码定制”的门让你轻松扩展能力
1 指令模板库存好常用话术一键复用在项目根目录新建prompts/文件夹放入几个.txt文件外卖.txt内容为打开{app}搜{keyword}选第{rank}家点{dish}备注{note}下单查快递.txt内容为打开{app}查我的所有待收包裹把物流信息读出来下次只需python main.py --device-id 8A9X1F2C --prompt-file prompts/外卖.txt --app 美团 --keyword 沙县小吃 --rank 1 --dish 拌面 --note 少辣你不用记复杂语法就像填空一样自然。
2 截图存档让AI“记住”你的常用界面运行时加参数--save-screenshots它会把每次操作前的屏幕截图自动保存到screenshots/文件夹。
你可以把这些图拖进在线工具如 SikuliX训练它识别你公司内部App的专属按钮——完全零代码。
3 语音唤醒实验性真正解放双手项目里自带voice_trigger.py示例脚本。
配合系统语音识别Mac用内置Speech RecognitionWin用Whisper.cpp你可以做到对着电脑说“嘿小智打开微信发语音”→ 电脑识别指令 → 自动触发main.py执行虽然还不是Siri级流畅但对重度手机用户已是质的飞跃。
7.
总结它不是未来科技而是今天就能用的效率杠杆回顾这整套流程Open-AutoGLM 最打动我的从来不是它有多“强”而是它有多“懂人”。
它不强迫你学ADB命令而是把adb shell input tap x y封装成“点一下搜索图标”它不让你背模型参数而是用--model autoglm-phone-9b一个名字就调起最适合手机场景的轻量模型它甚至不假设你有服务器直接提供开箱即用的云端API连注册都不用。
它解决的从来不是“能不能做”的技术问题而是“愿不愿意做”的体验问题。
所以如果你常常一边走路一边想回消息却总点错做运营要每天批量发几十条不同文案到不同平台是产品经理总要反复演示App新功能给老板看或只是单纯厌倦了在手机上重复点点点……那么Open-AutoGLM 不是一篇技术文章而是你明天早上通勤路上就能让它帮你抢到第一杯咖啡的伙伴。
现在就打开终端输入那行git clone吧。
22分钟后你的手机将第一次真正听懂你的话。