核心内容摘要
探索成人世界的无限可能：您的专属福利视频导航
无需编程Open-AutoGLM让你的手机秒变智能助理你有没有过这样的时刻刷着小红书突然看到一家网红餐厅想立刻订位却要手动打开美团、搜索店名、翻页找门店、点进预约入口……光是启动流程就花了半分钟朋友微信发来一个抖音号说“这个博主超有趣”你一边回“收到”一边默默点开抖音、切到搜索栏、粘贴ID、点关注——手指划了五次眼睛盯了八秒甚至只是想把手机里一张截图里的文字复制出来都要先截图、再打开OCR工具、上传、等待识别、再复制粘贴……这些不是“懒”而是人对重复操作天然的抗拒。
而今天要介绍的 Open-AutoGLM就是那个不用写一行代码、不需配置服务器、连 Python 都不用装——只要你会打字就能让手机自己动手的智能助理。
它不是另一个聊天机器人也不是云端调 API 的“伪智能”。
它是真正能“看见”你手机屏幕、“理解”你那句“打开小红书搜美食”背后意图、“规划”点击路径、“执行”每一步操作的 AI Agent。
更关键的是它开源、轻量、支持真机直连普通人用一台笔记本一部安卓手机30 分钟就能跑起来。
下面我们就从零开始带你亲手把手机变成听你话的智能副手。
它到底能做什么先看几个真实指令别急着装环境我们先看看它能干啥——这才是决定你愿不愿意继续往下读的关键。
Open-AutoGLM 不是“回答问题”而是“完成任务”。
它的能力边界由你的一句话定义“帮我把相册里今天拍的三张风景照全部发到微信‘摄影交流群’里”→ 自动打开相册、筛选今日照片、长按多选、点击分享、搜索群名、发送。
“登录我的淘宝账号查一下最近一笔待发货订单的物流单号”→ 启动淘宝、点击头像、进入“我的订单”、定位最新待发货项、展开物流详情、截取单号并返回给你。
“打开高德地图导航去离我最近的24小时药店避开高速”→ 启动高德、授权定位、搜索关键词、筛选营业中、设置路线偏好、发起导航。
这些不是演示视频里的剪辑效果而是真实可复现的操作流。
它不依赖 App 内置的 Deep Link 或官方 API而是像真人一样看界面、认按钮、点位置、输文字、等加载、做判断。
它的核心能力有三层缺一不可看得懂用视觉语言模型实时解析当前屏幕画面识别文字、图标、按钮位置、层级关系想得清把你的自然语言拆解成可执行动作序列比如“搜美食” 打开小红书→点搜索框→输入关键词→点放大镜做得准通过 ADB 精确控制点击坐标、滑动轨迹、文本输入支持长按、双击、返回、截图等全操作类型。
而且它足够谨慎遇到登录页、验证码弹窗、支付确认框时会自动暂停等你人工接管——不是“越权代理”而是“可信协作者”。
零基础部署三步走通本地控制链很多人一听“AI Agent”“ADB”“vLLM”第一反应是“这得是工程师才能玩的”。
但 Open-AutoGLM 的设计哲学恰恰相反把复杂留给框架把简单留给用户。
整个部署过程不需要你编译模型、不涉及 CUDA 配置、不强制要求 GPU——你只需要一台能连手机的电脑Windows/macOS 均可和一部 Android
0 的真机模拟器也行但真机体验更稳。
1 第一步让电脑“认出”你的手机这是所有操作的前提。
本质就是开启 ADB 调试通道就像给手机装上一根“数字脐带”。
手机端设置一次性5 分钟搞定开启开发者模式进入「设置 → 关于手机」连续点击「版本号」7 次直到弹出“您已处于开发者模式”开启 USB 调试回到「设置 → 系统 → 开发者选项」找到并开启「USB 调试」安装 ADB Keyboard关键这是让 AI 能“打字”的秘密武器。
下载adb-keyboard.apkGitHub 仓库的assets/目录下有提供安装后进入「设置 → 语言与输入法」将默认输入法切换为「ADB Keyboard」。
小提示很多教程忽略第三步结果 AI 能点能滑就是输不了字。
ADB Keyboard 是唯一能让模型在任意输入框里“敲出文字”的方案务必安装并设为默认。
电脑端准备选一种方式即可Windows 用户下载 Android SDK Platform-Tools解压后把文件夹路径添加到系统环境变量Path中macOS 用户终端运行brew install android-platform-tools或手动解压后在~/.zshrc里追加export PATH$PATH:/path/to/platform-tools验证是否成功插上手机开启 USB 调试打开命令行输入adb devices如果看到一串设备 ID 后面跟着device恭喜连接成功
2 第二步拉取并启动控制端Open-AutoGLM 的控制端代码完全开源无需训练、不占显存纯 Python 脚本驱动。
#
克隆代码只需执行一次 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM #
安装依赖Python
10 推荐 pip install -r requirements.txt pip install -e .这里没有docker build没有conda env create没有make install——只有两行 pip 命令。
所有依赖都经过精简requests、adbutils、Pillow是唯三核心库总安装体积不到 15MB。
3 第三步一句话启动任务手机开始干活现在你已经拥有了一个“AI 操作台”。
接下来只需一条命令就能让手机执行任意任务python main.py \ --device-id ZY2252KQ8N \ --base-url http://localhost:8000/v1 \ 打开微博搜索用户科技老男孩进入主页并点赞他最新一条微博参数说明--device-id就是你刚才adb devices看到的那串字符如ZY2252KQ8N代表你的手机--base-url指向一个已部署好的大模型服务地址。
如果你本地没搭服务可以用智谱官方提供的免费云服务文档中有公开测试地址最后引号里的字符串就是你日常说话的方式不需要任何格式、不需要关键词、不需要模板。
执行后你会亲眼看到手机屏幕自动亮起 → 启动微博 → 顶部出现搜索框 → 输入“科技老男孩” → 点击搜索结果 → 进入主页 → 向下滑动 → 找到最新微博 → 点击心形图标 → 显示“已点赞”。
整个过程无需你碰手机你只是说了句话它就完成了。
真实场景实测从“能用”到“好用”的细节理论再好不如亲眼所见。
我们用三个高频生活场景做了实测全程录屏计时结果如下
1 场景一跨 App 复制信息截图→识别→粘贴→发送指令“把微信里‘家庭群’昨天发的那张超市小票截图OCR 识别出金额然后发消息告诉爸爸‘今天买菜花了
1
5 元’”执行过程自动跳转微信 → 进入“家庭群” → 向上滚动查找昨日消息 → 定位到小票图片 → 截图保存调用内置 OCR 模块识别图片文字 → 提取“金额¥
1
50”切换到微信通讯录 → 搜索“爸爸” → 新建消息 → 输入“今天买菜花了
1
5 元” → 发送。
耗时47 秒手动操作平均需 2 分 15 秒准确率100%OCR 对清晰小票识别稳定金额提取无误
2 场景二多步骤电商操作比价→下单→确认指令“在拼多多和京东上分别搜索‘罗技G304无线鼠标’对比最低价如果京东便宜且有货就加入购物车”执行过程同时启动拼多多 京东后台保活分别搜索商品 → 解析价格模块识别“¥199”“¥189”等→ 判断京东 ¥189 拼多多 ¥199检查京东页面是否有“加入购物车”按钮而非“缺货”或“预售”→ 存在 → 点击。
耗时1 分 22 秒手动需 3 分 40 秒以上注意点模型会主动识别“仅剩2件”“预计明天发货”等干扰信息只采纳“有货可购”状态。
3 场景三敏感操作安全机制登录/验证码指令“登录我的闲鱼账号查看我发布的‘二手MacBook’的最新咨询”执行过程启动闲鱼 → 点击“我的” → 出现登录页模型识别出“手机号登录”“密码输入框”“获取验证码”按钮 →立即暂停终端输出[安全提示] 检测到登录页面请手动输入验证码后输入 continue 继续你输入验证码 → 回车 → AI 继续执行后续操作。
这个“人工接管点”不是缺陷而是设计它把隐私最敏感的环节账号凭证完全交还给你AI 只负责“你授权后的确定性操作”。
进阶玩法不写代码也能定制你的专属助理Open-AutoGLM 的强大不仅在于开箱即用更在于它为你留出了“低门槛定制”的空间。
以下三种方式都不需要你改模型、不涉及 Python 编程。
1 指令微调用“提示词工程”提升成功率模型对指令的解析质量高度依赖你描述的清晰度。
我们
总结了三条小白友好的“指令公式”【动作目标约束】好“打开小红书搜索‘北京咖啡探店’只看近7天发布的图文笔记保存前三条的封面图”差“帮我找点咖啡店图片”【明确App名称避免歧义】好“在‘高德地图’里导航去‘同仁堂药店西直门店’”差“导航去同仁堂”可能打开百度地图或微信地图【分步指令 单句长指令】好先运行打开知乎搜索‘AutoGLM 教程’等返回结果后再运行点击第一条结果向下滚动到评论区截图保存差“打开知乎搜AutoGLM教程并截图评论区”易因页面未加载完而失败这不是让你背语法而是像教朋友做事一样说清楚“在哪做”“做什么”“做到什么程度”。
2 远程控制WiFi 连接摆脱 USB 线束缚不想被数据线捆在电脑旁Open-AutoGLM 支持完整的 WiFi 远程调试#
先用 USB 连接开启 TCP/IP 模式 adb tcpip 5555 #
断开 USB用 WiFi 连接确保手机和电脑在同一局域网 adb connect
192.
168.
102:5555 #
后续所有命令中的 --device-id 直接换成 IP:端口 python main.py --device-id
192.
168.
102:5555 打开B站搜索AI手机...实测 WiFi 延迟稳定在 80~120ms操作流畅无卡顿。
你可以把手机放在桌上用笔记本远程指挥甚至用另一部手机 SSH 连接笔记本来下发指令。
3 任务自动化把常用指令存成快捷方式每次输长命令太麻烦把它变成一键脚本# 创建 aliasmacOS/Linux echo alias myorderpython main.py --device-id ZY2252KQ8N --base-url http://localhost:8000/v1 \打开美团点一份黄焖鸡米饭\ ~/.zshrc source ~/.zshrc # 之后只需在终端输入 myorderWindows 用户可用.bat文件封装或者直接用 VS Code 的 Tasks 功能绑定快捷键。
它不是万能的但已是目前最接地气的手机 AI Agent必须坦诚Open-AutoGLM 不是魔法棒。
我们在实测中也遇到了几类典型限制了解它们才能用得更稳。
1 当前能力边界基于 v
0.
1 版本类型表现应对建议动态内容加载遇到“无限滚动”Feed 流如小红书首页模型可能无法自动触发下一页加载在指令中明确限定范围如“只看前20条”或“滚动三次后停止”模糊界面元素某些 App 的自定义控件如游戏内悬浮按钮、金融类 App 的加密键盘无法被标准 UI 解析器识别优先选择主流 App微信/淘宝/抖音/高德等社区已覆盖 50 常用应用多语言混合界面中英混排的按钮如“Sign In 登录”可能被误判为两个独立元素指令中使用中文描述目标如“点击登录按钮”而非“点击 Sign In”强反爬 App极少数金融类 App 会检测 ADB 注入并主动退出此类场景建议人工接管或联系开发者适配白名单这些不是缺陷而是当前多模态 Agent 的共性挑战。
Open-AutoGLM 的价值恰恰在于它把“能解决的问题”做到了极致简单把“暂时不能解决的”明确告诉你而不是用“黑盒 API”掩盖不确定性。
2 为什么它比同类方案更值得尝试市面上已有不少手机 AI 助理概念但 Open-AutoGLM 的差异化优势非常实在不开源的你永远不知道它把你的屏幕截图传去了哪只支持云服务的网络一断就变砖必须 Root/越狱的普通用户根本不敢碰依赖厂商预装的你换了手机就得重来。
而 Open-AutoGLM全流程本地可控ADB 指令明文可见离线可用模型服务可部署在家庭 NAS 或树莓派无需越狱仅需标准开发者权限设备无关同一套代码适配小米、华为、三星、Pixel它不承诺“取代人类”而是坚定地做一件事把你从 80% 的重复性点击中解放出来把注意力还给真正需要思考的事。
6.
总结你的手机第一次真正听懂了人话回顾这趟从零到落地的旅程你会发现 Open-AutoGLM 的魅力不在技术多炫酷而在于它把一件本该很自然的事重新变得自然了。
智能手机诞生十多年我们习惯了“人适应机器”学手势、记路径、背入口、防误触。
而 Open-AutoGLM 代表的方向是让机器回归服务本质——你不需要记住“怎么打开健康数据”只需要说“帮我看看上周步数”你不必纠结“哪个 App 能查快递”只要说“查一下我昨天买的书到哪了”。
它不靠堆算力而靠对交互逻辑的深度建模它不靠闭源黑盒而靠开源透明建立信任它不靠厂商捆绑而靠标准 ADB 协议实现泛终端兼容。
这不是终点而是一个极佳的起点。
当你第一次看着手机自己完成了一项任务那种“原来真的可以”的微小震撼就是技术普惠最真实的温度。
现在你已经知道怎么做了。
插上手机打开终端输入那句“打开小红书搜美食。
”让手机开始工作吧。