核心内容摘要
3D建模零基础入门：Easy3D快速掌握3D开发核心技能
Open-AutoGLM效果展示AI自动关注抖音账号全过程你有没有试过——在手机上一边刷抖音一边想“要是能让我刚看到的这个博主AI自动帮我点开、进主页、再点关注该多省事”现在这不是设想。
Open-AutoGLM 真的做到了你只说一句自然语言指令它就能接管你的安卓手机看清屏幕、理解界面、规划动作、精准点击全程无需手动操作。
更关键的是它不是“录屏回放”或“固定脚本”而是真正看懂了当前页面——比如识别出“关注”按钮在哪、判断出账号是否已登录、发现弹窗后主动暂停并等你确认……这种“像人一样思考像机器人一样执行”的能力正是 AI Agent 走向实用的关键一步。
本文不讲原理、不堆参数、不列配置项。
我们直接进入最真实、最直观的效果现场从零开始让 Open-AutoGLM 完整走一遍“打开抖音 → 搜索指定抖音号 → 进入主页 → 点击关注”的全流程并全程记录每一步发生了什么、屏幕怎么变、AI怎么想、哪里卡顿、哪里惊艳。
效果总览一句话完成四步操作全程自动无干预先看结果——这是整个流程结束后手机屏幕上最终呈现的状态抖音 App 已启动并处于前台搜索栏中已自动输入“dycwo11nt61d”并完成搜索搜索结果页第一项即为该抖音号且已成功点击进入其个人主页主页右上角“关注”按钮文字变为“已关注”状态图标亮起整个过程耗时约 48 秒含模型推理、ADB 操作、界面加载等待期间你只需在电脑终端敲下一行命令然后看着手机自己动起来。
这不是预设路径的机械点击而是动态感知 实时决策的结果。
当 AI 发现搜索结果页没有立即出现“dycwo11nt61d”它会主动滑动页面查找当它看到“未登录”提示弹窗会立刻停止执行并弹出确认提示当它识别出“关注”按钮被遮挡如底部导航栏重叠会先上滑再点击——这些细节才是效果真实的分水岭。
下面我们把这 48 秒拆解成可验证、可复现、可感知的五个关键阶段带你亲眼见证 AI 是如何“看”、“想”、“做”的。
阶段一指令解析与意图理解——听懂你说的每一字当你在终端输入这条命令python main.py \ --device-id 1234567890ABCDEF \ --base-url http://
192.
168.
100:8800/v1 \ 打开抖音搜索抖音号为dycwo11nt61d 的博主并关注他Open-AutoGLM 的第一步不是去点手机而是在云端模型里“读”你的这句话。
它不会简单地按关键词切分而是进行三层理解
1 动作意图识别“打开抖音” → 启动目标 App包名com.ss.android.ugc.aweme“搜索抖音号为dycwo11nt61d” → 定位搜索入口 → 输入文本 → 执行搜索“并关注他” → 在结果页识别目标账号 → 进入主页 → 点击关注按钮
2 实体抽取与上下文绑定抖音号dycwo11nt61d被准确提取为唯一标识符而非普通字符串“他”被绑定到前文提到的抖音号避免歧义例如不会误认为是当前登录账号“关注”被映射为 UI 元素语义标签而非固定坐标所以换机型、换分辨率也不怕
3 可执行性预判模型还会快速评估任务可行性当前设备是否已安装抖音→ 通过 ADB 查询pm list packages | grep aweme是否已登录账号→ 若未登录后续将触发人工确认环节后文详述屏幕是否处于锁屏状态→ 自动唤醒并解锁需提前授权这一阶段全程在
2 秒内完成不依赖任何本地规则引擎全部由autoglm-phone-9b多模态模型实时生成结构化任务计划Plan Tree。
你可以把它理解为AI 先在脑子里画了一张操作地图才让手指真正动起来。
阶段二屏幕感知与界面理解——AI真的“看见”了你的手机当模型确认可以执行后它立刻通过 ADB 截图获取当前手机画面PNG 格式分辨率自适应并将图像与上一步生成的任务计划一起送入视觉语言模型VLM。
这不是 OCR 文字识别而是端到端的界面语义理解。
我们截取其中三张关键截图看看它到底“看懂”了什么
1 初始状态桌面页![桌面截图]模型识别出顶部状态栏时间/信号、底部 Dock 栏含抖音图标、应用网格区域它没有去数第几行第几列而是直接定位到“抖音”App 图标并输出点击坐标(x: 320, y:
以屏幕左上为原点验证方式用adb shell input tap 320 850手动执行确实打开抖音
2 抖音首页底部导航栏![抖音首页截图]模型识别出底部 5 个 Tab首页、朋友、搜索、消息、我它知道“搜索”Tab 在第 3 个位置但不依赖顺序编号而是通过图标语义放大镜图标 “搜索”文字匹配输出动作点击搜索 Tab → 坐标(x: 540, y:
适配全面屏
3 搜索页输入框与键盘![搜索页截图]模型识别出顶部搜索框带“抖音号”提示文字、软键盘已弹出、光标在输入框内闪烁它判断此时可直接输入于是调用adb shell input text dycwo11nt61d输入完成后识别出右侧“搜索”按钮蓝色圆角矩形含放大镜图标点击执行关键细节当软键盘遮挡搜索按钮时模型会先发送adb shell input keyevent 4返回键收起键盘再点击——这个“条件判断动作组合”是纯规则脚本极难覆盖的。
所有这些识别都基于模型对数万张安卓界面截图的多模态训练它认的不是像素而是“功能区块”和“交互意图”。
阶段三动态执行与容错响应——不卡壳、不盲点、不硬撞这是最体现 AI Agent 成熟度的部分它不假设一切顺利而是边走边看、边看边调。
我们还原真实执行中遇到的两个典型场景
1 场景一搜索结果未首屏显示抖音搜索dycwo11nt61d后结果页默认只显示前 3 个账号。
而目标账号实际排在第 7 位。
模型首先在首屏查找含dycwo11nt61d文字的卡片 → 未找到它没有报错退出而是生成新动作“向下滑动半屏” →adb shell input swipe 500 1500 500 800再次截图分析 → 仍未找到 → 继续滑动第三次截图时目标卡片完整出现在屏幕中央 → 精准点击头像区域整个过程无预设滑动次数全靠视觉反馈驱动类似人眼扫视。
2 场景二登录状态弹窗拦截当我们第一次运行该指令时抖音检测到未登录弹出“请先登录”的半透明浮层覆盖了整个页面。
模型截图后立即识别出该弹窗标题“请先登录”两个按钮“取消”“去登录”它没有强行点击下方被遮挡的“关注”按钮而是主动暂停执行并在终端输出[PAUSE] 检测到登录弹窗需人工确认。
按 Enter 继续将点击“去登录”或 CtrlC 中断。
你按下回车后它才点击“去登录”跳转至登录页若你选择中断流程干净退出不残留任何异常状态。
这种“敏感操作确认机制”不是安全噱头而是工程落地的必要设计——它让自动化真正可信、可控、可审计。
阶段四关注动作达成与状态验证——不止于点击更确认结果很多自动化工具止步于“点了关注按钮”但 Open-AutoGLM 会继续验证
1 动作执行后再次截图分析点击“关注”按钮后它等待
5 秒防 UI 渲染延迟再截最新屏幕检查原“关注”按钮区域文字是否变为“已关注”图标颜色是否由灰色变为红色同时检查顶部状态栏是否有“已关注” toast 提示有则加分无则不否定
2 多维度交叉验证验证维度检查内容是否满足UI 文本变化按钮文字从“关注”变为“已关注”图标状态右侧心形图标填充为实心红色网络请求日志ADB logcat 捕获到follow_success日志后台数据通过抖音开放 API 查询该账号粉丝数是否1需额外配置本次实测中前 3 项均满足系统输出[SUCCESS] 已成功关注抖音号 dycwo11nt61dID: 7890123456这意味着它不只是模拟了点击动作而是确认了业务目标真正达成——这才是 AI Agent 区别于传统 RPA 的
核心价值。
阶段五真实效果对比——比人快比脚本稳我们做了三组横向对比测试同一台手机、同一网络、同一抖音版本结果如下测试项目人工操作Python 脚本ADB 固定坐标Open-AutoGLM首次成功率100%62%坐标偏移导致点错94%动态识别修复平均耗时38 秒22 秒48 秒适配新机型无需调整需重测所有坐标开箱即用仅需 ADB 连接应对弹窗自然处理直接失败或误点主动暂停人工确认错误可读性—ERROR: click at (320,
failed[PAUSE] 检测到登录弹窗...可以看到它不是为了比人快而是为了“让人不用动手”它比脚本慢一点但稳得多——多花的 26 秒换来的是 32% 的成功率提升和 100% 的跨机型兼容它的错误提示是给开发者看的不是给机器看的——清晰说明“为什么停”“下一步要什么”大幅降低调试成本。
7.
总结这不是一个工具而是一个可对话的手机助手回顾这整个“关注抖音号”的过程Open-AutoGLM 展现出的远不止是“自动化”三个字它能听把一句口语化指令拆解成可执行的原子动作它能看不依赖坐标、不迷信模板真正理解界面语义它能想根据屏幕反馈动态调整策略滑动、重试、暂停、确认它能验不满足于“点下去”而追求“做成了”它能守对登录、支付、删除等高危操作主动设防把控制权交还给人。
这已经不是“让手机听话”而是“让手机有常识”。
如果你正在寻找一个能真正理解移动 App、能稳定执行复杂任务、能与你自然对话的 AI 助手——Open-AutoGLM 不是未来概念它就在这里正用一次关注抖音号的操作向你证明Agent 时代已经从 Demo 走进了真实手机屏幕。