核心内容摘要
程象安全积分兑换售货机：让三级安全培训学习有温度，积分激励见实效
从命令行到APIOpen-AutoGLM两种调用方式实操你有没有想过手机能听懂你说话还能自己点开App、输入关键词、滑动屏幕、完成任务不是科幻电影是今天就能跑起来的现实——Open-AutoGLM一个真正能“看”手机屏幕、“想”操作路径、“动”手指执行的AI手机智能体。
它不依赖预设脚本不靠固定坐标点击而是用视觉语言模型理解界面、用推理能力规划动作、用ADB精准操控真机。
更关键的是它不只停留在演示视频里。
你可以在本地电脑上用一条命令让它帮你刷抖音、比价下单、发微信消息也可以写几行Python代码把它嵌入自己的自动化流程中。
本文不讲原理、不堆参数只聚焦一件事怎么真正用起来。
我们将完整走通两种最常用、最实用的调用路径——命令行快速验证和Python API工程集成并全程基于真实设备环境避开文档里没说清的坑。
环境准备让电脑和手机“握手成功”再强的AI也得先连上手机。
这一步看似简单却是90%失败案例的起点。
我们跳过“理论上可行”的描述直击实操要点。
1 你的设备必须满足这三点电脑系统Windows 10/11 或 macOS Sonoma 及以上Linux同理但本文以Win/macOS为主Python版本严格建议使用Python
3.
1
12不是
11或
12。
vLLM对Python版本敏感
11在部分系统会报ModuleNotFoundError: No module named vllm._C安卓手机Android
0以上Android 7勉强可用但部分新机型权限策略会导致ADB拒绝连接且必须是真实手机——模拟器无法获取真实屏幕图像视觉理解直接失效
2 ADB配置别被“环境变量”吓住ADB不是软件是工具链。
配置核心就两件事让电脑认出ADB命令让手机信任电脑。
Windows用户下载官方platform-tools解压到C:\adbWin R→ 输入sysdm.cpl→ 高级 → 环境变量 → 在“系统变量”里找到Path→ 编辑 → 新建 → 粘贴C:\adb重启命令行窗口重要旧窗口不读新环境变量输入adb version看到类似Android Debug Bridge version
1.
41即成功macOS用户解压后进入Terminal执行echo export PATH$PATH:~/Downloads/platform-tools ~/.zshrc source ~/.zshrc输入adb version验证常见卡点adb devices返回空或unauthorized。
这不是ADB问题是手机没授权。
请检查① 开发者模式已开启设置→关于手机→版本号连点7次② USB调试已打开设置→开发者选项→USB调试③ 手机弹出“允许USB调试吗”对话框务必勾选“始终允许”再点确定。
若无弹窗尝试换USB线或USB口——很多线只充电不传数据。
3 手机端关键设置不止是“打开USB调试”Open-AutoGLM要“看”屏幕、“点”图标、“输”文字三步缺一不可屏幕捕获依赖ADBscreencap命令无需额外设置点击与滑动依赖ADBinput tap/input swipe无需额外设置文字输入这是最容易被忽略的环节。
安卓原生输入法不支持ADB指令输入必须安装ADB Keyboard从GitHub Release页下载最新版APK如ADBKeyboard_v
0_all.deb.apk用USB线传输到手机安装进入手机“设置→系统管理→语言与输入法→虚拟键盘”将默认输入法切换为“ADB Keyboard”返回桌面长按任意输入框确认弹出软键盘——此时才算真正就绪
控制端部署三分钟跑通本地代码环境配好下一步是把控制大脑装到你电脑上。
Open-AutoGLM的控制端是纯Python项目没有编译只有依赖。
1 克隆与安装别跳过-e参数git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM pip install -r requirements.txt pip install -e .注意最后的-eeditable mode。
它让Python把当前目录当作已安装包后续修改代码如调试日志无需重复安装。
跳过它你会遇到ModuleNotFoundError: No module named phone_agent。
2 连接设备USB是底线WiFi是进阶USB直连推荐新手adb devices # 正常输出示例 # List of devices attached # 1234567890abcdef device设备ID1234567890abcdef就是你的--device-id值。
WiFi无线连接适合远程调试先用USB线连接执行adb tcpip 5555拔掉USB线确保手机和电脑在同一WiFi下查看手机IP手机设置→关于手机→状态信息→IP地址通常是
192.
x.x电脑执行adb connect
192.
x.x:5555再次adb devices应显示
192.
x.x:5555 device提示WiFi连接不稳定是常态。
如果adb shell卡住或断连立刻切回USB——这不是模型问题是网络问题。
命令行调用一句话启动任务自动完成这是最快验证效果的方式。
你不需要写代码只要一条命令AI就开始工作。
1 基础命令结构记住这四个必填项python main.py \ --device-id 设备ID或IP:端口 \ --base-url 模型服务地址 \ --model autoglm-phone-9b \ 你的自然语言指令--device-id来自adb devices的输出如1234567890abcdef或
192.
168.
100:5555--base-url模型服务的API入口。
新手强烈推荐用智谱BigModel在线服务省去本地部署麻烦地址https://open.bigmodel.cn/api/paas/v4模型名autoglm-phone需配合--apikey去智谱AI官网申请免费API Key--model指定模型名称线上服务填autoglm-phone本地vLLM服务填autoglm-phone-9b最后的字符串你的指令用英文双引号包裹必须是完整、明确的中文句子
2 实战案例从“打开抖音”到“关注博主”我们用一个真实场景贯穿全流程python main.py \ --device-id 1234567890abcdef \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --apikey your_actual_api_key_here \ --model autoglm-phone \ 打开抖音搜索抖音号为dycwo11nt61d 的博主并关注他执行后你会看到终端实时打印AI的思考过程[INFO] 截取当前屏幕... [INFO] 将屏幕图像发送至模型... [INFO] 模型返回{action: LAUNCH_APP, app_name: 抖音} [INFO] 执行启动抖音应用... [INFO] 截取屏幕...检测到搜索框... [INFO] 模型返回{action: INPUT_TEXT, text: dycwo11nt61d} [INFO] 执行输入文本... [INFO] 模型返回{action: TAP, x: 520, y: 180} [INFO] 执行点击搜索结果... [INFO] 模型返回{action: TAP, x: 890, y: 210} [INFO] 执行点击关注按钮... [INFO] 任务完成整个过程约
秒取决于网络和手机性能。
关键观察点AI是否准确识别了抖音图标看第一屏截图搜索框定位是否正确看坐标x/y是否落在输入框内关注按钮是否点中看最终界面是否有“已关注”字样如果某一步失败比如点错了位置大概率是屏幕分辨率适配问题。
此时加参数--scale-factor
0强制重置缩放默认会根据设备DPI自动计算但部分国产ROM有偏差。
3 命令行进阶技巧不只是“执行一次”交互模式去掉最后的指令字符串进入循环模式python main.py --device-id 1234567890abcdef --base-url ... --apikey ... # 终端出现 符号可连续输入多条指令如 # 打开小红书搜咖啡 # 切换到微信给张三发截图查看支持应用避免指令超纲先查白名单python main.py --list-apps # 输出微信、抖音、淘宝、美团、小红书、京东、支付宝、Chrome...启用详细日志排查问题必备python main.py --verbose --device-id ... 指令 # 显示每张截图的Base64编码、模型原始JSON响应、ADB执行命令
Python API调用把AI变成你程序里的一个函数命令行适合验证但工程落地需要API。
Open-AutoGLM提供了简洁的Python接口让你像调用普通函数一样驱动手机。
1 核心四行初始化、配置、运行、收果from phone_agent import PhoneAgent from phone_agent.model import ModelConfig #
配置模型服务 model_config ModelConfig( base_urlhttps://open.bigmodel.cn/api/paas/v4, model_nameautoglm-phone, api_keyyour_actual_api_key_here ) #
创建Agent实例绑定设备 agent PhoneAgent( model_configmodel_config, device_id1234567890abcdef # 或
192.
168.
100:5555 ) #
执行任务同步阻塞等待完成 result agent.run(打开淘宝搜索无线耳机) #
获取结果 print(任务状态:, result.status) # success / failed print(执行步骤数:, len(result.steps)) print(最终截图路径:, result.final_screenshot)这段代码的
核心价值在于它把复杂的多模态推理、ADB通信、异常重试全部封装了。
你只需关心输入指令和输出结果对象。
2 结果对象详解不只是“成功/失败”result不是布尔值而是一个结构化对象包含所有关键信息属性类型说明statusstrsuccess或failedstepslist每步操作的字典列表含action,description,screenshot_pathfinal_screenshotstr最终界面截图保存路径如./screenshots/final_20241205_
pngerror_messagestr失败时的详细错误如未找到关注按钮total_timefloat从开始到结束的总耗时秒这意味着你可以轻松实现自动化测试报告统计100次任务的成功率、平均耗时、常见失败点截图存档每次任务生成带时间戳的截图用于审计或复盘失败自动重试if result.status failed: agent.run(重新执行相同指令)
3 自定义回调接管敏感操作安全第一Open-AutoGLM内置了安全机制当检测到支付、登录、验证码等高风险操作时会暂停并等待人工确认。
你可以通过回调函数接管这个过程def on_sensitive_action(action_info): 当AI准备执行敏感操作时触发 print(f 检测到敏感操作{action_info[action]}) print(f 描述{action_info[description]}) print(f 当前截图{action_info[screenshot_path]}) # 这里可以弹窗、发邮件、或直接返回True允许执行 user_input input(是否允许执行(y/n): ) return user_input.lower() y # 创建Agent时注册回调 agent PhoneAgent( model_configmodel_config, device_id1234567890abcdef, on_sensitive_actionon_sensitive_action # 注册函数 ) result agent.run(登录微信) # 程序会在登录页暂停等待你输入y/n这个设计让Open-AutoGLM既能全自动运行又能在关键时刻交还控制权完美平衡效率与安全。
故障排除那些文档没写的“真实世界”问题部署顺利是理想出错才是常态。
以下是我们在真实设备上踩过的坑及解法
1 “Connection refused” —— 不是模型挂了是端口没通现象requests.exceptions.ConnectionError: HTTPConnectionPool(host..., port
: Max retries exceeded with url: /v1/chat/completions原因90%是云服务器防火墙未开放端口。
即使你telnet ip 8000不通也不代表模型没跑——可能只是防火墙拦截。
解决阿里云/腾讯云进入安全组添加入方向规则协议类型TCP端口范围8000/8000本地vLLM确认启动命令中--host
0.
0.
0不是
127.
0.
1否则只监听本地
2 “No response from model” —— 模型在“思考”你在“干等”现象终端卡在[INFO] 将屏幕图像发送至模型...1分钟后报超时。
原因vLLM显存不足或max-model-len设置过小导致大图如1080p截图被截断模型无法解析。
解决启动vLLM时必须显式增大--max-model-lenpython3 -m vllm.entrypoints.openai.api_server \ --max-model-len 32768 \ # 原25480不够至少32K --model zai-org/AutoGLM-Phone-9B \ --port 8000检查GPU显存nvidia-smi9B模型需≥16GB显存A10/A
1
3 “Click not working” —— 点错了其实是坐标系偏移现象AI说“点击坐标(520,
”但实际点到了状态栏。
原因部分安卓ROM尤其华为、小米启用了“全面屏手势”隐藏了底部导航栏导致ADB坐标系与屏幕像素不一致。
解决强制关闭手势改用传统三键导航华为设置→系统和更新→系统导航→“屏幕内三键导航”小米设置→桌面→系统导航方式→“经典导航键”重启手机后重试坐标精度立即提升。
6.
总结你已经掌握了AI手机助理的钥匙我们从零开始完成了Open-AutoGLM的完整实操闭环环境层明确了Windows/macOS、Python
3.
真实安卓机、ADB Keyboard这四大硬性条件连接层用adb devices和adb connect打通了电脑与手机的数据通道命令行层用一条python main.py ...命令让AI自动完成“打开App→搜索→点击→关注”的全链路API层用四行Python代码将AI封装成可编程、可监控、可回调的工程组件排障层直面了防火墙、显存、坐标偏移等真实部署障碍并给出可立即执行的解法。
Open-AutoGLM的价值不在于它多炫酷而在于它把“手机自动化”这件事从需要写死坐标的脚本时代推进到了用自然语言指挥的智能体时代。
你现在拥有的不是一段代码而是一个能理解你意图、能看见你屏幕、能替你动手的数字分身。
下一步你可以把它接入你的RPA流程让客服机器人自动查订单用它批量测试App新版本覆盖50主流应用甚至开发一个“老人模式”语音说“帮我给儿子发微信”AI自动完成。
技术的终点永远是让人更自由。
而自由的第一步就是亲手敲下那条命令。