核心内容摘要
Clawdbot整合Qwen3-32B效果展示：新能源电池BMS协议解析、故障码诊断建议生成
小白也能懂的AI手机助手Open-AutoGLM保姆级入门教程你不需要会写代码也不用懂AI原理——只要会用手机就能让AI替你点开APP、搜索内容、发消息、甚至完成支付前的确认。
本文将手把手带你把Open-AutoGLM装进电脑连上真机用一句“打开小红书搜美食”让它自动干活。
这不是科幻是今天就能用上的真实能力你有没有过这些时刻想给客户发个产品截图却要先截屏、找微信、点开对话、再粘贴发送……来回切换5次在抖音刷到一个博主想关注但懒得手动点进主页、再点关注按钮周一早上赶时间一边啃包子一边想“要是手机自己能打开企业微信打卡就好了”。
现在这些事Open-AutoGLM真能帮你做。
它不是遥控器也不是简单录屏回放而是一个看得懂屏幕、听得懂人话、还能自己动手操作的AI手机助手。
它不靠预设脚本不依赖固定界面元素——你告诉它“打开美团搜附近火锅”它会先看一眼当前屏幕是桌面微信还是锁屏理解“美团”在哪、怎么启动看清搜索框在哪、点进去输入“火锅”两个字中文也行点击搜索按钮把结果页面完整展示给你整个过程你只需要说一句话剩下的交给它。
而且——它支持真机不是模拟器支持WiFi远程控制不用一直插着USB线遇到支付密码、验证码等敏感操作它会主动停下来等你手动处理安全不越界。
这篇文章就是为你写的。
没有术语轰炸没有概念堆砌只有 你该准备什么3样东西10分钟搞定 怎么连上你的安卓手机图文步骤错不了 怎么运行第一句指令复制粘贴就能跑 遇到问题怎么快速解决附真实报错截图和答案如果你用的是Windows或Mac有一台Android
0以上的手机2016年之后的主流机型基本都行那就继续往下看。
我们从零开始一起让手机“活”起来。
准备工作3件套10分钟全部到位别被“AI”“Agent”“多模态”吓到——Open-AutoGLM对新手其实很友好。
它真正需要你动手配置的就三样东西一台电脑、一部手机、一个叫ADB的小工具。
我们一项一项来。
1 你的电脑要满足什么条件操作系统Windows 10/11 或 macOS Monterey
1
0及以上Python版本
10 或更高别担心我们教你检查和安装磁盘空间留出2GB空闲空间主要是模型缓存首次运行后可清理快速自查Python版本打开命令提示符Windows或终端Mac输入python --version如果显示Python
3.
1
12或类似恭喜直接跳到下一步。
如果提示“命令未找到”或显示Python
7请先安装Python
10Windows用户点这里下载 → 下载后勾选“Add Python to PATH”再安装Mac用户用Homebrewbrew install python
3.
1
2 你的安卓手机要开几个“开关”这一步最关键但其实很简单。
全程在手机“设置”里操作不需要ROOT不删数据不装奇怪软件——只开3个开关开启开发者模式设置 → 关于手机 → 连续点击“版本号”7次 → 弹出“您现在处于开发者模式”提示开启USB调试返回设置主菜单 → 系统 → 开发者选项 → 找到“USB调试”打开开关安装并启用ADB Keyboard唯一需要装的APP点击下载ADB Keyboard APK文件官方开源无广告无后台安装后进入手机“设置 → 语言与输入法 → 当前键盘”把默认输入法切换为ADB Keyboard小提醒“开发者选项”默认隐藏必须先点7次“版本号”才会出现ADB Keyboard只是临时输入工具任务完成后你可以随时切回微信键盘、百度输入法完全不影响日常使用如果你用的是华为、小米等品牌机可能在“开发者选项”里还有一项叫“USB调试安全设置”也请一并打开。
3 安装ADB工具让电脑“认得”你的手机ADBAndroid Debug Bridge是谷歌官方提供的连接工具就像电脑和手机之间的“翻译官”。
它不危险不窃取隐私只是让指令能传过去。
Windows用户推荐方式去Android SDK Platform-Tools官网下载ZIP包解压到一个好记的位置比如C:\platform-tools配置环境变量让任何地方都能用adb命令Win R → 输入sysdm.cpl→ 回车“高级”选项卡 → “环境变量” → 在“系统变量”里找到“Path” → “编辑”“新建” → 粘贴你刚才解压的路径例如C:\platform-tools确定保存验证是否成功打开新命令提示符输入adb version如果显示类似Android Debug Bridge version
1.
41说明安装成功Mac用户一行命令搞定打开终端输入# 下载并解压自动到Downloads文件夹 curl -L https://dl.google.com/android/repository/platform-tools-latest-darwin.zip -o ~/Downloads/platform-tools.zip unzip ~/Downloads/platform-tools.zip -d ~/Downloads/ # 添加到系统路径永久生效 echo export PATH$PATH:~/Downloads/platform-tools ~/.zshrc source ~/.zshrc # 验证 adb version同样看到版本号就完成了到这里你的“三件套”全部齐活电脑有Python、手机开了开关、电脑能认出手机。
接下来我们让它们真正连起来。
连接手机USB直连 or WiFi无线两种方法全教会Open-AutoGLM支持两种连接方式USB线直连最稳定新手首选和WiFi无线连接方便移动操作。
我们先教USB再教WiFi你按需选择。
1 USB直连3步确认10秒建立信任这是最简单、成功率最高的方式。
你需要一根能充电的数据线非仅充电线。
用数据线把手机连到电脑手机弹窗时务必点“允许”关键一步很多失败都卡在这里。
手机第一次连接时会弹出“允许USB调试吗”上面有设备指纹下面有两个按钮“取消”和“确定”。
请一定点“确定”。
电脑端验证连接打开命令提示符或终端输入adb devices你会看到类似这样的输出List of devices attached 1234567890abcdef device只要第二行显示一串字母数字 device就代表连接成功如果显示???????????? no permissions请重启手机ADB开关如果空白请检查数据线或重装ADB成功标志adb devices命令返回带device的设备ID。
2 WiFi无线连接摆脱线缆远程操控当你想把手机放在桌上、自己坐在沙发上发号施令时WiFi模式就派上用场了。
它分两步先用USB“握手”再断开USB走WiFi。
先用USB连上手机确保adb devices能看到设备开启手机的TCP/IP调试模式在命令行中输入adb tcpip 5555你会看到restarting in TCP mode port: 5555表示已就绪。
断开USB线用WiFi连接在手机“设置 → WLAN”里记下当前WiFi的IP地址如
192.
168.
100在电脑命令行输入adb connect
192.
168.
100:5555如果显示connected to
192.
168.
100:5555就成功了再次运行adb devices应该能看到
192.
168.
100:5555 device小技巧同一局域网内所有设备电脑、手机、平板IP前三位通常一样比如都是
192.
168.
x如果连接失败检查电脑和手机是否在同一WiFi下不是同一个路由器的不同频段比如
4G和5G首次连接后下次开机只要手机和电脑连同一WiFi就无需再插USB线。
无论你选哪种方式现在你的电脑已经能“看见”并“控制”你的手机了。
下一步就是让AI大脑上线。
部署Open-AutoGLM3条命令完成全部安装Open-AutoGLM本身不包含大模型它更像一个“智能指挥中心”——负责看图、听指令、发命令。
真正的AI大脑AutoGLM-Phone-9B模型需要单独部署我们推荐用云服务省心省力。
但控制端代码你只需在本地电脑运行3条命令。
1 下载并安装控制端代码打开命令提示符Windows或终端Mac依次输入#
克隆官方仓库下载全部代码 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM #
安装Python依赖自动下载所有需要的库 pip install -r requirements.txt #
安装Open-AutoGLM为可调用包关键一步 pip install -e .⏳ 过程耗时约
分钟取决于网络速度。
成功标志最后一条命令执行完光标回到下一行没有任何红色报错。
如果你没装Git可以去GitHub页面点绿色Code按钮 → Download ZIP → 解压到任意文件夹 → 进入该文件夹后从第2步开始执行。
2 获取AI模型服务地址云API免本地部署Open-AutoGLM需要调用一个视觉语言模型来“看图说话”。
官方提供了公开的云API服务无需你买显卡、搭服务器直接调用即可。
访问这个链接获取你的专属API地址Open-AutoGLM云服务申请页页面会显示类似http://
116.
205.
1
42:8800/v1的地址以及模型名autoglm-phone-9b记下这两个关键信息Base URLhttp://xxx.xxx.xxx.xxx:xxxx/v1你的云服务器地址Model Nameautoglm-phone-9b固定不变为什么推荐云服务本地跑9B参数的视觉模型至少需要24GB显存的显卡RTX 4090级别普通笔记本根本带不动云服务已优化好响应快、稳定性高且免费额度足够日常体验后续想换模型比如更大更准的版本只需改一个参数不用重装。
3 运行第一句指令让AI真正动起来现在万事俱备。
我们用一句最简单的指令测试“打开微信”。
在你刚才进入的Open-AutoGLM文件夹里运行以下命令请务必将设备ID和Base URL替换成你自己的python main.py \ --device-id 你的设备ID或IP:5555 \ --base-url 你的Base URL \ --model autoglm-phone-9b \ 打开微信替换说明你的设备ID或IP:5555如果是USB连接运行adb devices看到的第一串字符如1234567890abcdef如果是WiFi连接就填
192.
168.
100:5555你的Base URL就是你刚在云服务页拿到的地址例如http://
116.
205.
1
42:8800/v1正常运行时你会看到屏幕一闪AI正在截图终端滚动输出类似[Step 1] Current app: System Home think当前在手机桌面需要启动微信应用/think answerdo(actionLaunch, app微信)/answer [Action] Launching WeChat... Done.手机自动亮屏、解锁如果锁屏、打开微信APP恭喜你的AI手机助手已经上岗。
它真的“看”到了桌面“听”懂了指令“动”手打开了微信。
实战演练5个真实场景一句指令全搞定理论讲完现在上手练。
我们精选5个高频、实用、效果惊艳的真实场景每个都给出完整指令预期效果避坑提示。
你照着做10分钟内就能感受到什么叫“手机自己会干活”。
1 场景一跨APP搜索最常用你的指令打开小红书搜索“上海咖啡探店”它会做什么判断当前APP如果不是小红书先退出或返回桌面启动小红书APP自动点击首页搜索框输入“上海咖啡探店”中文精准识别点击搜索按钮把搜索结果页面完整展示给你效果亮点中文输入零错误不乱码、不丢字即使小红书首页有开屏广告它也会等广告跳过再操作搜索框位置不固定没关系AI通过图像识别自动定位。
避坑提示如果小红书没装它会明确告诉你“App not found: 小红书”不会瞎点。
此时你只需先手动安装小红书再重试。
2 场景二精准点击解决“找不到按钮”难题你的指令打开抖音进入博主“dycwo11nt61d”的主页点击关注按钮它会做什么启动抖音点击右上角搜索图标输入抖音号dycwo11nt61d在搜索结果中准确识别并点击该博主头像进入主页后自动寻找“关注”按钮无论它在左上、右上还是中间并点击效果亮点不依赖坐标而是“看图识按钮”即使UI改版也能适应对“关注”“粉丝”“点赞”等文字按钮识别率极高如果该博主已关注它会说“Already following”。
避坑提示抖音号必须输全不能少字母。
如果输错它会在搜索页告诉你“no result”你可以立刻纠正重试。
3 场景三文本输入发送告别复制粘贴你的指令打开微信找到联系人“张三”给他发消息“明天下午三点会议室见带上方案”它会做什么启动微信点击顶部搜索栏输入“张三”并进入聊天窗口点击输入框用ADB Keyboard精准输入那句长消息含中文、标点、空格点击“发送”按钮效果亮点长消息一次性输入不中断、不漏字标点符号逗号、句号、引号全部正确发送后微信聊天窗口会停留在最新消息方便你直接查看。
避坑提示确保微信里真有“张三”这个联系人备注名或昵称均可。
如果微信没登录它会提示“Please log in to WeChat first”。
4 场景四滑动浏览信息流操作自动化你的指令打开知乎搜索“大模型入门”向下滑动3次截图保存它会做什么启动知乎点击搜索框输入“大模型入门”进入结果页后执行3次向下滑动每次滑动距离适中模拟真人每滑一次都重新截图分析确保内容加载完成第3次滑动后自动截取当前屏幕并保存到电脑默认路径Open-AutoGLM/screenshots/效果亮点滑动不是“暴力拖到底”而是智能判断页面是否加载完毕截图自动命名带时间戳方便你后续整理如果某次滑动后没新内容它会停止并提示“End of feed”。
避坑提示“截图保存”是额外功能需要你在指令末尾明确写出。
只说“向下滑动3次”它不会自动截图。
5 场景五敏感操作接管安全第一你的指令打开淘宝搜索“iPhone 15”点击第一个商品加入购物车它会做什么启动淘宝搜索进入商品页点击“加入购物车”按钮此时页面跳转到登录/支付确认页敏感页面AI检测到黑屏截图系统禁止截图立即停止并在终端输出[Sensitive Page Detected] Please manually complete login or payment. Press Enter to continue after finishing...你手动输入密码、完成验证 → 按回车键 → AI继续执行后续操作如返回商品页、再次点击加入购物车效果亮点主动识别支付、密码、人脸识别等高危场景不强行操作不绕过安全机制完全尊重你的控制权接管后无缝衔接你感觉不到断点。
避坑提示这是Open-AutoGLM最值得信赖的设计。
它宁可停下也不冒险。
所以遇到黑屏别慌那是它在认真保护你。
6.
常见问题速查90%的问题3分钟内解决在实际使用中你可能会遇到一些小状况。
别急我们把最高频、最典型的问题整理成“症状-原因-解法”对照表对号入座马上解决。
1 连接类问题症状可能原因3分钟解决方案adb devices显示空白或List of devices attached后无内容USB调试未开启或手机未授权① 手机设置→开发者选项→确认“USB调试”已开② 拔掉数据线重插手机弹窗点“确定”③ 重启手机ADB关再开adb connect
192.
x.x:5555提示failed to connect to
192.
x.x:5555电脑和手机不在同一WiFi或IP地址输错① 手机WLAN设置里确认IP如
192.
168.
100② 电脑CMD里ping
192.
168.
100能通才说明网络OK③ 换个WiFi试试避开公司/学校限制网络Connection refused错误云服务地址填错或端口未开放① 仔细核对Base URL必须以/v1结尾② 访问该URL如http://xxx.xxx.xxx.xxx:8800/v1看能否打开网页应显示404或500而不是“无法访问”
2 操作类问题症状可能原因3分钟解决方案手机没反应终端卡在[Step 1] Current app: ...ADB Keyboard未启用或输入法冲突① 手机设置→语言与输入法→确认默认是“ADB Keyboard”② 手动切回ADB Keyboard再试③ 重启手机点击位置明显偏移比如想点搜索框却点了状态栏屏幕分辨率未正确识别① 运行adb shell wm size查看手机报告的分辨率② 如果和实际不符如报告1080x1920但手机是1200x2640在终端运行adb shell wm size reset重置③ 重启手机中文输入变成乱码或方块ADB Keyboard版本过旧或UTF-8编码异常① 卸载旧版ADB Keyboard② 重新下载最新版APK安装③ 确保指令中中文是UTF-8编码用记事本另存为UTF-8格式再复制
3 AI类问题症状可能原因3分钟解决方案终端一直滚动thinking...但无answer输出云服务响应慢或网络延迟高① 检查网络用浏览器打开Base URL测试② 在命令末尾加--timeout 120延长超时至120秒③ 换个时间段重试避开高峰AI反复执行同一动作如一直点返回键任务描述模糊或页面加载未完成① 指令要具体如把“打开淘宝”改成“打开淘宝APP”② 加入等待如“打开淘宝等待3秒搜索‘耳机’”③ 用--max-steps 20限制最大步数防死循环黑屏后不接管一直卡住人工接管回调未触发① 确认你用的是main.py命令它内置接管逻辑② 如果用Python API需手动传入takeover_callback函数③ 检查终端是否有权限Mac用户尝试sudo python main.py ...最后一条万能建议遇到任何问题先运行这条命令看全局状态python main.py --list-apps它会列出所有已识别的应用证明ADB、Python、Open-AutoGLM三者通信正常。
如果这一步都失败问题一定出在连接环节。
进阶玩法让AI更懂你效率翻倍当你熟悉了基础操作可以试试这些“隐藏技能”。
它们不需要改代码只需加几个参数就能让Open-AutoGLM更聪明、更顺手。
1 一句话干多件事链式指令不必每次只下一条指令。
你可以用自然语言串联多个动作python main.py 打开微博搜索‘AI新闻’点击第一条向下滑动2次截图保存效果它会自动拆解为“启动→搜索→点击→滑动→截图”5个步骤一气呵成。
提示用逗号分隔动作比用句号更可靠避免用“然后”“接着”等词AI更习惯逗号逻辑。
2 指定APP包名绕过识别误差如果AI总把“美团”识别成“大众点评”你可以直接告诉它包名python main.py 启动com.sankuai.meituan搜索‘火锅’效果跳过应用名匹配直连包名100%准确。
提示常见包名可在phone_agent/config/apps.py里查或用adb shell pm list packages | grep meituan命令获取。
3 本地化提示词让AI更“中国”Open-AutoGLM默认用中文Prompt但你可以微调让它更懂国内习惯编辑文件phone_agent/config/prompts_zh.py找到SYSTEM_PROMPT在末尾添加一行特别注意所有操作必须使用中国大陆常用APP名称如‘微信’‘抖音’‘小红书’不要用英文名。
效果AI会优先匹配“微信”而非“WeChat”减少歧义。
提示改完保存无需重启下次运行自动生效。
4 批量任务解放双手的终极形态想一天自动完成100个重复操作用Python脚本批量调用# batch_tasks.py from phone_agent.agent import PhoneAgent from phone_agent.config import AgentConfig, ModelConfig config ModelConfig( base_urlhttp://your-server:8800/v1, model_nameautoglm-phone-9b ) agent PhoneAgent(model_configconfig) tasks [ 打开微信给张三发‘会议改期’, 打开淘宝搜索‘降噪耳机’, 打开知乎搜索‘Python学习路径’ ] for task in tasks: print(f\n 执行任务: {task}) result agent.run(task) print(f 结果: {result})运行python batch_tasks.py它就会按顺序自动执行全部任务。
效果你泡杯茶的功夫10个任务全搞定。
提示加入time.sleep(
可在任务间加5秒间隔更稳妥。
8.
总结你的AI手机助手已经准备就绪回顾一下你刚刚完成了什么 在电脑上装好了Python、ADB、Open-AutoGLM控制端 让你的安卓手机开启了开发者模式装好了ADB Keyboard 用USB或WiFi让电脑和手机建立了稳定连接 申请了云AI服务拿到了即开即用的模型地址 运行了第一句“打开微信”亲眼见证了AI看图、思考、动手的全过程 实战了5个真实场景从跨APP搜索到敏感操作接管全部亲测有效 掌握了
常见问题的3分钟自救法和4个提升效率的进阶技巧。
这不是一个玩具项目而是一个生产就绪的AI Agent框架。
它的代码结构清晰模块职责分明看图的、思考的、动手的各司其职安全机制完善敏感操作必确认并且完全开源——你随时可以看源码、改逻辑、加功能。
未来你能做什么把它变成你的私人助理每天早上自动汇总微信未读、钉钉待办、邮件摘要变成测试工程师一键遍历APP所有页面截图存档找UI bug变成数据采集员自动刷100个商品页提取价格、销量、评论甚至变成创意伙伴让它在小红书上找100个爆款标题帮你生成新文案。
技术从来不是目的解决问题、节省时间、释放创造力才是它存在的意义。
你现在要做的就是打开终端复制粘贴那条命令对你的手机说一句“打开小红书搜美食”。
然后看着它开始工作。
--- **