核心内容摘要
颠覆式智能控制中心：让MacBook刘海变废为宝的黑科技焕新体验
现在用AI Agent自动玩手机游戏都成标配了不用再熬夜肝等级、手忙脚乱躲技能敲几行代码就能让Agent替你玩从简单的跳一跳到王者荣耀人机对战通通拿捏而且用的都是2026年最新的Agent框架和技术新手也能跟着做文末还附完整可运行代码快码住先跟大家唠唠核心逻辑其实开发游戏Agent一点都不复杂说白了就是让程序拥有“眼睛”和“手”眼睛是视觉识别模型能看懂游戏画面里的英雄、怪、按钮在哪手是ADB/Open-AutoGLM这些工具能模拟手机的点击、滑动、按压操作再给它加个“大脑”——Agent决策逻辑让它根据画面判断该干嘛比如看到野怪就攻击、看到血条低就回城一套流程下来完美复刻人类玩游戏的操作这里重点推荐2026年刚更的Open-AutoGLM开源框架这可是目前手机端Agent的天花板支持Android、鸿蒙甚至iOS不用ROOT手机纯视觉识别界面就算游戏更新UI也不用大改代码容错率超高比传统的ADB脚本香太多而且还能结合Transformer做动作决策玩MOBA类游戏都不在话下。
话不多说咱们直接上手做一个自动玩微信跳一跳的Agent新手友好环境配置简单跟着步骤来10分钟就能跑通
准备工作敲黑板这些一定要弄好
硬件手机设置一台安卓手机鸿蒙也可以开启开发者模式USB调试设置里搜版本号连续点7下就开了超简单电脑和手机用数据线连好或者用WiFi无线连接Open-AutoGLM支持超方便
软件环境Python
10别用太老的版本容易报错安装核心库直接在命令行敲这行一键安装pipinstallopencv-python numpy pyminitouch adbutils open-auto-glm# 最后一个是最新的Agent框架安装ADB驱动网上搜自己手机型号的ADB驱动无脑下一步安装就行
核心原理拆解咱们的跳一跳Agent分3步工作循环执行就完事了超简单截图用ADB获取手机当前游戏画面传到电脑上识别用OpenCV做图像识别找到棋子的位置和下一个方块的中心点操作计算棋子到方块的距离换算成手机按压时间再用ADB模拟按压屏幕完成跳跃全程不用复杂的深度学习模型纯传统视觉简单决策新手也能理解学会这个再进阶到王者荣耀Agent就轻松多了
完整可运行代码直接复制就能用这个代码是基于Open-AutoGLM轻量版做的适配绝大多数安卓手机分辨率不同的话只需要改一个参数就行注释写得超详细看不懂的地方评论区问我# 导入核心库importcv2importnumpyasnpimportadbutilsimporttimefromopen_auto_glmimportPhoneAgent# 2026最新手机Agent框架# 初始化手机Agent自动连接已配对的安卓手机agentPhoneAgent(device_typeandroid,adb_pathadb)# adb_path填自己的ADB路径默认不用改# 跳一跳核心参数不同手机改这个就行我的是1080P屏系数
35PRESS_COEFFICIENT
35defget_screenshot():获取手机截图并转成OpenCV格式screenshotagent.screenshot()# Agent自带的截图功能比原生ADB快imgcv
imdecode(np.frombuffer(screenshot,np.uint
,cv
IMREAD_COLOR)returnimgdeffind_chess_and_board(img):识别棋子和目标方块的中心点# 转灰度图方便识别graycv
cvtColor(img,cv
COLOR_BGR2GRAY)# 识别棋子跳一跳棋子颜色固定用阈值分割找轮廓ret,threshcv
threshold(gray,180,255,cv
THRESH_BINARY_INV)contours,_cv
findContours(thresh,cv
RETR_EXTERNAL,cv
CHAIN_APPROX_SIMPLE)# 找到棋子的轮廓面积最大的那个chess_contourmax(contours,keycv
contourArea)chess_momcv
moments(chess_contour)chess_xint(chess_mom[m10]/chess_mom[m00])chess_yint(chess_mom[m01]/chess_mom[m00])# 棋子中心点# 识别目标方块找画面上方的亮色区域排除棋子board_graygray[0:chess_y-50,:]# 只看棋子上方的区域ret,board_threshcv
threshold(board_gray,200,255,cv
THRESH_BINARY)board_contours,_cv
findContours(board_thresh,cv
RETR_EXTERNAL,cv
CHAIN_APPROX_SIMPLE)# 找到最大的方块轮廓board_contourmax(board_contours,keycv
contourArea)board_x,board_y,w,hcv
boundingRect(board_contour)board_center_xboard_xw//2board_center_yboard_yh//2# 方块中心点return(chess_x,chess_y),(board_center_x,board_center_y)defcalculate_press_time(chess_pos,board_pos):根据距离计算按压时间dxabs(chess_pos[0]-board_pos[0])dyabs(chess_pos[1]-board_pos[1])distancenp.sqrt(dx**2dy**
# 欧几里得距离press_timeint(distance*PRESS_COEFFICIENT)# 换算成按压时间毫秒returnpress_timedefauto_jump():主循环自动跳一跳print(Agent开始玩跳一跳啦按CtrlC停止)whileTrue:try:#
获取截图imgget_screenshot()#
识别棋子和方块chess_pos,board_posfind_chess_and_board(img)#
计算按压时间press_timecalculate_press_time(chess_pos,board_pos)#
模拟按压屏幕跳一跳需要长按屏幕agent.tap_hold(xchess_pos[0],ychess_pos[1],durationpress_time/
print(f跳啦距离{int(np.sqrt((chess_pos[0]-board_pos[0])**2(chess_pos[1]-board_pos[1])**
)}按压时间{press_time}ms)# 等待跳跃完成避免连续操作time.sleep(
1.
exceptExceptionase:print(f小失误{e}休息1秒继续)time.sleep(
continue# 启动Agentif__name____main__:# 先手动打开手机上的跳一跳再运行代码input(打开跳一跳后按回车开始)auto_jump()
运行教程避坑指南
怎么运行把代码保存为jump_agent.py放在电脑里手机打开跳一跳进入游戏界面用数据线连电脑命令行敲python jump_agent.py按回车Agent就开始自动玩啦
常见坑怎么避找不到棋子/方块把手机亮度调到最高游戏背景别选太花的纯黑背景最稳跳太远/太近改代码里的PRESS_COEFFICIENT参数跳远了调小跳近了调大每次调
05就行连接不上手机检查USB调试开了没数据线是不是原装的或者换个USB口试试
进阶玩法从跳一跳到王者荣耀学会了简单的跳一跳Agent想玩点刺激的教大家快速进阶到王者荣耀自动人机Agent核心就改两步视觉识别用Transformer替换OpenCV识别英雄、野怪、技能按钮用2025年底更新的轻量版ViT模型电脑没显卡也能跑决策逻辑加个简单的状态机比如“看到野怪→移动过去→按攻击键→放技能”用Open-AutoGLM的agent.key_click()模拟按键其实现在的AI Agent技术已经很成熟了不光能玩游戏还能自动刷短视频、做任务核心都是“视觉识别动作模拟决策逻辑”这一套学会了这个底层逻辑做任何手机自动化Agent都手到擒来最后唠两句其实开发游戏Agent真的不难不用怕自己是新手从最简单的跳一跳开始一步步上手慢慢就理解AI Agent的核心了。
而且现在AI行业的风口真的很猛会做这种实际落地的Agent项目不管是找工作还是做副业都超有优势如果大家想深入学从基础的Python、OpenCV到深度学习、Agent框架一步步系统学起来才能真正把技术吃透而不是只会抄代码目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步。
想要系统学习AI知识的朋友可以看看我的教程http://blog.csdn.net/jiangjunshow教程通俗易懂风趣幽默从深度学习基础原理到各领域实战应用都有讲解。
好啦今天的Agent开发教程就到这代码亲测可运行有问题评论区留言我都会回关注我下次教大家做能自动刷短视频的Agent干货满满不迷路