耶鲁大学团队如何让电脑助手学会“看懂“桌面操作

YOLOv8网络结构通俗解析就像搭积木一样简单

整体架构就像3层楼的侦探大楼想象一下这个网络就像一座3层楼的侦探大楼专门用来在图片里找东西大楼结构 1楼P3层看得很清楚适合找小东西如蚂蚁、纽扣 2楼P4层中等视野适合找中等东西如猫、椅子 3楼P5层看得很远适合找大东西如汽车、房子工作流程特征提取部Backbone把图片信息整理成不同“情报报告”情报融合部Neck把不同层的报告互相交流、补充侦探总部Head根据报告找出目标并分类

参数含义就像积木说明书

1 基本参数nc: 80 # 能识别80种东西COCO数据集的所有类别

2 模型大小选择就像选不同的放大镜n: [

33,

25, 1024] # 微型放大镜最小最轻快 s: [

33,

50, 1024] # 小型放大镜稍大一点 m: [

67,

75, 768] # 中型放大镜平衡型 l: [

00,

00, 512] # 大型放大镜很详细 x: [

00,

25, 512] # 巨型放大镜最详细但最慢 # 三个数字的意思 # 第一个深度 → 相当于放大镜的“层数” # 第二个宽度 → 相当于放大镜的“口径大小” # 第三个最大通道 → 最多能同时看多少个特征

骨干网络Backbone情报收集部

1 每一层就像不同倍数的放大镜层0用64倍放大镜看走2步看一格 → 看得粗一点 层1用128倍放大镜看走2步看一格 → 再粗一点 层2用128倍放大镜仔细看3遍 层3用256倍放大镜看走2步看一格 层4用256倍放大镜仔细看6遍 层5用512倍放大镜看走2步看一格 层6用512倍放大镜仔细看6遍 层7用1024倍放大镜看走2步看一格 层8用1024倍放大镜仔细看3遍 层9用“多角度放大镜”SPPF全面看每个模块解释Conv卷积层就像不同倍数的放大镜[64, 3, 2]64倍放大看3×3区域走2步走2步就是下采样看得更广但没那么精细C2f模块就像反复仔细观察[128, True]用128倍放大镜允许“抄近路”残差连接3或6仔细观察3遍或6遍SPPF模块就像同时用多个放大镜从不同角度看5×5的放大镜看三次然后把看到的信息拼接

颈部网络Neck情报交流中心这里是最有意思的部分就像让不同楼层的侦探互相交流

1 交流过程像搭电梯上下楼步骤1从9楼坐电梯上到6楼2倍放大 步骤2把6楼的情报拿过来合并 步骤3仔细分析合并后的情报C2f 步骤4再坐电梯上到4楼2倍放大 步骤5把4楼的情报拿过来合并 步骤6仔细分析 → 这就是P3/8的输出1楼情报 步骤7从1楼坐电梯下到12楼2倍缩小 步骤8把12楼的情报合并 步骤9仔细分析 → 这就是P4/16的输出2楼情报 步骤10从2楼坐电梯下到9楼2倍缩小 步骤11把9楼的情报合并 步骤12仔细分析 → 这就是P5/32的输出3楼情报关键操作解释Upsample上采样坐电梯上楼把图片放大2倍就像把小照片放大看得更清楚Concat拼接把不同楼层的情报合并[[-1, 6], 1, Concat, [1]]把当前层-1和第6层的情报合并C2f再次分析合并后再仔细分析一遍

输出部分三明治式检测[[15, 18, 21], 1, Detect, [nc]]意思是用第

15、

21层的情报一起做检测能分80类三明治检测原理第15层P3/8就像站在1楼窗户往外看看得清楚能发现小蚂蚁但视野窄看不到远处的车第18层P4/16就像站在2楼窗户往外看视野适中能看到猫和椅子既有细节又有一定视野第21层P5/32就像站在3楼窗户往外看视野很广能看到汽车和房子但看不清小蚂蚁三者结合把1楼、2楼、3楼看到的东西汇总就什么都能找到了

通俗比喻餐厅后厨工作流程把这个网络想象成餐厅后厨处理食材的过程

1 骨干网络食材初步处理

切大块层

先把食材切成大块

仔细清洗层2反复清洗3遍

切中块层3切成中等块

腌制处理层4用6种调料腌制

切小块层5切成小块

炒制处理层6用6种方法炒

切末层7切成末

混合处理层8混合3次

多种烹饪层9蒸、煮、炸都试一下

2 颈部网络菜品融合创新

从最后的菜层9分一半出来和炒制好的菜层6混合

做出新菜品A层12

把新菜品A和腌制好的菜层4混合

做出精品小菜层15← 1楼菜品

把精品小菜加工一下和新菜品A混合

做出中份主菜层18← 2楼菜品

把中份主菜加工一下和最后的菜层9混合

做出大份招牌菜层21← 3楼菜品

3 输出菜品上桌把所有菜品

15、

21一起端给客人满足各种需求

为什么这样设计设计哲学

1 多尺度就像人眼看东西走近看P3细节清楚但只看局部正常距离P4平衡细节和整体远距离看P5看整体布局但看不清细节

2 上下交流就像团队协作向上交流Upsample让高层了解底层细节向下交流下采样让底层了解高层的大局观最终每个人既知道细节又知道大局

3 残差连接就像“作弊小抄”C2f里的True就是允许“抄近路”保留原始信息防止学歪了

生活中的类比

1 像淘宝找商品P3像用“放大镜功能”看商品细节线头、做工P4像正常浏览商品图整体样式P5像看商品在场景中的效果图搭配效果

2 像侦探破案新侦探浅层注意细节指纹、毛发老侦探中层分析关系动机、时间线警长深层把握全局大案要案

3 像学生学习小学生P3学基础知识很详细中学生P4知识系统化有联系大学生P5把握学科整体框架

九、

总结一句话理解YOLOv8“让AI像人一样既看细节又看整体用小中大三种视野一起找东西”细节P3找小东西中观P4找中等东西全局P5找大东西互相交流三种视野信息共享一起判断综合三种视野的结果这样设计的好处是又快又准快每种视野只负责看自己擅长的准三种视野的结果互相印证

有趣的事实为什么叫YOLOYou Only Look Once你只需要看一眼但其实是“看一眼”就用了三种不同的“眼镜”为什么效果好因为模仿了人脑看东西的方式人脑也是先看整体再注意细节而且会把不同层次的信息结合为什么这么流行像瑞士军刀什么都能干检测、分割、跟踪像变形金刚可大可小n、s、m、l、x不同尺寸像乐高积木容易修改和扩展

《劫匪当丈夫面欺负妻子》官方版-《劫匪当丈夫面欺负妻子》官方版应用