核心内容摘要
横评后发现!最强的AI论文工具 —— 千笔·专业论文写作工具
你可以把深度学习网络想象成一条很长的“学习流水线”。
输入一张图片它就像一件产品经过流水线上每个工人的处理每个网络层最终得出结果比如认出这是猫还是狗。
核心问题为什么需要 ResNet在 ResNet 出现之前大家发现一个问题网络不是越深越好。
当网络层数增加到几十层时效果反而变差了训练误差和测试误差都升高了。
这很奇怪就像你给一个学生更多的学习资料和更长的学习时间他反而考得更差了。
研究人员发现这主要是因为“梯度消失/爆炸”和“网络退化”。
梯度消失/爆炸可以理解为信息在长长的流水线中传递时越到后面越模糊消失或者被过度放大爆炸导致后面的工人无法有效学习。
这个问题通过一些技术如 BatchNorm 已经部分解决“网络退化”是更关键的问题即使梯度正常增加层数后网络连恒等映射都学不会了。
也就是说一个更深的网络连一个较浅网络的效果都复制不了让后面新增的层什么事都不干直接输出前一层的输入这不难吧但实际训练中它却学不到这个简单的“偷懒”策略。
ResNet 的革命性思想跳跃连接2015年何恺明等人提出的ResNet用一个非常巧妙的办法解决了“网络退化”问题让网络可以做到几百层、上千层而依然有效。
它的核心思想叫“跳跃连接”或“残差块”。
残差块的比喻想象一下在流水线上工人A处理完产品后交给工人B。
传统网络要求B从头开始理解这个产品。
但在ResNet中我们让工人B只需要学习“从A那里拿到的产品”和“理想产品”之间的“差异”残差。
更妙的是工人A处理完的产品会直接抄近道跳跃连接送到工人B的输出端和B学习到的“差异”相加。
公式表达核心精髓输出 输入 学到的残差这里的“输入”就是跳跃连接过来的信号。
这样做的好处是什么防止梯度消失梯度可以通过跳跃连接这条“高速公路”毫无阻碍地传回浅层。
易于学习恒等映射如果新增的层是没用的那么它只需要把“残差”学习为0就好了输出 输入 0。
这比让一个传统网络层直接拟合输出 输入要容易得多集成不同深度的网络由于跳跃连接的存在ResNet 可以看作许多不同深度子网络的集合体训练一个 ResNet 相当于同时训练了多个网络具有很好的稳定性。
正是这个简单的设计让 ResNet 在 ImageNet 等大赛中夺冠并成为至今最基础、最流行的网络骨架之一。
ResNet 家族成员演变ResNet 就像一个家族最初的核心思想被后辈们不断优化。
a) 初代目ResNet (v
做了什么提出了残差块的基本结构构建了 ResNet-34, 50, 101, 152 等经典网络数字代表层数。
结构使用两种基本的残差块。
基础块用于较浅的网络如 ResNet-34包含两个 3x3 卷积。
瓶颈块用于很深的网络如 ResNet-50 及以上。
它的结构是1x1降维 - 3x3卷积 - 1x1升维目的是减少计算量。
这是最常用的块。
b) 优化版ResNet v2做了什么调整了残差块内部组件的顺序让训练更稳定、效果更好。
核心调整将激活函数和批归一化层的顺序从卷积 - BN - ReLU改为BN - ReLU - 卷积并且将跳跃连接路径也进行BN处理。
这被称为“预激活”结构让信息流动更加顺畅。
c) 变宽版Wide ResNet思想ResNet 的成功主要源于残差连接而非单纯的深度。
那么减少深度、增加每一层的宽度通道数会怎样结果更宽的 ResNet 通常比更深但更窄的 ResNet 效果更好且因为并行度高训练更快。
这启发了后续很多“宽网络”的研究。
d) 进化版ResNeXt思想在残差块中引入“分组卷积”和“基数”的概念。
比喻传统的残差块像一个“大专家”而 ResNeXt 块像一组例如32个小专家委员会。
每个小专家处理输入数据的一小部分分组卷积最后把所有人的意见汇总。
这种方式在增加模型容量的同时计算量增加不多效果显著提升。
核心结构采用了“分割-转换-合并”的策略是 ResNet 向更高效架构演进的重要一步。
e) 极致版ResNet-D ResNet in ResNet这些是更细致的结构改进。
例如ResNet-D把下采样跳跃连接路径上的 1x1 卷积的步长修改并额外添加一个平均池化层以保留更多信息进一步提升精度。
f) 近期明星ResNet 的“近亲” —— DenseNet虽然不严格属于 ResNet 家族但思想一脉相承且更进一步。
核心每一层都接收前面所有层的输出作为输入并把自己的输出传给后面所有层。
建立了层与层之间极致密集的连接。
好处特征复用性极强参数更少效果很好。
但非常消耗内存。
总结与对比网络核心创新点通俗理解ResNet (v
跳跃连接残差学习工人B只学“差异”学不会就输出0保证不拖后腿。
ResNet v2“预激活”结构优化流水线工序让信息流动更顺畅。
Wide ResNet深度减宽度增少招几个工人但给每个工人配更多助手增加通道。
ResNeXt分组卷积基数把一个大专家换成一个小专家委员会来投票决策。
DenseNet密集连接每个工人都能和之前所有工人交流信息共享最大化。
ResNet 家族的意义它解决了深度网络的训练难题其“跳跃连接”的思想已经成为现代深度学习架构的标准组件出现在Transformer如BERT、GPT、生成模型等众多领域是深度学习发展史上最重要的基石之一。
简化演变关系图演变路径分析第一代基础创新2015原始问题 → 跳跃连接 → 深度网络可训练 ↓ ResNet-18/34/50/101/152第二代结构优化2016ResNet v1 → 预激活顺序优化 → ResNet v2 ↓ 宽度方向探索 → Wide ResNet ↓ 连接极致化 → DenseNet第三代架构进化2017残差块 → 分组多路径 → ResNeXt ↓ 更强的特征提取能力第四代细节完善2018基础结构 → 下采样优化 → ResNet-D ↓ 更高的精度表现核心创新对比表阶段架构核心改进解决的问题奠基ResNet v1跳跃连接深度网络退化优化ResNet v2预激活顺序训练稳定性拓展Wide ResNet宽度深度训练效率进化ResNeXt多路径分组特征多样性精炼ResNet-D下采样优化信息保留极致DenseNet密集连接特征复用演变特点