核心内容摘要
ModTheSpire：让《杀戮尖塔》焕发新生的模组加载神器
文章目录摘要Abstract
论文的基本思想和贡献基本思想主要贡献
研究背景
模型介绍
Training
初始化
数据增强
平铺策略
总结摘要本周阅读了经典图像分割论文 U-Net重点学习了其网络结构设计与推理策略。
论文提出对称的编码器–解码器架构并通过跳跃连接融合高层语义与低层空间信息实现精确的像素级分割。
同时结合镜像 padding 与 overlap-tile 策略在显存受限条件下完成对大尺寸图像的高质量预测。
AbstractThis week I studied the classic image segmentation paper U-Net, focusing on its network architecture design and inference strategies. The paper proposes a symmetric encoder-decoder structure that achieves precise pixel-level segmentation by fusing high-level semantic and low-level spatial information through skip connections. It also combines mirror padding with the overlap-tile strategy to accomplish high-quality predictions for large images under GPU memory constraints.本周阅读与U-Net相关的论文U-Net是由Olaf Ronneberger 等人在2015年提出的一种全卷积网络架构,最初发表于MCCAI会议论文《UNet.ConvolutionalNetworks for Biomedical Image Segmentation》论文链接https://arxiv.org/abs/
1
04597
论文的基本思想和贡献基本思想U-Net 是一种用于生物医学图像分割的卷积神经网络架构。
它通过引入一种新颖的网络结构和训练策略解决了传统方法在数据量不足时面临的挑战。
U-Net 的主要思想是利用数据增强技术来高效利用有限的标注样本并通过独特的网络设计来提高分割精度。
主要贡献
提出了 U 形编码器–解码器分割架构U-Net 将卷积网络设计为对称的编码器下采样与解码器上采样结构实现了端到端的像素级预测成为语义分割尤其是医学图像分割的基础范式。
通过跳跃连接有效融合语义与定位信息在对应尺度上将编码器的高分辨率特征与解码器特征进行拼接显著缓解了下采样带来的空间信息丢失问题提高了边界与细节的分割精度。
在小样本医学图像场景下表现出强鲁棒性结合强数据增强尤其是弹性形变和端到端训练方式使得模型在标注数据极少的情况下仍能取得优异分割效果降低了对大规模数据集的依赖。
提出了完整可落地的高分辨率分割方案采用 valid 卷积并配合 overlap-tile 推理与镜像补边策略使模型能够在显存受限条件下对任意大尺寸图像进行无缝分割具有很强的工程实用价值。
研究背景在
年深度卷积网络在许多视觉识别任务中都表现优异但容易受到可用训练集以及网络大小的限制。
在生物医学图像处理中这一缺陷尤为明显因为在该领域任务中通常很难获取大量的训练图像图像中的目标结构经常呈现出不规则的形态和复杂的纹理变化相邻组织之间的边界也模糊不清。
为了解决这个问题当时的主流方法是Ciresan等人提出的滑动窗口卷积网络通过为每个像素提取局部区域进行分类。
这种方法能够提升定位能力但必须为每个重叠的补丁单独运行网络计算冗余极大;同时感受野大小与定位精度之间需要进行权衡大感受野需要更多池化层会导致空间信息损失而小感受野则无法捕获足够的上下文信息。
模型介绍unet的核心结构
编码器一系列卷积池化层用于捕获图像的上下文信息。
解码器一系列上采样层和卷积层用于恢复分割的精细细节。
跳跃连接从收缩路径复制特征图到相应的扩展路径以保留更多的细节信息。
Training
初始化为保证网络各层输出的方差处于相近水平U-Net 采用了一种专门的权重初始化方法。
在包含大量卷积层、且存在多条传播路径的深层网络中初始化是否合理非常关键。
若初始化不当网络里有些分支可能会被过度激活而另一些分支几乎不起作用。
理想情况下初始化应使网络中每个特征映射的输出方差大致一致。
针对本文这种由卷积与 ReLU 交替堆叠的结构可以从均值为
标准差为 2/N 的高斯分布中采样来初始化权重其中 N 表示一个神经元的输入连接数。
举例来说若某层使用 3×3 卷积并生成 64 个通道则 N9×64576。
采用这种策略有助于各层梯度更顺畅地传播从而降低梯度消失或梯度爆炸的风险。
数据增强通过旋转、平移、弹性变形和灰度值变化等方式实现数据增强其中弹性变形尤为重要因为它能帮助网络学习到变形不变性。
平铺策略由于当时显存条件有限NVIDIA Titan 6GB整张原图无法直接送入网络而如果简单缩放resize又会牺牲分辨率、影响细节。
因此作者采取了“镜像填充 分块预测 重叠融合”的做法先把 512×512 的图像做镜像 padding 扩展到 696×696再从扩展后的大图中按四个方向裁出 4 个 572×572 的子图左上、右上、左下、右下分别送入网络得到 4 张 388×388 的输出结果最后再把它们拼回原图位置对重叠区域的预测会进行融合处理通常取平均从而得到完整输出。
所谓镜像 padding本质是 overlap-tile 预测流程中的一个关键环节。
它的出发点是模型在预测某个区域可理解为“黄框内部”时需要依赖周围像素“蓝框区域”提供上下文信息才能做出更可靠的判断。
但图像边缘天生缺少外侧邻域直接预测容易不稳定。
为解决这个问题作者在边界外用镜像方式补齐像素把原图边缘沿边界对称“翻折”过去作为填充值这样边界位置也能获得类似的上下文支持。
从实现角度看边缘上下文缺失最直接的办法是做填充。
最简单的填充是补 0但这并不会带来真实的邻域信息反而可能引入不自然的边界效应所以作者更倾向使用镜像填充如 reflect 模式。
另外填充后会出现相邻 patch 之间大量重叠作者通过使用 valid 卷积使特征图在逐层传播中不断收缩逐渐“吃掉”边界填充带来的影响最终保留下来的输出区域更可信、更稳定。
论文中的 overlap-tile 往往与 patch 分块配合使用当内存不足以对整张大图做一次性预测时先对图像进行镜像 padding再把 padding 后的图切成固定大小的 patch 逐块推理。
这样不仅能处理任意大尺寸的输入还能让每个 patch 都具备足够的上下文信息。
与此同时这种方法避免了对原图做缩放因而每个像素的位置和值都与原始图像保持一致不会引入由缩放带来的误差。
在送入网络前先对图像做镜像 padding使最终拼接后的输出尺寸与原图对齐更重要的是镜像 padding 为边缘区域补足了上下文从而提升了边界处的预测质量。
总结通过本次阅读加深了对语义分割中“上下文信息与定位精度平衡”的理解。
U-Net 的成功不仅源于其 U 形结构和特征拼接设计也得益于与之配套的初始化方法、数据增强及推理策略。
整体方法兼顾理论合理性与可行性对后续学习具有重要参考价值。