核心内容摘要
基于STM32CubeMX和RexUniNLU的智能硬件原型开发
Batch Normalization为什么它能让你的神经网络训练速度翻倍强制调整激活值分布深度学习训练迎来关键突破大家好今天我们来聊聊深度学习中的一个“加速神器”——Batch Normalization批量归一化。
这项2015年提出的技术如今已成为几乎所有现代神经网络的标配组件。
Batch Normalization的核心思想在之前的分享中我们讨论过激活值分布对训练的重要性。
如果各层激活值分布有合适的范围学习就能顺利进行。
Batch Normalization的想法很简单但很强大如果自然的激活值分布不理想我们就“强制性”调整它
Batch Norm的三大优势大幅加速训练可以放心使用更大的学习率降低对初始值的依赖不再需要小心翼翼地调整权重初始化抑制过拟合一定程度上减少了Dropout等正则化技术的必要性对于需要长时间训练的深度学习模型来说第一点尤其令人振奋
Batch Normalization算法详解Batch Norm在神经网络中插入专门的正规化层以mini-batch为单位进行调整第一步计算mini-batch的统计量对于包含m个样本的mini-batchB x 1 , x 2 , . . . , x m B {x_1, x_2, ..., x_m}Bx1,x2,...,xm计算均值μ B ← 1 m ∑ i 1 m x i \mu_B \leftarrow \frac{1}{m} \sum_{i1}^m x_iμB←m1i1∑mxi计算方差σ B 2 ← 1 m ∑ i 1 m ( x i − μ B ) 2 \sigma_B^2 \leftarrow \frac{1}{m} \sum_{i1}^m (x_i - \mu_B)^2σB2←m1i1∑m(xi−μB)2第二步归一化处理x ^ i ← x i − μ B σ B 2 ϵ \hat{x}_i \leftarrow \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 \epsilon}}x^i←σB2ϵxi−μB这里ε是一个极小值如10⁻⁷防止除以零的情况。
第三步可学习的缩放和平移y i ← γ x ^ i β y_i \leftarrow \gamma \hat{x}_i \betayi←γx^iβγ和β是可学习参数初始时γ1β0让网络自己决定是否需要以及如何调整归一化后的分布。
Batch Norm的实际效果让我们通过MNIST数据集上的实验直观感受Batch Norm的威力实验一训练速度对比明显可以看到使用Batch Norm后实线训练初期的损失下降速度快得多实验二对不同初始值的鲁棒性图中的实线是使用Batch Norm的结果虚线是不使用的结果。
无论权重初始值的标准差如何设置
01到
025Batch Norm都能保证相对稳定的学习过程。
关键发现在没有Batch Norm的情况下如果初始值设置不当学习可能完全无法进行而使用Batch Norm后即使初始值不够理想训练也能顺利进行。
为什么Batch Norm如此有效缓解内部协变量偏移随着网络层数加深输入的分布会发生变化Batch Norm通过每层归一化缓解这一问题平滑优化地形使损失函数更加平滑允许使用更大的学习率轻微的正则化效果由于每个mini-batch的统计量不同给训练带来了一定的噪声起到正则化作用
使用建议放置位置通常放在全连接层或卷积层之后激活函数之前推理阶段训练时的统计量均值和方差会通过移动平均保存推理时直接使用与Dropout的配合由于Batch Norm已有正则化效果可以适当减小Dropout的比例
七、
总结Batch Normalization不仅仅是深度学习的一个小技巧它是让深层神经网络训练变得可行和高效的
关键技术之一。
通过强制规范各层的激活值分布它解决了深度训练中的多个痛点让研究人员能够构建更深、更强大的模型。
实践建议在现代深度学习项目中除非有特别原因否则默认使用Batch Norm几乎总是一个好选择。
它简单、有效且计算开销相对较小带来的训练加速和稳定性提升是实实在在的。