T-Rex Label

批量归一化是一种在神经网络训练过程中对每个小批次(mini-batch)内的层输入进行标准化的技术,通过对每个特征维度计算均值和方差,并将输入激活归一化为零均值和单位方差,再应用可学习的缩放(γ)与偏移(β)参数,实现对网络内部协变量偏移(internal covariate shift)的抑制,从而提升训练稳定性并加快收敛速度 维基百科. 归一化操作使优化过程能够使用更大的学习率,降低梯度消失或爆炸的风险,同时在一定程度上起到正则化效果,减少对 Dropout 等额外正则化手段的依赖 MachineLearningMastery.com. 但批量归一化在小批量训练或循环网络中效果有限,陆续衍生出层归一化(Layer Normalization)、组归一化(Group Normalization)等针对性更强的替代方案。