大众号/将门创投

参考论文：arxiv.org/pdf/1805.11604.pdf

编译：Simon’s Road

由于BatchNorm可以减速训练并取得愈加波动的后果，近年来成为了一项在深度学习优化进程中被普遍运用的技巧。但目后人们关于它是如何在优化进程中起作用的还没有达成共识。MIT的研讨人员从优化进程中对应空间的平滑性这一角度为我们带来的全新的视角。

 

在过来的十年中，深度学习在计算机视觉、语音辨认、机器翻译和游戏博弈等众所周知的各种艰难义务中都获得了令人注目的提高。这些提高离不开硬件、数据集、算法以及网络构造等方面严重停顿，批规范化/标准化（Batch Normalization，简称BatchNorm）的提出更是为深度学习的开展作出了宏大奉献。BatchNorm是一种旨在经过固定层输出的散布来改善神经网络训练的技术，它经过引入一个附加网络来控制这些散布的均值和方差。BatchNorm可以完成深度神经网络更快更波动的训练，到目前为止，无论是在学术研讨中（超越4,000次援用）还是实践使用配置中，它在大少数深度学习模型中都默许运用。

虽然BatchNorm目前被普遍采用，但终究是什么缘由招致了它这么无效，尚不明白。实践上，如今也有一些任务提供了BatchNorm的替代办法，但它们似乎没有让我们更好地深化了解该成绩。目前，对BatchNorm的成功以及其最后动机的最普遍承受的解释是，这种无效性源于在训练进程中控制每层输出数据散布的变化以增加所谓的“Internal Covariate Shift”。那什么是Internal Covariate Shift呢，可以了解为在神经网络的训练进程中，由于参数改动，而惹起层输出散布的变化。研讨人员们揣测，这种继续的变化会对训练形成负面影响，而BatchNorm恰恰增加了Internal Covariate Shift，从而补偿这种影响。

虽然这种解释如今被普遍承受，但似乎仍未呈现支持的详细证据。尤其是，我们仍不能了解Internal Covariate Shift和训练功能之间的联络。在本文中，作者证明了BatchNorm带来的功能增益与Internal Covariate Shift有关，在某种意义上BatchNorm甚至能够不会增加Internal Covariate Shift。相反，作者发现了BatchNorm对训练进程有着更基本的影响： 它能使优化成绩的解空间愈加平滑 ，而这种平滑性确保了梯度更具预测性和波动性，因而可以运用更大范围的学习速率并取得更快的网络收敛。

作者证明了在普通条件下，在具有BatchNorm的模型中损失函数和梯度的Lipschitzness（也称为β-smoothness）失掉了改善。最初，作者还发现这种平滑效果并非与BatchNorm独一相关，许多其他的正则化技术也具有相似的效果，甚至有时效果更强，都能对训练功能提供相似的效果改善。

研讨人员表示深化了解BatchNorm这一根本概念的本源有助于我们更好地掌握神经网络训练潜在的复杂性，反过去，也能促进广阔学者们在此根底上进一步地研讨深度学习算法。

作者讨论了BatchNorm，优化和Internal Covariate Shift三者之间的关系。作者在CIFAR-10数据集上辨别运用和不运用BatchNorm来训练规范的VGG网络，如上图显示用BatchNorm训练的网络在优化和泛化功能方面都有着明显改良。但是，从上图最右侧我们发如今有和没有BatchNorm的网络中，散布（均值和方差的变化）的差别似乎是微乎其微的。那么，由此引发以下的成绩：

1）BatchNorm的无效性能否的确与Internal Covariate Shift有关？

2）BatchNorm固定层输出的散布能否可以无效增加Internal Covariate Shift？

首先我们训练网络时，刻意在BatchNorm层后注入随机噪声，由此发生分明的covariate shift。因而，层中的每个单元都会在各个时辰阅历不同的输出散布。然后，我们测量这种引入的散布不波动性对BatchNorm功能的影响。下图显示了规范网络、加上BatchNorm层的网络以及在BatchNorm层后加噪声的网络的训练后果。我们发现，后两者的功能差别可以疏忽，并且都比规范网络要好。在规范网络中加BatchNorm之后，即使噪声的引入使得散布不波动，但在训练功能仍比规范网络好。所以，BatchNorm的无效性与Internal Covariate Shift并没有什么联络。

仅从输出散布的均值和方差来看，Internal Covariate Shift似乎与训练功能并没有直接联络，那么从更普遍的概念上了解，Internal Covariate Shift能否与训练功能有着直接的联络呢？假如有，BatchNorm能否真的无效增加了Internal Covariate Shift。把每层看作是求解经历风险最小化的成绩，在给定一组输出并优化损失函数，但对任何先前层的参数停止更新必将改动前面层的输出，这是Ioffe和Szegedy等研讨人员关于Internal Covariate Shift了解的中心。此处，作者更从底层的优化义务角度深化探求，由于训练进程是一阶办法，因而将损失的梯度作为研讨对象。

为了量化每层中参数必需依据先前层中参数更新“调整”的水平，我们辨别测量更新前和更新后每层梯度的变化。作者经过实验测量了带有和不带BatchNorm层的Internal Covariate Shift水平。为别离非线性效应和梯度随机性，作者还对运用全批梯度下降训练的（25层）深度线性网络（DLN）停止剖析。最终，我们发现，在网络中添加BatchNorm层应该是添加了更新前和更新后层梯度之间的相关性，从而增加Internal Covariate Shift。但令人诧异的是，我们察看到运用BatchNorm的网络常常表现出Internal Covariate Shift的添加（参见下图），DLN尤其明显。从优化的角度来看，BatchNorm能够甚至不会增加Internal Covariate Shift。

图中蓝色线为添加了BatchNorm的后果，右侧描绘了对应Internal covariate shift的变化。

那BatchNorm 终究发扬了什么作用呢？

现实上，我们确定了BatchNorm对训练进程的关键影响：它对底层优化成绩再参数化， 使其解空间愈加平滑 。首先，损失函数的Lipschitzness失掉改良，即损失函数能以较小的速率变化，梯度的幅度也变小。但是效果更强，即BatchNorm的再参数化使损失函数的梯度愈加Lipschitz，就有着愈加“无效”的β-smoothness。这些平滑效果对训练算法的功能起到次要的影响。改良梯度的Lipschitzness使我们确信，当我们在计算梯度的方向上采取更大步长时，此梯度方向在之后仍是对实践梯度方向的精准估量。

因而，它能使任何基于梯度的训练算法采取更大的步长之后，避免损失函数的解空间渐变，既不会掉入梯度消逝的平整区域，也不会掉入梯度爆炸的锋利部分最小值。这也就使得我们可以用更大的学习速率，并且通常会使得训练速度更快而对超参数的选择更不敏感。因而，是BatchNorm的平滑效果进步了训练功能。

为了证明BatchNorm对损失函数波动性的影响，即Lipschitzness，对训练进程中每步，我们计算损失函数的梯度，并测量当我们朝梯度方向挪动时损失函数如何变化。见下图中（a），我们看到，与用BatchNorm的状况相反，vanilla网络的损失函数确实有着大幅动摇，特别是在训练的初始阶段。异样为了证明BatchNorm对损失函数的梯度波动性/ Lipschitzness影响，我们在下图中（b）绘制了vanilla网络和BatchNorm 整个训练进程中的“无效”β-smoothness（“无效”在这里指，朝梯度方向挪动时测量梯度的变化），后果差别性很大。

为了进一步阐明梯度波动性和预测性的添加，我们测量在训练给定点处的损失梯度与沿着原始梯度方向的不同点对应的梯度之间的L2间隔。如下图中（c）显示了vanilla网络和BatchNorm网络之间的这种梯度预测中的显着差别（接近两个数量级）。我们还调查了线性深度网络，BatchNorm也有着很好的平滑效果。要强调的是，即便我们值集中探究了沿着梯度方向的损失解空间状况，关于其他恣意方向，也有分歧的结论。

文中从实际上论证了添加BatchNorm可以降低参数的灵敏度，并很好的改善优化成绩的解空间。

不同norm下VGG网络的激活直方图

那么BatchNorm是平滑解空间最好且独一的办法吗？答案当然不是，作者研讨了一些基于自然数据统计的正则化战略，相似BatchNorm修正激活函数一阶矩的方案，用p范数均值停止正则化。不同的是，关于这些正则化方案，层输出的散布不再是高斯（见上图）。因而，用这种p范数停止正则化并不能保证对散布矩和散布波动性有任何控制。实验后果如下图所示，可以察看到一切的正则化办法都提供了与BatchNorm相媲美的功能。现实上，关于深度线性网络来说，’L1正则化表现的要比BatchNorm更好。

值得留意的是，p范数正则化办法会招致更大的散布covariate shift。但一切这些技术都进步理解空间的平滑度，这点与BatchNorm的效果类似。以上标明BatchNorm对训练的积极影响能够实属偶尔。因而，对相似的正则化方案的设计停止深化探究非常有必要，可以为网络训练更好的功能。

 

综上所述，作者研讨了BatchNorm能进步深度神经网络训练无效性的本源，并发现BatchNorm与internal covariate shift之间的关系是微乎其微的。特别是，从优化的角度来看，BatchNorm并不会增加internal covariate sh聚焦消费升级、多维视频、家庭场景、数字营销、新零售等创新领域，为用户提供更多元、更前沿、更贴心的产品，满足用户日益多样化、个性化的需求。ift。相反，BatchNorm对训练进程的关键作用在于其重新规划了优化成绩，使其Lipschitzness波动和β-smoothness更无效，这意味着训练中运用的梯度更具有良好的预测性和功能，从而可以更疾速、无效地停止优化。

这种景象同时也解释了先前察看到的BatchNorm的其他优点，例如对超参数设置的鲁棒性以及防止梯度爆炸或消逝。作者也展现了这种平滑效果并不是BatchNorm特有的，其他一些自然正则化战略也具有类似的效果，并能带来可比拟的功能增益。我们置信这些新发现不只可以消弭关于BatchNorm的一些罕见曲解，而且还会使我们在真正意义上了解这种根本技术以及愈加好的处置深度网络的训练成绩。

最初，作者标明虽然重点在于提醒BatchNorm对训练的影响，但其发现也能够提醒BatchNorm对泛化才能的改良。详细来说，BatchNorm重新参数化的平滑效应能够会促使训练进程收敛到更平整的极小值，置信这样的极小值会促进更好的泛化。

一些参考：

Lipschitz: https://en.wikipedia.org/wiki/Lipschitz_continuity

BatchNorm: https://www.zhihu.com/question/38102762