一个卷积层、一个批归一化层 (BN)、与一个非线性激活函数一起构成了深度卷积神经网络的“原子”结构。自BN提出以来，研究者们一直尝试更深入的理解它。BN的“秘密”从Ioffe等人的原始文章中就能找到蛛丝马迹：文中共4处归功于BN的“隐式”正则化能力，从而带来更大的学习率与泛化性能，并把解释这种隐式正则作为未来的研究方向之一。18年Morcos等人实验验证指出BN可以使得网络对某个参数或者神经元的依赖性降低，从而使网络在噪声存在时有更好的鲁棒性。这个现象更深层地解释了BN。如何将这种"隐式"的正则显示地表达出来也就成了这篇文章第一部分的主题。第二部分探讨BN正则化对其泛化能力的影响…
Read more in this project.