Google Research｜重新审视深度模型的偏差和方差

​

It’s an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models

L Chen, M Lukasik, W Jitkrittum, C You, S Kumar
[Google Research]

重新审视深度模型的偏差和方差

要点:

• 通过实证和理论两个方面研究了深度学习模型集成中样本级别的偏差和方差的关系，发现正确分类的样本点上的偏差平方与方差近似相等，存在“偏差-方差校准”现象。
• 在各种模型架构和数据集上都观察到了该现象，过参数化的模型更倾向于表现出偏差-方差校准。
• 从校准的角度理论上证明，如果模型校准良好，偏差平方和方差将相关，从神经收敛的角度也可以推导出偏差平方与方差的近似相等关系。
• 该发现提供了深度学习中偏差-方差关系的新视角，有助于理解过参数化模型的推广性能，也为实际中验证和选择模型提供了新思路。

动机：深度学习模型中的偏差和方差是机器学习中一个重要的概念，传统观点认为它们存在着一种权衡关系。然而本文通过实验证明，对于一组基于深度学习的分类模型，偏差和方差在样本级别上是一致的，即对于正确分类的样本点，偏差平方大约等于方差。

方法：通过对流行的深度分类模型进行逐样本的偏差和方差测量，发现了一个与传统权衡观点截然不同的现象，即偏差和方差在样本级别上是一致的。同时，从校准和神经 坍缩的角度对这一现象进行了理论研究。

优势：通过实验证明了深度学习模型中偏差和方差的一致性，并从理论角度给出了解释。这一发现对于深度学习模型的设计和理解具有重要的指导意义。

通过实验证明了深度学习模型中偏差和方差在样本级别上是一致的，打破了传统观点的权衡关系，为深度学习模型的设计和理解提供了新的视角。

https://arxiv.org/abs/2310.09250 

​Read More