权重衰减

概念

权重衰减 是一种用于防止机器学习模型过拟合的正则化技术。

它的核心思想是：在优化（训练）过程中，除了最小化原始的损失函数，还同时对模型参数（权重）的大小进行惩罚。

简单来说，它鼓励模型学习到“更小”的权重，从而让模型变得更简单、更平滑，降低对训练数据中噪声的敏感度。

数学原理：

参数更新：

因为 η (学习率) 和 λ 都是正数，所以 (1−η⋅λ) 是一个小于 1 的系数（例如 0.99）。

这意味着，在每一步更新中，权重都会先自动乘以一个小于 1 的数，从而“衰减”变小，然后再加上基于数据误差的梯度更新。

这就是“权重衰减”名字的由来：权重在每次迭代中都会自动衰减。