正则化、拉索回归与岭回归

[[过拟合与欠拟合|过拟合]]的一个常见征兆是模型系数变得异常大——系数越极端，模型就越倾向于死死贴合训练数据里的每一个细节和噪声。正则化的思路是在原本只追求”预测误差最小”的损失函数里，额外加一项”惩罚系数过大”的代价，逼迫优化过程在”拟合训练数据”和”保持系数别太夸张”之间找平衡。两种最常用的正则化方式，惩罚项的度量方式不同：拉索回归（L1正则化）用的是类似[[欧几里得距离与曼哈顿距离|曼哈顿距离]]的绝对值之和，效果是能把不重要的系数直接压到0（相当于自动做了特征筛选）；岭回归（L2正则化）用的是类似欧几里得距离的平方和，效果是让所有系数都整体收缩变小但通常不会精确变成0。选哪种取决于是想要一个”更稀疏、自动剔除无关变量”的模型（拉索），还是”保留所有变量但都收敛得更保守”的模型（岭）。