偏差方差权衡的本质

模型的预测误差可以严格分解成三部分：偏差（模型平均预测值与真实值的差距）、方差（同一模型在不同训练集上预测结果的离散程度）、以及不可消除的噪声。这两者是同一份”模型复杂度”预算在拉扯：增加模型复杂度能让它更贴近训练数据、降低偏差，但也会让模型对训练集的随机波动更敏感、推高方差；简化模型则相反。因此”提升模型效果”从来不是单向调复杂度，而是要先判断当前误差主要来自偏差还是方差——训练集和测试集表现都差多半是偏差问题，训练集表现好但测试集差多半是方差问题，诊断错了方向，调参再多也是无用功。