偏差-方差分解与折中

模型的预测误差可以拆解成两个可以分别归因的来源：偏差是预测值系统性偏离真实值的程度，根源是模型表现力不够（太简单、参数太少），对应的正是[[过拟合与欠拟合|欠拟合]]；方差是模型对训练数据过度敏感、换一批数据结果就差很多的程度，根源是模型太复杂，对应的正是过拟合。这两者构成一个此消彼长的折中关系：想降低偏差就得让模型更复杂，复杂了方差又会变大；想降低方差就得让模型更简单，简单了偏差又会变大——因此不存在”既简单又精确”的模型，理想目标是找到偏差和方差都处于可接受范围、彼此平衡的那个点。发散：这个分解框架的价值在于把”模型不准”这个笼统问题，拆成了两个方向相反的具体问题，让调参和改进有了明确的诊断方向，而不是盲目地”调大调小”。