过拟合与欠拟合

判断模型学得好不好，光看训练数据上的准确率是不够的，关键要看训练准确率和[[交叉验证|验证数据]]准确率之间的关系。过拟合是模型在训练数据上表现极好、但换成验证数据表现明显下滑的状态——本质是模型把训练数据里的噪声和偶然细节也一并”背”了下来，常见诱因是参数太多、训练数据太少；欠拟合则是训练数据和验证数据的准确率都停留在低水平、怎么训练都上不去，通常是模型本身过于简单、连数据里该学到的规律都没学到。理想状态是训练和验证的准确率都稳定在较高水平且相互接近。发散：这个诊断框架提供了一个实用的排查顺序——先看训练准确率高不高，再看验证准确率是否同步，一旦两者出现明显落差，问题的方向立刻就清楚了，不需要盲目调参。