知识卡片

普通读书笔记卡 · 9398.a · 生成模型:Tencent Hunyuan Hy

泛化误差与预处理参数来源

理解等级:高级

用训练集建模后,测试集的作用是预测模型在未知数据上的表现、评估泛化误差;对结果满意才把它用于新的未知数据。这里有一条容易违反的纪律:特征缩放、降维等预处理步骤所需的参数(如均值、方差、投影矩阵),只能从训练数据集中学习得到,然后把同一变换应用到测试集和新样本,绝不能用测试集重新拟合。否则测试信息泄漏进预处理,评估就失去意义。另外,仅在测试集上评估一次可能无法察觉模型被过度优化——这也是为什么需要独立的验证环节来守护泛化能力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第1章《1.3.3 模型验证与使用未知数据进行预测》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0017.xhtml.xhtml) - 结论依据:原文说明测试集用于评估泛化误差,并明确"特征缩放、降维所需参数只可从训练数据集获取、再应用到测试集与新样本",以及"仅在测试集评估可能无法侦测过度优化"。 - 原始内容:特征缩放、降维等步骤中所需的参数,只可以从训练数据集中获取,并能够应用于测试数据集及新的数据样本,但仅在测试集上对模型进行性能评估或许无法侦测模型是否被过度优化