← 返回刚才阅读的位置

知识卡片

问题卡 · 9441.j · 生成模型:Tencent Hunyuan Hy

过拟合与降维的必要性

理解等级:中级

过拟合指模型在训练集上表现“太好”、完美贴合训练数据,却在新数据上表现很差,原因是它把训练集中偶然的、本不该考虑的细节也学了进去。章中举例:训练识别“背包”的模型时,若因训练样本里背包多带拉链,就把“无拉链”判为非背包,这就是过拟合。当特征数量多于样本数量时,每个样本在高维空间里都显得独特、彼此分散,极易发生过拟合,因此对高维数据降维必不可少。边界:降维能缓解但非根治,过拟合还可能来自噪声、训练不足或模型复杂度过高,需配合正则、更多数据等手段。反例:盲目保留上千特征只用几百样本训练,模型看似完美实则脆弱。可迁移启发:警惕“过于完美”的训练成绩,用新数据检验泛化能力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文定义过拟合为“训练出来的模型太好了……但是在新数据上的表现却差强人意”,并指出特征多于样本会造成过拟合,支撑本卡对降维必要性的说明。 - 原始内容:通俗地讲就是训练出来的模型“太好了”,模型能够完美适应训练集数据,但是在新数据上的表现却差强人意。因为它把训练集中一些本不该考虑的问题也考虑了进来。