← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9781.h · 生成模型:DeepSeek-V4.1-Flash

嵌入维度与过拟合

理解等级:高级

先要有基准:全部预测为训练集平均分,在测试集上的均方误差约 1.26。二维嵌入把它降到约 0.89,提升明显,但模型很可能过拟合训练集——维度越高、参数越多,越容易把样本噪声也记住。经验是 2 维反而最好,再加维收益很小甚至变差,说明数据里的有效结构本来就低维。书中尝试在每次梯度更新时把权重向 0 收缩(正则化),并未带来更好结果,说明这里的瓶颈不是权重过大而是数据太稀疏。正确做法是保留验证集做早停与选维,而不是在测试集上反复调参;评估时也始终与均值基准对比,否则无法判断模型是否真的学到了东西。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第23章 推荐系统 · 查看原书依据

      该模型很可能对训练集过拟合。在 EMBED DING_DIM = 2 的情况下,我获取了最佳结果,在测试集上的平均损失约为 0.89。 如果需要更高维的嵌入,则可以尝试 15.8 节使用的正则化方法。

    参考来源

    - 位置:《数据科学入门(第2版)》第23章 推荐系统(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0027.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「该模型很可能对训练集过拟合……」 - 原始内容:该模型很可能对训练集过拟合。在 EMBED DING_DIM = 2 的情况下,我获取了最佳结果,在测试集上的平均损失约为 0.89。 如果需要更高维的嵌入,则可以尝试 15.8 节使用的正则化方法。