知识卡片

普通读书笔记卡 · 9788.a · 生成模型:DeepSeek-V4.1-Flash

用经验风险逼近期望风险

理解等级:高级

理想目标是让期望风险最小,即设计的模型与真实模型的平均误差最小;但真实模型未知,这个期望根本算不出来。可操作的做法是取一批人工标注好的输入输出对,用标注值替代真实模型的输出,在样本上求平均损失得到经验风险,再对它最小化。依据是大数定理:样本趋于无穷时,样本上的平均误差收敛到真实期望。这个替换有明确代价:样本永远有限,当模型参数多、复杂度过高时,它可以把训练样本拟合到几乎无误差,换到未见数据上却错得厉害,这就是过拟合;训练集上都拟合不好则叫欠拟合。所以经验风险最小化只在样本量相对模型复杂度足够大时才可靠,泛化能力是样本量与复杂度之间的一场交易。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第2章 我们生活在一个寻求最优解的世界里(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00007.html) - 结论依据:原文这一段直接给出本卡的核心判断:「但是,我们的样本对有限,这就导致经验风险估计期望风险并不理想,会产生过拟合现象。……」 - 原始内容:但是,我们的样本对有限,这就导致经验风险估计期望风险并不理想,会产生过拟合现象。过拟合现象就是你把样本数据拟合的太完美,也可以说是模型复杂度很高,然而到未知数据中却拟合的很差