← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9788.e · 生成模型:DeepSeek-V4.1-Flash

最大后验只取后验的峰

理解等级:高级

贝叶斯派认为参数本身也是随机变量,有先验分布 p(θ),看到数据后真正关心的是后验 p(θ|x)。求后验要对所有参数取值积分做归一化,计算量往往不可接受;但归一化因子与”哪个 θ 最好”无关,于是退一步,只找后验概率最大的 θ,这就是最大后验估计:最大化”似然 × 先验”。多出的先验项在数学上就是一个正则项,所以最大似然对应经验风险最小化、最大后验对应结构风险最小化。两者的关系有明确极限:样本足够多时先验被数据淹没,二者趋于一致;样本为零时结论完全由先验决定,正如推荐系统对毫无历史的新用户只能先推热门内容。代价是先验必须人为设定,给得不合适就会把偏差带进结果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第2章 我们生活在一个寻求最优解的世界里(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00007.html) - 结论依据:原文这一段直接给出本卡的核心判断:「最大后验估计相比最大似然估计,只是多了一项先验概率,它正好体现了贝叶斯认为参数也……」 - 原始内容:最大后验估计相比最大似然估计,只是多了一项先验概率,它正好体现了贝叶斯认为参数也是随机变量的观点,在实际运算中,通常通过超参数给出先验分布。