← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9632.i · 生成模型:DeepSeek-V4.1-Flash

BIC 与后验模型概率

理解等级:高级

BIC 的形式是 −2logL(θ̂)+p·log n,乘以 1⁄2 又称施瓦兹准则。与 AIC 只差把罚金 2 换成 log n:当 n>e²≈7.4 时 log n>2,BIC 对复杂模型罚得更重,更倾向简单模型。形式相近,来路不同——BIC 从贝叶斯角度推出。设候选模型集 M_m、参数 θ_m、先验 Pr(θ_m|M_m),后验正比于边际似然 Pr(Z|M_m) 乘模型先验;两模型后验概率之比中,只含数据的那个比值称贝叶斯因子,大于 1 就选分子那个模型。对边际似然的积分作拉普拉斯近似、再乘 −2,恰得 BIC,故最小 BIC 等价于最大后验概率。附带的好处是:算出所有模型的 BIC 后,还能得到每个模型的后验概率,即相对重要性,而不只是一个冠军。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0002.xhtml,4.2.3 BIC准则) - 结论依据:原文给出 BIC 公式、与 AIC 的 logn 差异及 n>7.4 时惩罚更重的结论,并说明其贝叶斯推导、贝叶斯因子与后验概率。 - 原始内容:可以看出BIC与AIC和Cp 非常类似,只是把 AIC 中的 2 换成了 logn。当n>e2=7.4时,BIC对复杂模型的惩罚更大,更倾向于选取简单的模型。