知识卡片

普通读书笔记卡 · 9922.a · 生成模型:GPT-6

证据分成下界与后验差距

理解等级:高级

观测对数似然等于证据下界加上代理分布到真实后验的 KL 散度。散度非负,因此可提高下界来寻找更好的模型。EM 的 E 步在可计算时用旧参数下的真实后验使差距为零,M 步固定分布提高期望完整数据对数似然。

其中最大化的期望项来自[[完整数据似然含隐变量]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习公式详解》第14章 概率图模型(book-source:`extracted/机器学习公式详解/_epub-src/text/part0020.html`,式(14.29)) - 结论依据:式(14.29)至(14.34)先边缘化隐变量,再用任意代理分布展开边缘对数似然。 - 原始内容:此式中,连乘号是因为个变量的生成过程相互独立,求和号是因为每个变量的生成过程需要考虑中间隐变量的所有可能性.