← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9789.h · 生成模型:DeepSeek-V4.1-Flash

隐变量模型的近似求解

理解等级:高级

PLSA 的似然里自变量藏在“对数求和”中,参数互相耦合,加上主题 z 不可观测,直接求导无解。EM 的思路是:既然无法直接最大化 L(θ),就构造它的一个下界(隐变量后验下的期望),交替执行 E 步(用当前参数算隐变量后验)与 M 步(最大化下界更新参数),每轮抬高下界,逼近局部最优。代价是结果依赖初始化,只能保证局部解。LDA 在 PLSA 上给参数加 Dirichlet 先验(其参数即超参数),利用 Dirichlet 与 Multinomial 的共轭性,使后验与先验同形式、只是参数不同,从而抑制过拟合;但后验仍无法解析求出,只能再用变分 EM 找近似分布 Q,或用 Gibbs 采样逐维条件抽样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html) - 结论依据:原文这一段直接给出本卡的核心判断:「EM算法就是根据已经观察到的变量对隐藏变量进行学习的方法。既然没办法最大化L(θ……」 - 原始内容:EM算法就是根据已经观察到的变量对隐藏变量进行学习的方法。既然没办法最大化L(θ),那么L(θ)总该有个下限吧。我们优化这个下限,不断迭代提高这个下限,就可以得到近似最优解了。