知识卡片

普通读书笔记卡 · 9812.t · 生成模型:DeepSeek-V4.1-Flash

LDA是三层贝叶斯模型

理解等级:高级

主题模型要解决的是向量空间模型的硬伤:VSM 里词与词完全独立,既处理不了一义多词(同义不同形),也处理不了一词多义。演进分三步:

  1. LSA:把「词×文档」矩阵做奇异值分解,截取最大的前 K 个特征值,把高维词空间降到低维主题空间。降维顺带滤了噪声,语义相近的词在主题空间里靠拢,缓解一义多词;但一词多义仍在,且计算量大。
  2. PLSA:用文档、主题、单词三层联合概率刻画语义,靠 EM 迭代推断。它刻画出了主题层,却不是完备的生成模型,且参数规模随文档数增长,容易过拟合。
  3. LDA:在 PLSA 上加狄利克雷先验超参数 α(文档—主题分布 θ 的先验)与 β(主题—单词分布 φ 的先验),构成文档层、主题层、单词层的三层贝叶斯结构。一致的先验使参数不随语料规模膨胀,从而解决过拟合,泛化更好。

生成过程可理解为:每篇文档先从 Dirichlet(α) 抽一个主题分布 θd,每个主题先从 Dirichlet(β) 抽一个词分布 φz,再对文档中每个词先抽主题 z、再由 φz 抽词 w。实际求解时只有 p(w|d) 可观测,于是用吉布斯采样反复迭代 θ 与 φ 逼近收敛。评估用困惑度,值越低通常主题建模效果越好。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 搜索系统框架及原理 · 查看原书依据

      LDA模型是一个真正意义上完备的概率生成模型,是在PLSA模型的基础上扩展了狄利克雷先验超参数α和β,构建出文档层、主题层、单词层的三层贝叶斯结构模型,解决了PLSA模型中过拟合的问题。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0065.html) - 结论依据:原文交代 LDA 相对 PLSA 的两处改动(加狄利克雷先验、成三层贝叶斯结构)与所解决的问题(过拟合),是模型定位的关键句。 - 原始内容:LDA模型是一个真正意义上完备的概率生成模型,是在PLSA模型的基础上扩展了狄利克雷先验超参数α和β,构建出文档层、主题层、单词层的三层贝叶斯结构模型,解决了PLSA模型中过拟合的问题。