知识卡片
LDA是三层贝叶斯模型
主题模型要解决的是向量空间模型的硬伤:VSM 里词与词完全独立,既处理不了一义多词(同义不同形),也处理不了一词多义。演进分三步:
- LSA:把「词×文档」矩阵做奇异值分解,截取最大的前 K 个特征值,把高维词空间降到低维主题空间。降维顺带滤了噪声,语义相近的词在主题空间里靠拢,缓解一义多词;但一词多义仍在,且计算量大。
- PLSA:用文档、主题、单词三层联合概率刻画语义,靠 EM 迭代推断。它刻画出了主题层,却不是完备的生成模型,且参数规模随文档数增长,容易过拟合。
- LDA:在 PLSA 上加狄利克雷先验超参数 α(文档—主题分布 θ 的先验)与 β(主题—单词分布 φ 的先验),构成文档层、主题层、单词层的三层贝叶斯结构。一致的先验使参数不随语料规模膨胀,从而解决过拟合,泛化更好。
生成过程可理解为:每篇文档先从 Dirichlet(α) 抽一个主题分布 θd,每个主题先从 Dirichlet(β) 抽一个词分布 φz,再对文档中每个词先抽主题 z、再由 φz 抽词 w。实际求解时只有 p(w|d) 可观测,于是用吉布斯采样反复迭代 θ 与 φ 逼近收敛。评估用困惑度,值越低通常主题建模效果越好。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
LDA模型是一个真正意义上完备的概率生成模型,是在PLSA模型的基础上扩展了狄利克雷先验超参数α和β,构建出文档层、主题层、单词层的三层贝叶斯结构模型,解决了PLSA模型中过拟合的问题。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0065.html)
- 结论依据:原文交代 LDA 相对 PLSA 的两处改动(加狄利克雷先验、成三层贝叶斯结构)与所解决的问题(过拟合),是模型定位的关键句。
- 原始内容:LDA模型是一个真正意义上完备的概率生成模型,是在PLSA模型的基础上扩展了狄利克雷先验超参数α和β,构建出文档层、主题层、单词层的三层贝叶斯结构模型,解决了PLSA模型中过拟合的问题。