知识卡片

普通读书笔记卡 · 9753.m · 生成模型:DeepSeek-V4.1-Flash

LDA的三条硬假设

理解等级:高级

LDA 是生成式概率模型:它假设观测到的文档是某个含隐藏变量的生成过程的产物,然后把问题反过来,由文档推断隐藏变量。

三条假设决定了它的行为: - 词汇表固定,主题数 K 预先设定且保持不变。K 太小会把不同题材压成一个,K 太大则把同一题材切碎,选 K 是主要调参成本。 - 每个主题在词汇上服从狄利克雷分布。这个先验偏向稀疏,使一个主题只集中在少数词上,避免所有主题长得一样。 - 每篇文档是潜在主题的随机混合:先按比例抽主题,再从该主题的词分布里抽词。

推断什么:现实中只有文档可见,主题本身、每篇的主题比例、每个词被分到哪个主题都要估,属于后验推断,可看作用后验分布对相似文档分组的层次贝叶斯估计。常用 collapsed Gibbs 采样求解,R 的 lda 包与 Python 的 gensim 都有实现。

局限:继承词袋假设,语序与句法全丢;短文本共现太少,主题不稳;主题的语义仍需人工命名。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_006.html) - 结论依据:9.6 节说明 LDA 是生成概率模型、固定词汇与预设主题数、主题服从狄利克雷分布、文档为主题随机混合,并把求解描述为后验推断。 - 原始内容:LDA假定有一个固定的词汇,潜在主题的数目是预定义的而且保持不变。LDA假设每个潜在主题在词汇上都服从狄利克雷分布(Dirichlet distribution)[30],则每个文档就被表示为潜在主题的一个随机混合。