知识卡片
LDA 的三层生成故事
LDA 假设每篇文档是“先定主题比例,再按主题挑词”的产物:全库固定 K 个主题;每个主题有一张词的分布,表示这个主题爱用哪些词;每篇文档有一张主题分布,表示各主题占多大比重。生成一个词时,先从文档的主题分布抽一个主题,再从该主题的词分布抽一个词。模型要学的就是这两张表,而观测到的只有词,主题是隐藏变量。两个前提必须记住:K 要事先给定,词序被完全忽略(词袋假设),所以它抓的是共现关系而非句法。主题本身只是编号,必须回看权重最高的词,由人来起名字。
结构图:
flowchart TD
A["取下一篇文档"] --> B["按文档的主题分布抽主题 k"]
B --> C["按主题 k 的词分布抽词 w"]
C --> D["写入文档"]
D --> A
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 自然语言处理 · 查看原书依据
文档中的每个单词都是通过首先(从文档的主题分布中)随机选择一个主题,然后(从主题的单词分布中)随机选择一个单词来生成的。
参考来源
- 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「文档中的每个单词都是通过首先(从文档的主题分布中)随机选择一个主题,然后(从主题……」
- 原始内容:文档中的每个单词都是通过首先(从文档的主题分布中)随机选择一个主题,然后(从主题的单词分布中)随机选择一个单词来生成的。