知识卡片
逐词重采样训练 LDA
训练先把每个词随机指派一个主题,再统计三套计数:每篇文档中各主题的词数、每个主题中各词的出现次数、每个主题的词总数。随后逐词扫描:先把当前词的旧主题计数减一,使它不参与自己的判断;再以“该主题在这篇文档中的占比 × 该词在该主题中的占比”为权重抽一个新主题;最后把计数加回。反复多轮,两张分布表逐渐稳定。减一这步很关键,否则一个已经很大的主题会不断自我强化。两个概率都加了平滑项,保证任何主题、任何词都不会因为计数为零而被永久排除;K 太大而数据太少时,多出来的主题学不出可解释的词。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 自然语言处理 · 查看原书依据
对于该单词和文档,我们为每个主题构造权重,具体取决于该文档中主题的(当前)分布和相对于该主题的单词的(当前)分布。然后使用这些权重为该单词选择一个新主题。
参考来源
- 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「对于该单词和文档,我们为每个主题构造权重,具体取决于该文档中主题的(当前)分布和……」
- 原始内容:对于该单词和文档,我们为每个主题构造权重,具体取决于该文档中主题的(当前)分布和相对于该主题的单词的(当前)分布。然后使用这些权重为该单词选择一个新主题。