知识卡片

普通读书笔记卡 · 9779.f · 生成模型:DeepSeek-V4.1-Flash

逐词重采样训练 LDA

理解等级:高级

训练先把每个词随机指派一个主题,再统计三套计数:每篇文档中各主题的词数、每个主题中各词的出现次数、每个主题的词总数。随后逐词扫描:先把当前词的旧主题计数减一,使它不参与自己的判断;再以“该主题在这篇文档中的占比 × 该词在该主题中的占比”为权重抽一个新主题;最后把计数加回。反复多轮,两张分布表逐渐稳定。减一这步很关键,否则一个已经很大的主题会不断自我强化。两个概率都加了平滑项,保证任何主题、任何词都不会因为计数为零而被永久排除;K 太大而数据太少时,多出来的主题学不出可解释的词。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第21章 自然语言处理 · 查看原书依据

      对于该单词和文档,我们为每个主题构造权重,具体取决于该文档中主题的(当前)分布和相对于该主题的单词的(当前)分布。然后使用这些权重为该单词选择一个新主题。

    参考来源

    - 位置:《数据科学入门(第2版)》第21章 自然语言处理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0025.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「对于该单词和文档,我们为每个主题构造权重,具体取决于该文档中主题的(当前)分布和……」 - 原始内容:对于该单词和文档,我们为每个主题构造权重,具体取决于该文档中主题的(当前)分布和相对于该主题的单词的(当前)分布。然后使用这些权重为该单词选择一个新主题。