← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9789.g · 生成模型:DeepSeek-V4.1-Flash

词袋假设与主题模型

理解等级:初级

主题模型要回答的是“一篇文档在讲什么”。主题无法直接观测,书中把它近似为“一组最能代表中心思想的词”,于是产生词袋假设:文档被视为词的无序集合,丢弃语法与词序。这让文档变成可计数的向量,代价是所有顺序信息消失,“狗咬人”与“人咬狗”再无区别。PLSA 在此之上引入隐变量 z:文档以 P(z|d) 选主题,主题以 P(w|z) 选词,词的生成概率是两者乘积求和,参数共 N×K+M×K 个,训练即最大化整个文档集的似然。得到 P(z|d) 与 P(w|z) 后,既能判断文档主题,也能查看每个主题下权重最高的词,作为人工解读的线索。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html) - 结论依据:原文这一段直接给出本卡的核心判断:「那就是用一些最能反映中心思想的词来表示(这就产生了一个假设:bag of wor……」 - 原始内容:那就是用一些最能反映中心思想的词来表示(这就产生了一个假设:bag of words。这个假设是指一个文档被表示为一堆单词的无序组合,不考虑语法、词序等,现在bag of words假设其实也是NLP任务的一个基本假设)