知识卡片
词袋假设与主题模型
主题模型要回答的是“一篇文档在讲什么”。主题无法直接观测,书中把它近似为“一组最能代表中心思想的词”,于是产生词袋假设:文档被视为词的无序集合,丢弃语法与词序。这让文档变成可计数的向量,代价是所有顺序信息消失,“狗咬人”与“人咬狗”再无区别。PLSA 在此之上引入隐变量 z:文档以 P(z|d) 选主题,主题以 P(w|z) 选词,词的生成概率是两者乘积求和,参数共 N×K+M×K 个,训练即最大化整个文档集的似然。得到 P(z|d) 与 P(w|z) 后,既能判断文档主题,也能查看每个主题下权重最高的词,作为人工解读的线索。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(上) · 查看原书依据
那就是用一些最能反映中心思想的词来表示(这就产生了一个假设:bag of words。这个假设是指一个文档被表示为一堆单词的无序组合,不考虑语法、词序等,现在bag of words假设其实也是NLP任务的一个基本假设)
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「那就是用一些最能反映中心思想的词来表示(这就产生了一个假设:bag of wor……」
- 原始内容:那就是用一些最能反映中心思想的词来表示(这就产生了一个假设:bag of words。这个假设是指一个文档被表示为一堆单词的无序组合,不考虑语法、词序等,现在bag of words假设其实也是NLP任务的一个基本假设)