← 返回刚才阅读的位置

知识卡片

问题卡 · 9445.k · 生成模型:Tencent Hunyuan Hy

词袋子模型困境

理解等级:中级

词袋子模型是朴素贝叶斯独立性假设在文本上的副作用:因为假设词语之间毫无关联,模型缺少对词序的理解——“请基金产品经理看看”与“经理请看看基金产品”词相同、顺序不同,联合概率却被算成一样,仿佛把所有词扔进袋子随便搅和,怎么组合意思都一样。另一个问题是词频被忽视:长文本中词语必然重复(如垃圾邮件里“产品”出现三次),但词袋子模型里重复多少次对整体概率影响都不大,不会因此重点关照,而垃圾邮件恰恰靠大量重复词突出内容,这显然不够智能。用途是识别独立性假设带来的信息损失;边界是该模型只适合用词独立、不重词序词频的粗略场景。启发:模型的前提假设就是它的能力上限。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第6章《垃圾邮件克星:朴素贝叶斯算法》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00011.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文指出“因为朴素贝叶斯假设所有的词语之间都没有关联,所以缺少对词语的组合顺序的理解”,并用两句词序不同却联合概率相同的例子,以及“无论一个词语重复了多少遍,对整体概率的计算都没有多大的影响”说明词袋子困境。 - 原始内容:我们仔细思考后会发现,因为朴素贝叶斯假设所有的词语之间都没有关联,所以缺少对词语的组合顺序的理解。在这种情况下,如果一封邮件只有“请基金产品经理看看”这句话,那么在计算联合概率时你会发现