知识卡片

普通读书笔记卡 · 6264.e

词项评分不自动消除语料偏差

理解等级:中级

小样本里the只出现在文档a,IDF反而较高,所以查询the green plant的TF-IDF累加仍让a超过b;这不证明a在语义上更相关。权重反映当前语料的分布,不保证词的语言学重要性或解决停用词、上下文和短语问题,应结合样本范围作定性检查。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      the green plant” 虽然词语的IDF计算是针对整个语料库的,我们还是在每个文档的TF值之后均显示了它们,这样就可以跳过若干行并把两个值相乘从而很容易对TF-IDF结果进行验证。而且,值得你花几分钟时间熟悉表中的数据,这样可以了解计算的具体过程了。鉴于不考虑文档中单词的邻近和顺序,当完成查询时你会发现TF-IDF是十分强大的。 表4-4:TF-I

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.3 TF-IDF》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u062-ch04-016)。 - 结论依据:原文在“the green plant”附近的定义、例子或代码支撑本卡核心说明:小样本里the只出现在文档a,IDF反而较高,所以查询the green plant的TF-IDF累加仍让a超过b;这不证明a在语义上更相关。边界按已读前提解释;示例未执行。 - 原始内容:the green plant” 虽然词语的IDF计算是针对整个语料库的,我们还是在每个文档的TF值之后均显示了它们,这样就可以跳过若干行并把两个值相乘从而很容易对TF-IDF结果进行验证。而且,值得你花几分钟时间熟悉表中的数据,这样可以了解计算的具体过程了。鉴于不考虑文档中单词的邻近和顺序,当完成查询时你会发现TF-IDF是十分强大的。 表4-4:TF-I