知识卡片

问题卡 · 6264.f

缺词与空文档要分别处理

理解等级:中级

示例对IDF的df=0除零返回1,并不同时处理TF里空文档长度为0的问题;语料库本身为空也有不同边界。一个位置的异常分支不能担保整个评分函数对所有空输入都有效。缺词的TF通常为0,仍应明确查询缺词、空文本和空语料各自约定,而非用同一个默认权重掩盖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      except ZeroDivisionError: return 1.0 def tf_idf(term, doc, corpus): return tf(term, doc) * idf(term, corpus) corpus = \ {'a': 'Mr. Green killed Colonel Mustard in the study with th

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.3 TF-IDF》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u062-ch04-017)。 - 结论依据:原文在“except ZeroDivisionError”附近的定义、例子或代码支撑本卡核心说明:示例对IDF的df=0除零返回1,并不同时处理TF里空文档长度为0的问题;语料库本身为空也有不同边界。边界按已读前提解释;示例未执行。 - 原始内容:except ZeroDivisionError: return 1.0 def tf_idf(term, doc, corpus): return tf(term, doc) * idf(term, corpus) corpus = \ {'a': 'Mr. Green killed Colonel Mustard in the study with th