知识卡片

结构图卡 · 6266

文本集合封装分项词权重

理解等级:中级

本书用TextCollection对文档集合计算tf、idf、tf_idf,减少重复实现;仍要输入一致切词的文档,并明确库采用的公式。当前NLTK 3.9.2所选源码显示TextCollection继承Text,保存文档集合和IDF缓存;idf使用未加1的log(N/df),与本书手写版不同。

结构图:已读当前类的真实继承及相关方法,非全库架构。

classDiagram
 Text <|-- TextCollection
 class Text {
  __init__(self, tokens, name=None)
  vocab(self)
 }
 class TextCollection {
  __init__(self, source)
  tf(self, term, text)
  idf(self, term)
  tf_idf(self, term, text)
 }

tf_idf返回tf与idf的乘积,不能据同名方法假定跨实现数值完全一致;当前源码对空语料的IDF抛错、未命中词返回0。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      tc = nltk.TextCollection(activities) relevant_activities = [] for idx in range(len(activities)): score = 0 for term in [t.lower() for t in QUERY_TERMS]: score += tc.tf_idf(term, ac

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.2 对人类语言使用TF-IDF》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u065-ch04-021)。 - 结论依据:原文在“tc = nltk.TextCollection(activities)”附近的定义、例子或代码支撑本卡核心说明:本书用TextCollection对文档集合计算tf、idf、tf_idf,减少重复实现;仍要输入一致切词的文档,并明确库采用的公式。边界按已读前提解释;示例未执行。 - 原始内容:tc = nltk.TextCollection(activities) relevant_activities = [] for idx in range(len(activities)): score = 0 for term in [t.lower() for t in QUERY_TERMS]: score += tc.tf_idf(term, ac