知识卡片
零权重向量需要独立处置
短小语料或过滤规则可能使一篇文本所有词项权重都为0,例如未平移IDF下所有词都覆盖全部文档。这样的向量不能用非零范数作余弦分母,即使原文非空也一样;应先检查向量和所选库行为,再按任务定义缺乏可比较特征的结果,不能把非空字符串当作余弦必有效的保证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
tc.tf_idf(term, post) #建立向量,使相同单词的分数在相同的位置 distances = {} for (title1, url1) in td_matrix.keys(): distances[(title1, url1)] = {} (min_dist, most_similar) = (1.0, ('', '')) for (tit
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.3 寻找相似文档》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u066-ch04-027)。
- 结论依据:原文在“tc.tf_idf(term, post)”附近的定义、例子或代码支撑本卡核心说明:短小语料或过滤规则可能使一篇文本所有词项权重都为0,例如未平移IDF下所有词都覆盖全部文档。边界按已读前提解释;示例未执行。
- 原始内容:tc.tf_idf(term, post) #建立向量,使相同单词的分数在相同的位置 distances = {} for (title1, url1) in td_matrix.keys(): distances[(title1, url1)] = {} (min_dist, most_similar) = (1.0, ('', '')) for (tit