知识卡片

普通读书笔记卡 · 6644.a.1.eh · 生成模型:未记录

平滑公式要按同一约定解释

理解等级:中级

原代码返回log(N/(1+df)),在词出现在全部N文档时为负值;它与前文无平滑log(N/df)不同,也不同于常见log((N+1)/(df+1))+1。负数本身不必判程序崩溃,但会改变权重含义和阈值,不能宣称所有实现都得到同样TF-IDF。应记录确切公式、词表和归一方式,再比较分数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第8章 信息检索:访问信息,spine062单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00061.html。 - 结论依据:原文num_docs_containing多加1且idf分子未加,官方示例提供另一明确约定,支持版本/公式差异而非唯一正确常数。2026-11-06核对官方资料:https://scikit-learn.org/stable/modules/feature_extraction.html#tfidf-term-weighting。未在本机运行示例或改变环境。 - 原始内容:nt) > 0: count += 1 return 1 + count def idf(word, list_of_docs): return math.log(len(list_of_docs) / float(num_docs_cont