← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9410.c · 生成模型:Tencent Hunyuan Hy

tf-idf

理解等级:中级

频繁出现于多类文档的单词缺乏辨识度。tf-idf(词频-逆文档频率)= tf(t,d) × idf(t,d),其中 idf = log(n_d / df(d,t)),n_d 为文档总数、df 为含词 t 的文档数;分母加常数1避免零除,取对数防止低频词权重过大。scikit-learn 的 TfidfTransformer 以原始词频为输入转 tf-idf,实现为 tf×(idf+1),并默认 L2 归一化使向量长度为1。例中 is 因在三篇文档都出现,tf-idf 被压低,体现其降权高频词的作用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第8章《8.2.2 通过词频-逆文档频率计算单词关联度》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0109.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:tf-idf可以定义为词频与逆文档频率的乘积