知识卡片
tf-idf
频繁出现于多类文档的单词缺乏辨识度。tf-idf(词频-逆文档频率)= tf(t,d) × idf(t,d),其中 idf = log(n_d / df(d,t)),n_d 为文档总数、df 为含词 t 的文档数;分母加常数1避免零除,取对数防止低频词权重过大。scikit-learn 的 TfidfTransformer 以原始词频为输入转 tf-idf,实现为 tf×(idf+1),并默认 L2 归一化使向量长度为1。例中 is 因在三篇文档都出现,tf-idf 被压低,体现其降权高频词的作用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用机器学习进行情感分析 · 查看原书依据
tf-idf可以定义为词频与逆文档频率的乘积
参考来源
- 位置:《Python机器学习》第8章《8.2.2 通过词频-逆文档频率计算单词关联度》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0109.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:tf-idf可以定义为词频与逆文档频率的乘积