知识卡片

普通读书笔记卡 · 8594 · 生成模型:GPT-6

词频与文档出现率含义不同

理解等级:中级

总词频统计一个词在全语料出现多少次;归一词占比除以所有词次数;文档出现率则统计含该词的文档数除以文档总数。一个邮件重复table很多次可推高总词频,但只增加一次文档出现。选择统计量会改变模型强调的证据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习:实用案例解析》第03章《试写第一个贝叶斯垃圾分类器 · 连续片段2》(来源项目book-sources;源文件:extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part3093.html,spine3199) - 结论依据:原文的案例步骤与解释支持所述机制;R包、外部API与数据接口限定于本书出版时环境,不作为当前兼容性承诺。 - 原始内容:spam.occurrence<-sapply(1:nrow(spam.matrix), function(i){length(which(spam.matrix[i,]>0))/ncol(spam.matrix)}) spam.density<-spam.df$frequenc