← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9759.g · 生成模型:DeepSeek-V4.1-Flash

朴素词频法的失效点

理解等级:初级

找“最热门的兴趣”最省事的办法是三步:把所有兴趣标签转成小写、按空格切成词、用计数器统计词频,再列出出现超过一次的词。这足以回答“python、java、big data 被反复提到”,但它对词的边界极其敏感:复合词会被拆开,scikit-learn 变成两个各记一次的怪词;单字母的 r 与普通词混在一起;单复数、同义词、缩写完全合不到一处;出现次数多也不等于话题重要,只是这个标签写得勤。它适合当场给出一个粗略印象,不适合当作主题分析的结论。要处理这些问题需要词干化、同义词表和更复杂的主题模型,那已不是数词频能解决的范围。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 导论 · 查看原书依据

      找到最受欢迎的兴趣的一种简单(并不是特别令人兴奋)的方法是计算兴趣词汇的个数: 小写每个兴趣(因为不同的用户可能不会小写他们的兴趣); 将其分成单词; 数结果。

    参考来源

    - 位置:《数据科学入门(第2版)》第1章 导论(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0005.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「找到最受欢迎的兴趣的一种简单(并不是特别令人兴奋)的方法是计算兴趣词汇的个数: ……」 - 原始内容:找到最受欢迎的兴趣的一种简单(并不是特别令人兴奋)的方法是计算兴趣词汇的个数: 小写每个兴趣(因为不同的用户可能不会小写他们的兴趣); 将其分成单词; 数结果。