知识卡片
朴素词频法的失效点
找“最热门的兴趣”最省事的办法是三步:把所有兴趣标签转成小写、按空格切成词、用计数器统计词频,再列出出现超过一次的词。这足以回答“python、java、big data 被反复提到”,但它对词的边界极其敏感:复合词会被拆开,scikit-learn 变成两个各记一次的怪词;单字母的 r 与普通词混在一起;单复数、同义词、缩写完全合不到一处;出现次数多也不等于话题重要,只是这个标签写得勤。它适合当场给出一个粗略印象,不适合当作主题分析的结论。要处理这些问题需要词干化、同义词表和更复杂的主题模型,那已不是数词频能解决的范围。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 导论
原书出处 · 1 处
- 第1章 导论 · 查看原书依据
找到最受欢迎的兴趣的一种简单(并不是特别令人兴奋)的方法是计算兴趣词汇的个数: 小写每个兴趣(因为不同的用户可能不会小写他们的兴趣); 将其分成单词; 数结果。
参考来源
- 位置:《数据科学入门(第2版)》第1章 导论(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0005.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「找到最受欢迎的兴趣的一种简单(并不是特别令人兴奋)的方法是计算兴趣词汇的个数: ……」
- 原始内容:找到最受欢迎的兴趣的一种简单(并不是特别令人兴奋)的方法是计算兴趣词汇的个数: 小写每个兴趣(因为不同的用户可能不会小写他们的兴趣); 将其分成单词; 数结果。