知识卡片
单词云与领域停止词
把 300 条评论去掉停用词后画成单词云,字号表示频次,这是最省事的文本可视化。问题也在这里:最大的两个词是 phone 和 bPhone,它们出现最多却几乎不携带信息,整张图几乎没有显示任何信息。
两种修补: - 分组对比。按 1 到 5 星评分把评论分开各画一张,差异才浮出来:5 星评论里突出 seller、brand、recommend,1 星评论里突出 sim、button,可直接指向按钮、电源、SIM 卡这类具体抱怨。 - 领域停止词。删掉 phone、bPhone、ACME 这些对本任务没有区分度的词。它们不是语言层面的虚词,而是在这个语料里到处都是所以没用的词,性质与 IDF 要压制的东西一致。
为什么必须这样处理:单词云的视觉通道只有面积和颜色,不表达词与词的关系,因此它只能承载高频词这一层信息。不控制分组与词表,图再好看也只是把词表重排了一遍。
它的价值在于提出假设:1 星评论里出现 stolen、Venezuela,追查后发现是未经授权的销售商在卖偷来的手机,这才是洞察。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
为了揭示更多的信息,团队可以删除诸如phone、bPhone和ACME这样的词,这些词对于研究不是很有用。相关研究往往将这些词称为特定领域的停止词(domain-specific stop word)。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_008.html)
- 结论依据:9.8 节先展示 300 条评论的词云几乎没有信息,再按星级分组、删除领域停止词后得到可读结论,并给出 stolen 与 Venezuela 的追查案例。
- 原始内容:为了揭示更多的信息,团队可以删除诸如phone、bPhone和ACME这样的词,这些词对于研究不是很有用。相关研究往往将这些词称为特定领域的停止词(domain-specific stop word)。