← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9753.p · 生成模型:DeepSeek-V4.1-Flash

单词云与领域停止词

理解等级:中级

把 300 条评论去掉停用词后画成单词云,字号表示频次,这是最省事的文本可视化。问题也在这里:最大的两个词是 phone 和 bPhone,它们出现最多却几乎不携带信息,整张图几乎没有显示任何信息。

两种修补: - 分组对比。按 1 到 5 星评分把评论分开各画一张,差异才浮出来:5 星评论里突出 seller、brand、recommend,1 星评论里突出 sim、button,可直接指向按钮、电源、SIM 卡这类具体抱怨。 - 领域停止词。删掉 phone、bPhone、ACME 这些对本任务没有区分度的词。它们不是语言层面的虚词,而是在这个语料里到处都是所以没用的词,性质与 IDF 要压制的东西一致。

为什么必须这样处理:单词云的视觉通道只有面积和颜色,不表达词与词的关系,因此它只能承载高频词这一层信息。不控制分组与词表,图再好看也只是把词表重排了一遍。

它的价值在于提出假设:1 星评论里出现 stolen、Venezuela,追查后发现是未经授权的销售商在卖偷来的手机,这才是洞察。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_008.html) - 结论依据:9.8 节先展示 300 条评论的词云几乎没有信息,再按星级分组、删除领域停止词后得到可读结论,并给出 stolen 与 Venezuela 的追查案例。 - 原始内容:为了揭示更多的信息,团队可以删除诸如phone、bPhone和ACME这样的词,这些词对于研究不是很有用。相关研究往往将这些词称为特定领域的停止词(domain-specific stop word)。