知识卡片

普通读书笔记卡 · 3878

长尾词频不要套正态直觉

理解等级:中级

Zipf型词频中,少数标签出现很多次,同时有大量标签只出现一两次;这种重尾分布不同于正态分布,尾部并非自动意味着错误。用对数秩与频率检查长尾形态时,还要看点的密集区,不能只凭一条拟合线概括所有词项。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第17章《数据浅析:探索形形色色的社会定型》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0419.xhtml) - 结论依据:原文同时给出头部集中和大量只出现一次的尾部,说明标签词频呈明显长尾;作者也提醒对数图中的大多数点挤在边缘,拟合线不能代替分布判断。 - 原始内容:实际上,我们的数据包含一条很长的长尾:22万个单词,或者词汇的76%只出现一次。