此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
长尾词频不要套正态直觉
Zipf型词频中,少数标签出现很多次,同时有大量标签只出现一两次;这种重尾分布不同于正态分布,尾部并非自动意味着错误。用对数秩与频率检查长尾形态时,还要看点的密集区,不能只凭一条拟合线概括所有词项。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 数据浅析:探索形形色色的社会定型 · 查看原书依据
实际上,我们的数据包含一条很长的长尾:22万个单词,或者词汇的76%只出现一次。
参考来源
- 位置:《数据之美》第17章《数据浅析:探索形形色色的社会定型》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0419.xhtml)
- 结论依据:原文同时给出头部集中和大量只出现一次的尾部,说明标签词频呈明显长尾;作者也提醒对数图中的大多数点挤在边缘,拟合线不能代替分布判断。
- 原始内容:实际上,我们的数据包含一条很长的长尾:22万个单词,或者词汇的76%只出现一次。