知识卡片
一个异常值拖垮相关系数
相关系数建立在均值与标准差之上,因此继承了它们对离群点的敏感。书中 204 个用户里有一个“100 个朋友却每天只花 1 分钟”的点,它把相关系数压到 0.25 左右,看起来几乎无关;剔除这一个点后升到 0.57,关系立刻清晰。进一步查证发现那是内部测试账号,删除才有依据。教训有两层:一是先看图再信数字,单看系数会误判;二是删点必须能从数据来源上给出理由,否则“删掉不顺眼的观测”就变成了制造结论——这正是 7.5 节 p-hacking 的一种形式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 统计学
原书出处 · 1 处
- 第5章 统计学 · 查看原书依据
图中有 100 个朋友(每天只在网站上花费 1 分钟)的用户明显是一个异常值,相关系数对异常值非常敏感。如果忽略这个用户,该怎么做呢?
参考来源
- 位置:《数据科学入门(第2版)》第5章 统计学(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0009.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「图中有 100 个朋友(每天只在网站上花费 1 分钟)的用户明显是一个异常值,相……」
- 原始内容:图中有 100 个朋友(每天只在网站上花费 1 分钟)的用户明显是一个异常值,相关系数对异常值非常敏感。如果忽略这个用户,该怎么做呢?