知识卡片
频数分布先暴露数据脏点
众包表单会混入换行符、文本、格式错误值乃至重复灌入。先查看频数分布,罕见值常能暴露格式问题或绕过规则的行为,再按明确规则清洗;同时保留可追溯的原值,避免把真实的稀有观测误当噪声删掉。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 数据浅析:探索形形色色的社会定型 · 查看原书依据
看看在sort|uniq-c|sort-nr之后,直方图的最底部的数据值,就可以很容易地暴露出数据上存在的bug,因为它们通常会展现为游离点。
参考来源
- 位置:《数据之美》第17章《数据浅析:探索形形色色的社会定型》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0416.xhtml)
- 结论依据:原文用频数排序发现换行符及异常文本等错误输入,并指出人工数据集必然含杂乱离群点,支持先以简单分布诊断再清理。
- 原始内容:看看在sort|uniq-c|sort-nr之后,直方图的最底部的数据值,就可以很容易地暴露出数据上存在的bug,因为它们通常会展现为游离点。