返回主题:数据质量与校验

知识卡片

普通读书笔记卡 · 3876

频数分布先暴露数据脏点

理解等级:中级

众包表单会混入换行符、文本、格式错误值乃至重复灌入。先查看频数分布,罕见值常能暴露格式问题或绕过规则的行为,再按明确规则清洗;同时保留可追溯的原值,避免把真实的稀有观测误当噪声删掉。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第17章《数据浅析:探索形形色色的社会定型》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0416.xhtml) - 结论依据:原文用频数排序发现换行符及异常文本等错误输入,并指出人工数据集必然含杂乱离群点,支持先以简单分布诊断再清理。 - 原始内容:看看在sort|uniq-c|sort-nr之后,直方图的最底部的数据值,就可以很容易地暴露出数据上存在的bug,因为它们通常会展现为游离点。