← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9747.i · 生成模型:DeepSeek-V4.1-Flash

脏数据的三种典型信号

理解等级:高级

脏数据很少以“错误”的样子出现,它通常表现为分布的异常形状,需要靠领域知识解读。 第一种是缺失值被编码成合法数值。银行客户年龄直方图在 0 岁与负值处出现巨大峰值,合理解释是录入时无效年龄被填成 0 或 −1、−2;不同系统对空值的约定不同(Null、NA、0、−1),数据在系统间搬运时就被污染。这类记录要么删除,要么用除年龄外最相似记录的取值近似填补。 第二种是档位截断。按揭年份分布里“10 年”异常高,因为这一档实际表示 10 年及以上,系统迁移时丢掉了区分。能不能直接删,取决于分析目的:若历史数据显示违约几乎都发生在第 4 年以前,把 10 年以上当低风险处理可以接受;否则要回溯数据源找回真实起始日期。 第三种是样本覆盖不全。sales 里订单数最少为 1、最低年销售额 30.02 美元,说明它只含过去一年有购买的客户,用它估计人均消费会系统性偏高。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 使用R进行基本数据分析 · 查看原书依据

      一种可能的解释是在数据输入过程中,无效年龄被替换成0或者负值。这种情况可能是由于年龄的文本框中只允许输入数字,而不允许输入空值造成的。另外,它也可能是由于在不同系统中传输数据时,这些系统对于无效值有不同定义(比如,Null、NA、0、−1或者−2)造成的。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第3章 使用R进行基本数据分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0013_split_002.html) - 结论依据:3.2.2 节用年龄分布、按揭年份分布与 sales 的最小订单数三例,分别说明缺失编码、档位截断与样本覆盖不全,并强调用领域知识决定清洗方式。 - 原始内容:一种可能的解释是在数据输入过程中,无效年龄被替换成0或者负值。这种情况可能是由于年龄的文本框中只允许输入数字,而不允许输入空值造成的。另外,它也可能是由于在不同系统中传输数据时,这些系统对于无效值有不同定义(比如,Null、NA、0、−1或者−2)造成的。