知识卡片

普通读书笔记卡 · 6335.d

均值填补不会恢复真实观测

理解等级:中级

用已有有效值的均值或中位数替换缺失,可以保留记录,但填入的是模型化替代值,不是找回真实数据。它会影响分布与后续统计,尤其不能再把填补结果当作独立新增观测支持原均值。记录哪些位置被替换及替代规则,才能解释分析边界。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • · 查看原书依据

      data.fillna(data.mean()) Out[260]: 0 1.000000 1 3.833333 2 3.500000 3 3.833333 4 7.000000 表5-13列出了fillna的参数参考。

    • · 查看原书依据

      分组平均值去填充NA值,如下所示: In [115]: fill_mean = lambda g: g.fillna(g.mean()) In [116]: data.groupby(group_key).apply(fill_mean) Out[116]: Ohio 0.922264 New York -2.153545 Vermont -0.535707

    参考来源

    - 位置:《利用Python进行数据分析》第5章《填充缺失数据》(spine283;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0269.html;u123-ch05-038)。 - 结论依据:原文在“data.fillna(data.mean())”附近的定义、例子或代码支撑本卡核心说明:用已有有效值的均值或中位数替换缺失,可以保留记录,但填入的是模型化替代值,不是找回真实数据。边界按已读前提解释;示例未执行。 - 原始内容:data.fillna(data.mean()) Out[260]: 0 1.000000 1 3.833333 2 3.500000 3 3.833333 4 7.000000 表5-13列出了fillna的参数参考。 - 位置:《利用Python进行数据分析》第9章《示例:用特定于分组的值填充缺失值》(spine305;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0291.html;u204-ch05-038)。 - 结论依据:按East/West分别求均值填NA,让填补基准随组变化;填入的仍是估计值,并不恢复缺失州的真实观测。 - 原始内容:分组平均值去填充NA值,如下所示: In [115]: fill_mean = lambda g: g.fillna(g.mean()) In [116]: data.groupby(group_key).apply(fill_mean) Out[116]: Ohio 0.922264 New York -2.153545 Vermont -0.535707