知识卡片
均值填补不会恢复真实观测
用已有有效值的均值或中位数替换缺失,可以保留记录,但填入的是模型化替代值,不是找回真实数据。它会影响分布与后续统计,尤其不能再把填补结果当作独立新增观测支持原均值。记录哪些位置被替换及替代规则,才能解释分析边界。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- · 查看原书依据
data.fillna(data.mean()) Out[260]: 0 1.000000 1 3.833333 2 3.500000 3 3.833333 4 7.000000 表5-13列出了fillna的参数参考。
- · 查看原书依据
分组平均值去填充NA值,如下所示: In [115]: fill_mean = lambda g: g.fillna(g.mean()) In [116]: data.groupby(group_key).apply(fill_mean) Out[116]: Ohio 0.922264 New York -2.153545 Vermont -0.535707
参考来源
- 位置:《利用Python进行数据分析》第5章《填充缺失数据》(spine283;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0269.html;u123-ch05-038)。
- 结论依据:原文在“data.fillna(data.mean())”附近的定义、例子或代码支撑本卡核心说明:用已有有效值的均值或中位数替换缺失,可以保留记录,但填入的是模型化替代值,不是找回真实数据。边界按已读前提解释;示例未执行。
- 原始内容:data.fillna(data.mean()) Out[260]: 0 1.000000 1 3.833333 2 3.500000 3 3.833333 4 7.000000 表5-13列出了fillna的参数参考。
- 位置:《利用Python进行数据分析》第9章《示例:用特定于分组的值填充缺失值》(spine305;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0291.html;u204-ch05-038)。
- 结论依据:按East/West分别求均值填NA,让填补基准随组变化;填入的仍是估计值,并不恢复缺失州的真实观测。
- 原始内容:分组平均值去填充NA值,如下所示: In [115]: fill_mean = lambda g: g.fillna(g.mean()) In [116]: data.groupby(group_key).apply(fill_mean) Out[116]: Ohio 0.922264 New York -2.153545 Vermont -0.535707