知识卡片
五成缺失仍插补中位数合理吗
问题:x1~x2 有 27 442 个缺失,占 44 385 人的 50.56%,删行等于删掉一半用户,删列等于丢掉一半信息。原文选择中位数插补,理由是这类“使用强度”变量右偏、中位数稳健,而树模型只看分裂阈值,插补带来的位移影响有限。代价必须说清:五成缺失已经逼近“随机缺失”假设的极限,如果缺失本身与标签相关(例如从不使用该类 APP 的人本来就没有这些指标),插补会把“没发生”伪装成“中等强度”,系统性削弱信号。更稳的替代是加缺失指示变量、改用原生支持缺失分裂的树模型,或对比插补前后的准确率与变量重要性做敏感性检查。所以 81.77% 应理解为该口径下的结果,而非模型上限,参见 [[用前23天预测后7天]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 大数据案例分析 · 查看原书依据
x1~x2 分别存在27 442 个缺失,占总用户数的 50.56%。x6~x8 也存在缺失的情形,缺失数据分别占总用户数的19.78%,3.7%,1.6%。对自变量中的缺失值使用中位数插补法
参考来源
- 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0001.xhtml,10.1.2 APP使用情况预测)
- 结论依据:原文指出 x1~x2 缺失占 50.56%,对自变量缺失值使用中位数插补,并提示读者可尝试其他缺失数据处理方法。
- 原始内容:x1~x2 分别存在27 442 个缺失,占总用户数的 50.56%。x6~x8 也存在缺失的情形,缺失数据分别占总用户数的19.78%,3.7%,1.6%。对自变量中的缺失值使用中位数插补法