知识卡片

操作参考卡 · 9747.j · 生成模型:DeepSeek-V4.1-Flash

缺失值的检测与处理

理解等级:中级

is.na() 逐个元素判断是否缺失,返回逻辑向量;对含 NA 的向量做算术,结果会“传染”成 NA,所以 mean(x) 得到 NA。 两种处理方式: - 计算时临时剔除:mean(x, na.rm=TRUE),只影响这一次调用,数据本身不变。 - 返回时剔除整条记录:na.exclude(DF) 去掉含缺失值的行,用于后续建模的数据准备。 剔除之前要判断缺失是否随机。若缺失集中在某个群体(比如高收入客户不愿填收入),直接删除会让样本有偏,此时应考虑填补:用除该变量外最相似记录的取值近似,或把缺失单独作为一类。删除的代价是样本量下降,填补的代价是引入假设,两者都要在结论里说明。 还要区分“真缺失”与“被编码成 0 或负值的缺失”,后者 is.na() 检测不出来,只能靠分布形状和业务规则发现,年龄直方图在 0 处的峰值就是典型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第3章 使用R进行基本数据分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0013_split_002.html) - 结论依据:3.2.2 节演示 is.na() 的判断结果、na.rm=TRUE 与 na.exclude() 两种剔除方式,并讨论近邻近似填补与按业务规则清洗。 - 原始内容:当一些算术函数,比如mean(),应用到含有缺失值的数据时,会产生NA的结果。为了防止这种情况的发生,可以在函数执行期间设置na.rm参数为TRUE,以移除缺失值。