← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9441.c · 生成模型:Tencent Hunyuan Hy

缺失值的删除与插补

理解等级:中级

缺失值是字段取值空缺的数据,删除与插补是两种主流处理思路。删除法最简单:缺失记录占比小可直接删行;某变量缺失多且对目标影响小,可整列删除。插补法则试图还原真实分布:均匀分布的特征用均值填充,偏态分布用中位数填充(中心度量填充);更精确的做法是用回归、贝叶斯或决策树等算法,找到与目标客户特征相似的人群,以其月收入推测缺失值(最可能值填充)。边界:删除会损失信息,样本少时慎用;均值/中位数会抹平方差,可能低估不确定性;算法插补依赖特征间真实相关,若无关联则推测失真。反例:把默认填入的“生日1月1日”当作真实值保留,会引入系统性偏差。可迁移启发:先判断缺失机制,再决定删除、填充还是保留标记。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据的准备工作 2.1.2 数据清洗 · 查看原书依据

      在没办法补充数据的情况下,对于数据的缺失值,一般采用删除法或插补法处理。删除法比较简单,如果存在缺失值的数据量不大,则可以直接删除这些缺失的记录。如果某个变量的缺失值较多且对研究目标没有太大影响,则可以将这个变量整体删除。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明“对于数据的缺失值,一般采用删除法或插补法处理”,并给出均值/中位数填充与回归、贝叶斯、决策树推测两种插补形式,支撑本卡对删除与插补的区分。 - 原始内容:在没办法补充数据的情况下,对于数据的缺失值,一般采用删除法或插补法处理。删除法比较简单,如果存在缺失值的数据量不大,则可以直接删除这些缺失的记录。如果某个变量的缺失值较多且对研究目标没有太大影响,则可以将这个变量整体删除。