知识卡片

操作参考卡 · 6335.b

删除缺失行要明确保留门槛

理解等级:中级

DataFrame.dropna默认可删除含任一缺失的行;how=all只删全缺失行,axis=1改为列,thresh要求至少给定数量的非缺失值。选择不同门槛会保留不同样本,删整行还会丢掉其中有效字段。应把规则和删后样本数量一起记录,不能把清理后的表自动视作无偏完整数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      thresh参数实现此目的: In [246]: df = DataFrame(np.random.randn(7, 3)) In [247]: df.ix[:4, 1] = NA; df.ix[:2, 2] = NA In [248]: df In [249]: df.dropna(thresh=3) Out[248]: Out[249]: 0 1 2 0

    参考来源

    - 位置:《利用Python进行数据分析》第5章《滤除缺失数据》(spine283;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0269.html;u122-ch05-036)。 - 结论依据:原文在“thresh参数”附近的定义、例子或代码支撑本卡核心说明:DataFrame.dropna默认可删除含任一缺失的行;how=all只删全缺失行,axis=1改为列,thresh要求至少给定数量的非缺失值。边界按已读前提解释;示例未执行。 - 原始内容:thresh参数实现此目的: In [246]: df = DataFrame(np.random.randn(7, 3)) In [247]: df.ix[:4, 1] = NA; df.ix[:2, 2] = NA In [248]: df In [249]: df.dropna(thresh=3) Out[248]: Out[249]: 0 1 2 0