知识卡片

普通读书笔记卡 · 6338.k

缺失值是信号

理解等级:未标注

从不齐全记录构建表格时,缺字段会表现为缺失观测;填充是为后续操作指定一个替代语义,不等于找回了原始信息。本例将缺失标为Missing,再把原本存在的空字符串标为Unknown,让两类情况可分别统计。任意数值填充或删除也应说明其假设,不能只以表面完整为目标。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 5 处

    • · 查看原书依据

      fillna函数可以替换缺失值(NA),而未知值(空字符串)则可以通过布尔型数组索引加以替换: In [296]: clean_tz = frame['tz'].fillna('Missing') In [297]: clean_tz[clean_tz == ''] = 'Unknown' In [298]: tz_counts = clean_tz.val

    • · 查看原书依据

      NaN 2007 1 NaN 2008 1 NaN 2009 1 NaN 2010 1 NaN 现在,我们就可以轻松绘制一张分性别的年度曲线图了(如图2-10所示): In [425]: table.plot(style={'M': 'k-', 'F': 'k--'}) 图2-10:各年度使用“Lesley型”名字的男女比例 译注6:如下链接可能不可用,读者

    • · 查看原书依据

      pd.isnull(obj4) In [27]: pd.notnull(obj4) Out[26]: Out[27]: California True California False Ohio False Ohio True Oregon False Oregon True Texas False Texas True Series也有类似的实例方法: I

    • · 查看原书依据

      不重叠的索引处引入了NA值译注3。缺失值会在算术运算过程中传播。 对于DataFrame,对齐操作会同时发生在行和列上: In [131]: df1 = DataFrame(np.arange(9.).reshape((3, 3)), columns=list('bcd'), ...: index=['Ohio', 'Texas', 'Colorado'])

    • · 查看原书依据

      None值也会被当做NA处理: In [232]: string_data[0] = None In [233]: string_data.isnull() Out[233]: 0 True 1 False 2 True 3 False 我不敢说pandas的NA表现形式是最优的,但它确实很简单也很可靠。由于NumPy的数据类型体系中缺乏真正的NA数据类型或

    参考来源

    《利用Python进行数据分析》第5章《pandas入门》 - 位置:《利用Python进行数据分析》第2章《用pandas对时区进行计数》(spine257;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0243.html;u033-ch05-005)。 - 结论依据:原文在“fillna函数可以替换缺失值”附近的定义、例子或代码支撑本卡核心说明:从不齐全记录构建表格时,缺字段会表现为缺失观测;填充是为后续操作指定一个替代语义,不等于找回了原始信息。边界按已读前提解释;示例未执行。 - 原始内容:fillna函数可以替换缺失值(NA),而未知值(空字符串)则可以通过布尔型数组索引加以替换: In [296]: clean_tz = frame['tz'].fillna('Missing') In [297]: clean_tz[clean_tz == ''] = 'Unknown' In [298]: tz_counts = clean_tz.val - 位置:《利用Python进行数据分析》第2章《变成女孩名字的男孩名字(以及相反的情况)》(spine259;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0245.html;u040-ch05-005)。 - 结论依据:末尾F=1而M为NaN,表中缺失的M聚合不能未经检查直接等同全体真实M人数为零;数据已受公开阈值与Top1000过滤。 - 原始内容:NaN 2007 1 NaN 2008 1 NaN 2009 1 NaN 2010 1 NaN 现在,我们就可以轻松绘制一张分性别的年度曲线图了(如图2-10所示): In [425]: table.plot(style={'M': 'k-', 'F': 'k--'}) 图2-10:各年度使用“Lesley型”名字的男女比例 译注6:如下链接可能不可用,读者 - 位置:《利用Python进行数据分析》第5章《Series》(spine280;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0266.html;u105-ch05-005)。 - 结论依据:显式索引找不到源值会产生NaN;用缺失检测而非把其当普通数值比较,具体缺失标记仍依dtype与版本。 - 原始内容:pd.isnull(obj4) In [27]: pd.notnull(obj4) Out[26]: Out[27]: California True California False Ohio False Ohio True Oregon False Oregon True Texas False Texas True Series也有类似的实例方法: I - 位置:《利用Python进行数据分析》第5章《算术运算和数据对齐》(spine281;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0267.html;u112-ch05-005)。 - 结论依据:缺失可由对齐新引入,说明一侧没有对应项;不可未经说明填零,否则改变算术含义。 - 原始内容:不重叠的索引处引入了NA值译注3。缺失值会在算术运算过程中传播。 对于DataFrame,对齐操作会同时发生在行和列上: In [131]: df1 = DataFrame(np.arange(9.).reshape((3, 3)), columns=list('bcd'), ...: index=['Ohio', 'Texas', 'Colorado']) - 位置:《利用Python进行数据分析》第5章《处理缺失数据》(spine283;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0269.html;u121-ch05-005)。 - 结论依据:本书示例NaN与None均可被检测为NA,但标记本身不说明缺失原因,也不等于0或空字符串;当前pandas不同dtype可用不同缺失表示,不沿用“一律NaN”的历史概括。 - 原始内容:None值也会被当做NA处理: In [232]: string_data[0] = None In [233]: string_data.isnull() Out[233]: 0 True 1 False 2 True 3 False 我不敢说pandas的NA表现形式是最优的,但它确实很简单也很可靠。由于NumPy的数据类型体系中缺乏真正的NA数据类型或