知识卡片
缺失值是信号
从不齐全记录构建表格时,缺字段会表现为缺失观测;填充是为后续操作指定一个替代语义,不等于找回了原始信息。本例将缺失标为Missing,再把原本存在的空字符串标为Unknown,让两类情况可分别统计。任意数值填充或删除也应说明其假设,不能只以表面完整为目标。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 缺失值是信号
- · 变成女孩名字的男孩名字(以及相反的情况)
- · Series
- · 算术运算和数据对齐
- · 处理缺失数据
原书出处 · 5 处
- · 查看原书依据
fillna函数可以替换缺失值(NA),而未知值(空字符串)则可以通过布尔型数组索引加以替换: In [296]: clean_tz = frame['tz'].fillna('Missing') In [297]: clean_tz[clean_tz == ''] = 'Unknown' In [298]: tz_counts = clean_tz.val
- · 查看原书依据
NaN 2007 1 NaN 2008 1 NaN 2009 1 NaN 2010 1 NaN 现在,我们就可以轻松绘制一张分性别的年度曲线图了(如图2-10所示): In [425]: table.plot(style={'M': 'k-', 'F': 'k--'}) 图2-10:各年度使用“Lesley型”名字的男女比例 译注6:如下链接可能不可用,读者
- · 查看原书依据
pd.isnull(obj4) In [27]: pd.notnull(obj4) Out[26]: Out[27]: California True California False Ohio False Ohio True Oregon False Oregon True Texas False Texas True Series也有类似的实例方法: I
- · 查看原书依据
不重叠的索引处引入了NA值译注3。缺失值会在算术运算过程中传播。 对于DataFrame,对齐操作会同时发生在行和列上: In [131]: df1 = DataFrame(np.arange(9.).reshape((3, 3)), columns=list('bcd'), ...: index=['Ohio', 'Texas', 'Colorado'])
- · 查看原书依据
None值也会被当做NA处理: In [232]: string_data[0] = None In [233]: string_data.isnull() Out[233]: 0 True 1 False 2 True 3 False 我不敢说pandas的NA表现形式是最优的,但它确实很简单也很可靠。由于NumPy的数据类型体系中缺乏真正的NA数据类型或