知识卡片

普通读书笔记卡 · 6361.b

自动对齐防错位

理解等级:未标注

Series间算术按标签匹配,不是简单按第几个位置相加;结果纳入相关标签,缺少对应值处可能成为缺失。这样避免顺序不同造成部分错配,但不能保证标签本身真实、唯一或业务含义一致。对齐规则与预期记录身份都要核对。

过滤后的表可能仍保留不连续原索引;给辅助表复用该索引再按标签连接,可以避免把第n行误当编号n。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 10 处

    • · 查看原书依据

      自动对齐不同索引的数据。 In [29]: obj3 In [30]: obj4 Out[29]: Out[30]: Ohio 35000 California NaN Oregon 16000 Ohio 35000 Texas 71000 Oregon 16000 Utah 5000 Texas 71000 In [31]: obj3 + obj4 Out

    • · 查看原书依据

      同时发生在行和列上: In [131]: df1 = DataFrame(np.arange(9.).reshape((3, 3)), columns=list('bcd'), ...: index=['Ohio', 'Texas', 'Colorado']) In [132]: df2 = DataFrame(np.arange(12.).reshape(

    • · 查看原书依据

      没有重叠的位置就会产生NA值: In [140]: df1 + df2 Out[140]: a b c d e 0 0 2 4 6 NaN 1 9 11 13 15 NaN 2 18 20 22 24 NaN 3 NaN NaN NaN NaN NaN 使用df1的add方法,传入df2以及一个fill_value参数: In [141]: df1.add(

    • · 查看原书依据

      重新索引以形成并集: In [152]: series2 = Series(range(3), index=['b', 'e', 'f']) In [153]: frame + series2 Out[153]: b d e f Utah 0 NaN 3 NaN Ohio 3 NaN 6 NaN Texas 6 NaN 9 NaN Oregon 9 NaN

    • · 查看原书依据

      index=data.index, columns=code_index) 如果一切顺利,dummy_frame应该是这样的: In [107]: dummy_frame.ix[:, :6] Out[107]: <class 'pandas.core.frame.DataFrame'> Int64Index: 3569 entries, 0 to 3592

    • · 查看原书依据

      map_series = Series(mapping) In [45]: map_series Out[45]: a red b red c blue d blue e red f orange In [46]: people.groupby(map_series, axis=1).count() Out[46]: blue red Joe 2 3 Ste

    • · 查看原书依据

      pd.merge(df, k1_means, left_on='key1', right_index=True) Out[80]: data1 data2 key1 key2 mean_data1 mean_data2 0 -0.204708 1.393406 a one 0.746672 0.910916 1 0.478943 0.092908 a two

    • · 查看原书依据

      自动按日期对齐: In [352]: ts + ts[::2] Out[352]: 2011-01-02 1.380004 2011-01-05 NaN 2011-01-07 -1.006175 2011-01-08 NaN 2011-01-10 -1.842337 2011-01-12 NaN pandas用NumPy的datetime64数据类型以纳秒形

    • · 查看原书依据

      ts1 + ts2 In [453]: result.index Out[453]: <class 'pandas.tseries.index.DatetimeIndex'> [2012-03-07 09:30:00, ..., 2012-03-15 09:30:00] Length: 7, Freq: B, Timezone: UTC 译注6:也叫时区信息

    • · 查看原书依据

      prices * volume Out[18]: AAPL JNJ SPX XOM 2011-09-06 6901204890 1024434112 NaN 1808369745 2011-09-07 4796053560 704007171 NaN 1701933660 2011-09-08 5700560772 1010069925 NaN 163370

    参考来源

    《利用Python进行数据分析》第5章《pandas入门》 - 位置:《利用Python进行数据分析》第5章《Series》(spine280;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0266.html;u105-ch05-003)。 - 结论依据:原文在“自动对齐不同索引的数据”附近的定义、例子或代码支撑本卡核心说明:Series间算术按标签匹配,不是简单按第几个位置相加;结果纳入相关标签,缺少对应值处可能成为缺失。边界按已读前提解释;示例未执行。 - 原始内容:自动对齐不同索引的数据。 In [29]: obj3 In [30]: obj4 Out[29]: Out[30]: Ohio 35000 California NaN Oregon 16000 Ohio 35000 Texas 71000 Oregon 16000 Utah 5000 Texas 71000 In [31]: obj3 + obj4 Out - 位置:《利用Python进行数据分析》第5章《算术运算和数据对齐》(spine281;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0267.html;u112-ch05-003)。 - 结论依据:DataFrame相加时同时对齐行和列,结果轴通常为两侧并集;某行某列只要缺一侧对应值就可能NA。输出扩大不表示新增观测,缺失传播也不是运算引擎故障。 - 原始内容:同时发生在行和列上: In [131]: df1 = DataFrame(np.arange(9.).reshape((3, 3)), columns=list('bcd'), ...: index=['Ohio', 'Texas', 'Colorado']) In [132]: df2 = DataFrame(np.arange(12.).reshape( - 位置:《利用Python进行数据分析》第5章《在算术方法中填充值》(spine281;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0267.html;u113-ch05-003)。 - 结论依据:add/sub/div/mul等算术方法仍按标签匹配;选择fill_value不是关闭对齐,也不验证两份数据的标签本来正确。 - 原始内容:没有重叠的位置就会产生NA值: In [140]: df1 + df2 Out[140]: a b c d e 0 0 2 4 6 NaN 1 9 11 13 15 NaN 2 18 20 22 24 NaN 3 NaN NaN NaN NaN NaN 使用df1的add方法,传入df2以及一个fill_value参数: In [141]: df1.add( - 位置:《利用Python进行数据分析》第5章《DataFrame和Series之间的运算》(spine281;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0267.html;u114-ch05-003)。 - 结论依据:表与向量同样按标签配对,可因不重叠列生成缺失;看起来长度相同不代表能逐位置直接运算。 - 原始内容:重新索引以形成并集: In [152]: series2 = Series(range(3), index=['b', 'e', 'f']) In [153]: frame + series2 Out[153]: b d e f Utah 0 NaN 3 NaN Ohio 3 NaN 6 NaN Texas 6 NaN 9 NaN Oregon 9 NaN - 位置:《利用Python进行数据分析》第8章《绘制地图:图形化显示海地地震危机数据》(spine300;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0286.html;u184-ch05-003)。 - 结论依据:过滤后行号有空缺,辅助指标表显式复用data.index再join,避免按连续编号错配。 - 原始内容:index=data.index, columns=code_index) 如果一切顺利,dummy_frame应该是这样的: In [107]: dummy_frame.ix[:, :6] Out[107]: <class 'pandas.core.frame.DataFrame'> Int64Index: 3569 entries, 0 to 3592 - 位置:《利用Python进行数据分析》第9章《通过字典或Series进行分组》(spine303;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0289.html;u194-ch05-003)。 - 结论依据:Series作分组键按轴索引对齐,不能只因字典与列数近似就按插入位置猜分组。 - 原始内容:map_series = Series(mapping) In [45]: map_series Out[45]: a red b red c blue d blue e red f orange In [46]: people.groupby(map_series, axis=1).count() Out[46]: blue red Joe 2 3 Ste - 位置:《利用Python进行数据分析》第9章《分组级运算和转换》(spine305;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0291.html;u200-ch05-003)。 - 结论依据:先聚合再按键merge也能附上组均值,但需确认多对一基数与行顺序;transform更直接表达返回原成员位置的意图。 - 原始内容:pd.merge(df, k1_means, left_on='key1', right_index=True) Out[80]: data1 data2 key1 key2 mean_data1 mean_data2 0 -0.204708 1.393406 a one 0.746672 0.910916 1 0.478943 0.092908 a two - 位置:《利用Python进行数据分析》第10章《时间序列基础》(spine310;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0296.html;u217-ch05-003)。 - 结论依据:稀疏日期序列相加按日期标签配对,不按当前行位置;一侧没有相同日期时结果可缺失。 - 原始内容:自动按日期对齐: In [352]: ts + ts[::2] Out[352]: 2011-01-02 1.380004 2011-01-05 NaN 2011-01-07 -1.006175 2011-01-08 NaN 2011-01-10 -1.842337 2011-01-12 NaN pandas用NumPy的datetime64数据类型以纳秒形 - 位置:《利用Python进行数据分析》第10章《不同时区之间的运算》(spine312;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0298.html;u229-ch05-003)。 - 结论依据:已本地化且经过转换的序列相加按实际时刻配对;原例合成结果以UTC索引显示。只在一侧存在的时刻仍缺失,不能按显示钟面相同或行位置硬配。 - 原始内容:ts1 + ts2 In [453]: result.index Out[453]: <class 'pandas.tseries.index.DatetimeIndex'> [2012-03-07 09:30:00, ..., 2012-03-15 09:30:00] Length: 7, Freq: B, Timezone: UTC 译注6:也叫时区信息 - 位置:《利用Python进行数据分析》第11章《时间序列以及截面对齐》(spine319;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0305.html;u249-ch05-003)。 - 结论依据:价格与成交量的行列标签不一致时,算术按标签匹配并为不匹配处留下缺失;不应以裸数组位置相乘替代。align(inner)可显式保留共同标签。 - 原始内容:prices * volume Out[18]: AAPL JNJ SPX XOM 2011-09-06 6901204890 1024434112 NaN 1808369745 2011-09-07 4796053560 704007171 NaN 1701933660 2011-09-08 5700560772 1010069925 NaN 163370