此笔记位置已失效,请从目录继续阅读。
全书导读
本书把数据分析看作一连串有明确对象和规则的转换:先把原材料读入适合问题的结构,再清理和连接,随后分组、绘图或按时间计算。它提供处理数据的工具与思维,并不因为能得到一个数或一幅图就保证统计解释正确。NumPy的形状、类型和跨度解释数据如何计算;pandas的标签、缺失与分组解释哪些观测一起比较。
本笔记依据2014年中文纸版所对应合集正文240–334,包含90个实质正文spine、357个单元和370个阅读片段,157幅图片逐幅实际查看,5项非正文有据排除。书中主要是Python2与早期pandas/IPython生态,历史接口和作者当时经验不能当现行保证;笔记在生成当下依据实际原文和必要官方资料澄清具体差异。采用light,未执行笔记复核、独立审查及审查结果优化。
全书主线
第1章先区分工具职责与任务目标:Python编排、成熟计算库、交互环境和可复现输入共同支撑探索,解释器与安装名字本身不证明环境一致。第2章用时区、电影评分和婴儿姓名三个案例串起解析、缺失处理、分组和归一化,也说明筛选范围、统计单位与分母如何改变结论。第3章把交互开发当有状态过程,分别处理内省、历史、调试、计时和模块更新,不把屏幕已有输出当本次执行证据。
第4章由ndarray进入向量化:shape给轴、dtype给解释,切片和高级索引复制语义不同,元素级ufunc与矩阵乘法也需区别。第5章引入标签表格,Series与DataFrame让对齐进入计算语义,重索引、排序、缺失和层次索引不再只是排版。第6章从文本、JSON、网页、存储到数据库,强调读取、解码、列身份和数据结构化的边界;文件扩展名或HTTP成功不自动说明输入已可分析。
第7章将原材料改造成可比较对象:连接先确定键与基数,堆叠和重塑保留维度身份,映射、分箱与字符串处理还需保留未匹配或缺失意义。第8章让可视化成为解释的一部分,明确坐标、样本、比例、刻度与导出媒介;海地报告点并不直接等于总体需求。第9章在相同分组规则下区分聚合、同形转换与一般apply,再用透视表和捐款例子说明金额、人数、正额、净额和条件比例不能互换。
第10章把时间语义置于接口之前:时刻、时期、时长、地区时区和频率各有职责,重采样的归属、标签和填补分别决定结果,滚动窗口还要区分范围与有效样本阈值。第11章用金融历史例子检验这些工具,强调加权分母、信息可用时点、累计复利和回测边界;模拟和样本内热图不证明现实预测能力。第12章回到数组元数据、广播、记录布局、排序、内存映射与性能,说明高级语法为何仍受内存与契约约束。附录A补齐Python名称绑定、容器、函数、闭包、迭代与文件基础,许多看似API问题实际源于语言对象与求值语义。
译者序
译者说明案例依赖交互会话中的前置变量,并提示术语和部分领域翻译存在局限。
示例结果依赖会话状态
交互示例可能复用前面已创建的变量、导入和数据;只复制后面的单元,不一定得到书上的结果。应记录输入、执行次序和前置状态,再判断失败来自代码还是缺失上下文。译者建议同章在一个会话中完成是为了保留这些依赖,不代表会话中已有输出证明本轮重跑成功。
示例结果依赖会话状态保存独立卡片。
前言
前言交代2011年动笔的学习资源动机,并说明代码、占位符与警告的排版约定。
示例代码的使用
示例复用说明和版权联系入口。
联系我们
出版、勘误、资源与技术问询入口。
第1章 准备工作
第1章标题,为准备工作提供导航。
本书主要内容
本书以数组、标签表格、关联表与时间序列等结构化表示支持数据处理,提取特征会改变可分析的信息。
数据表示要服务分析问题
数组、表格和时间序列使数据能被相应的选择、聚合与计算操作处理。把文章变成词频表,是提取某类特征而不是完整保留原文语义;表示应匹配所问问题,并明确丢失的顺序、上下文或身份信息。本书主要介绍处理工具,不因此提供所有分析模型或因果解释。
数据表示要服务分析问题保存独立卡片。
为什么要使用Python进行数据分析
作者从科学计算社区和通用编程组合说明选择Python的动机,但工具偏好需与任务目标对齐。
把Python当做粘合剂
Python可组织计算流程并对接C/C++/Fortran实现,让密集计算与协调代码分别处在适合的位置。
编排层与计算热点可以分工
数据应用可由Python表达流程与组合接口,把经过定位的计算热点交给成熟的编译库或扩展。这样不必把整套系统都重写为低级语言,但跨语言数据表示和调用成本仍需核对;不能凭语言名认定瓶颈已消失。先度量热点,再决定优化范围。
编排层与计算热点可以分工保存独立卡片。
原书依据 · 1 处
解决“两种语言”问题
研究与生产共用语言可减少一次跨语言重实现,但生产系统仍有独立的质量要求。
原型复用不等于生产就绪
用同一种工具完成探索与生产,可减少算法在语言间搬运和沟通的成本;但原型仍需验证输入、性能、错误处理和可维护性。共享语言不证明实验结果可直接上线,也不要求所有组织只用一种语言。收益取决于实际接口和协作方式。
原型复用不等于生产就绪保存独立卡片。
原书依据 · 1 处
为什么不选Python
性能取舍取决于负载、实现和执行模型;本书GIL说明需要限制在其当时的常见CPython配置。
性能取舍要按工作负载判断
开发速度、运行成本与延迟目标可能冲突。应定位真实计算或等待成本,再决定向量化、调用成熟库、并行或改用其他实现;不是所有解释型代码都以同一比例慢,也不是工程时间在所有场景都优先。书中的低延迟例子只说明目标不同会改变取舍。
性能取舍要按工作负载判断保存独立卡片。
原书依据 · 1 处
GIL限制依赖解释器配置
在启用GIL的常见CPython中,同一时刻执行Python字节码的线程受限制,但等待I/O或释放GIL的本地库与纯Python计算不同。不能推断单进程内任何本地并行都不可能,也不能泛化为所有Python实现。官方文档说明从3.13提供可禁用GIL的free-threaded构建,扩展兼容和运行配置仍影响实际状态。
GIL限制依赖解释器配置保存独立卡片。
原书依据 · 1 处
重要的Python库
本节概览数据分析所用的主要库。
NumPy
NumPy提供多维数组及面向数组的计算,数组也作为算法和本地实现之间交换数据的表示。
ndarray是数组接口
NumPy的ndarray作为多维数值数据容器,给元素级运算、线性代数、随机数及存取工具提供共同接口。数据表示可被本地实现复用,减少Python逐对象组织的开销;是否能避免复制仍要满足具体类型、布局和接口要求。这里是库作用的概览,数组形状、类型和步长的详细机制在后续章展开。
ndarray是数组接口保存独立卡片。
pandas
DataFrame用带行列标签的二维表组织结构化数据,并支持选择、对齐、聚合和时间序列等操作。
DataFrame有两条轴
DataFrame是带行标签和列标签的二维表,列可表达不同含义的数据,操作需要说明沿哪一条轴选择或组织。标签不是纯装饰,它们参与数据定位与组合;但这不是说DataFrame在代码实现上继承ndarray。此处餐厅账单表只是结构示例,具体类型与对齐规则在后续章展开。
DataFrame有两条轴保存独立卡片。
matplotlib
matplotlib为交互探索与静态图表提供绘图能力,工具条交互与图形内容解释仍是两层问题。
绘图交互不替代数据解释
绘图环境可以放大局部或平移视图,帮助观察数据,但图形操作不会增加原始信息或自动验证统计解释。绘图前仍要明确变量、单位与聚合方式,阅读时区分数据变化和坐标视野变化。此处只说明交互入口,不展开统计图形算法。
绘图交互不替代数据解释保存独立卡片。
IPython
IPython把交互运行、调试与绘图结合起来,书内还介绍其当时的Notebook和控制台形态。
交互环境连接探索与反馈
交互环境让人分步检查对象、运行代码并观察图形,便于探索和调试;但状态会随执行而变化,需要保留输入和顺序。书中的IPython界面是特定年代的工具组织,不应仅凭截图推断现行产品组件或证明所有结果可复现。
交互环境连接探索与反馈保存独立卡片。
SciPy
SciPy按积分、线性代数、优化、信号、稀疏结构、特殊函数和统计等任务提供算法入口。
科学计算库按问题域选入口
选择数值工具时,先确认问题属于积分/微分方程、矩阵运算、优化求根、信号处理、稀疏计算或统计分布等哪一类,再核对相应函数的输入与前提。模块名提供检索入口,不替代算法适用性、误差和数值稳定性判断。书中SciPy列表是生态概览,不表示各项都已讲解。
科学计算库按问题域选入口保存独立卡片。
原书依据 · 1 处
安装和设置
本书用最小依赖组合开始,再按示例需要安装其他包;解释器与扩展版本必须相容。
解释器与依赖组合要对应
运行环境是解释器、扩展库和相关工具的组合,不是只安装一个Python可执行文件。复现示例应记录这些版本与架构,并核对所用解释器实际加载的是哪组库;按需增加依赖可减少初始安装问题。书内EPD与pandas0.8⁄0.9是历史组合,不宜直接当现代安装方案。
解释器与依赖组合要对应保存独立卡片。
Windows
Windows安装示例先检查命令解析到的解释器,再验证库导入与绘图;路径变化需在实际进程中确认。
命令路径要核对实际解释器
同一机器有多套解释器时,输入python命令可能启动另一份程序。应核对实际版本和路径,以及安装库对应的解释器,而不只看安装器显示成功;修改环境后也要在实际启动的进程中再次确认。书内Windows路径是旧示例,不授权删除其他解释器或覆盖现有环境。
命令路径要核对实际解释器保存独立卡片。
最小验证只覆盖所测能力
成功导入库并绘制一张图,可以说明这些特定入口在所选环境可用,却不证明本书所有依赖、数据源和算法都可运行。应记录检查范围,再按后续需要补证据;已有终端输出或图像也不能替代这次实际执行记录。本轮仅阅读示例,没有做这些运行验证。
最小验证只覆盖所测能力保存独立卡片。
苹果OS X
OS X示例依赖编译工具、解释器路径和匹配的pandas环境,然后以导入与绘图作有限验证。
解释器与依赖组合要对应关联本项背景,实质主要讲解在对应位置。
命令路径要核对实际解释器关联本项背景,实质主要讲解在对应位置。
最小验证只覆盖所测能力关联本项背景,实质主要讲解在对应位置。
GNU/Linux
Linux示例按系统架构选择发行包,并把解释器位置和编译工具纳入安装前提。
解释器与依赖组合要对应关联本项背景,实质主要讲解在对应位置。
命令路径要核对实际解释器关联本项背景,实质主要讲解在对应位置。
社区和研讨会
社区列表和研讨会提供进一步查问入口,不含具体数据分析方法。
代码示例
输入输出提示符标示IPython交互顺序,并排例子按从左到右阅读且分别执行。
引入惯例
通过模块别名访问名称,能保留符号来源并减少全量通配引入造成的名字混杂。
别名导入保留名称来源
import numpy as np把模块绑定到np这个名字,np.arange由该模块解析arange。相对把大量名称直接导入当前环境,这种写法更容易看出符号来自哪里;别名本身只是绑定约定,不改变函数行为,也不保证变量不会被后来覆盖。阅读示例前仍要确认相应导入已执行。
别名导入保留名称来源保存独立卡片。
伪代码描述不等于可执行程序
伪代码以类似程序的形式表达算法步骤,重点是过程意图,不保证符合某门语言的语法或包含所有运行细节。阅读时可据此理解流程,真正实现仍需明确数据、边界和错误处理,不能把书中的描述块直接当可运行代码。
伪代码描述不等于可执行程序保存独立卡片。
原书依据 · 1 处
语法糖改变表达形式
语法糖以更便利的写法表达原有能力,通常可对应到更基础的语法和操作。它改善表达,不自动增加新的计算能力或保证更快;理解时仍要追踪实际求值和副作用,而不能只按写法长短推断行为。
语法糖改变表达形式保存独立卡片。
原书依据 · 1 处
致谢
作者感谢编辑、审读者、社区、同事与家人,提供写作背景。
第2章 引言
数据工作流包括获取、准备、转换、建模计算和展示;这些动作回答不同问题并可反复衔接。
分析流程区分数据处理职责
文件和数据库读写获取数据,清理与重塑准备输入,聚合等转换产生新结构,模型计算回答特定问题,图表和摘要用于展示。分清各步有助于定位问题和说明产物,但实际工作可能反复往返,不是一次走完就保证结论正确。工具能完成处理,不等于模型或解释已经被验证。
分析流程区分数据处理职责保存独立卡片。
来自bit.ly的1.usa.gov数据
JSON行文件先读成文本,再逐行反序列化为字典,随后按记录和字段访问;显示表示与打印结果不同。
JSON行需逐条恢复对象
文件中的每行是一个JSON文本,json.loads把该行恢复为Python值;对文件句柄逐行迭代可依次解析,再由列表推导收集结果。得到列表不代表已验证各行字段齐全或数据可信,也不等于流式保留了低内存:推导式最终仍物化全部记录。应区分读文本、解析与收集。
JSON行需逐条恢复对象保存独立卡片。
原书依据 · 1 处
对象显示与打印文本不同
交互环境显示的字符串表示可能包含引号、转义和Python2的u前缀,print给出的文字则按打印规则呈现。二者可以描述同一个值,不能把显示装饰当实际内容再次拼入数据。u前缀在本书环境表示Unicode字符串;Unicode不是某一种字节编码,具体编码还需在输入输出边界确认。
对象显示与打印文本不同保存独立卡片。
用纯Python代码对时区进行计数
按记录抽取时区前先区分缺字段与空字符串,再选择计数结构,并明确TopN的排序方向。
缺失字段与空字符串分开
某条记录没有tz键,与有tz键但值为空字符串不是同一种情况。前者直接下标会失败,成员检查后跳过又会改变统计记录数;后者仍作为一个可计数值保留。清理时应保留这种区别,说明排除了哪些记录、未知值如何表示,不能只为了消除异常把两者混成一个类别。
缺失字段与空字符串分开保存独立卡片。
原书依据 · 1 处
频数统计取决于计数单位
遍历每个观测值并对相应字典键加一,得到的是该序列里值的出现次数。defaultdict(int)可为首次出现提供0,Counter则封装同类频数任务;选用哪种表示不改变观测单位。这里每个含tz记录贡献一次,不等于独立人数或全世界某时区人口。
频数统计取决于计数单位保存独立卡片。
原书依据 · 1 处
TopN选择与结果顺序分开
先按(count, value)升序排序再取末尾N项,会选出高频项,但这N项仍按升序排列;Counter.most_common则以高频在前展示。比较实现时要分别核对选了谁、输出方向和并列规则,而不能因为包含同样十项就认为结果顺序完全相同。
TopN选择与结果顺序分开保存独立卡片。
用pandas对时区进行计数
将记录转为带标签表格后,可以分别标记缺失与空值,按时区和代理分类计数,再比较规模与组内比例。
缺失值是信号
从不齐全记录构建表格时,缺字段会表现为缺失观测;填充是为后续操作指定一个替代语义,不等于找回了原始信息。本例将缺失标为Missing,再把原本存在的空字符串标为Unknown,让两类情况可分别统计。任意数值填充或删除也应说明其假设,不能只以表面完整为目标。
缺失值是信号保存独立卡片。
筛选后统计需重定分母
先去掉没有agent的记录,再分析操作系统与时区,得到的是这个筛选后的样本。此前对所有记录的频数不能不加说明地与它混用;每个比例都应说明以哪些记录为分母。排除是为了能执行分类,并不证明被排除记录与保留记录具有相同分布。
筛选后统计需重定分母保存独立卡片。
字符串规则只是分类代理
把agent中含Windows的记录归为Windows,其他归为Not Windows,是本例明确采用的简化规则。它不是核验真实设备或用户身份的证据,Not Windows也不等于某一个具体系统。规则变化与缺失筛选会改变分组,结果应连同分类依据保存。
字符串规则只是分类代理保存独立卡片。
原书依据 · 1 处
双键分组构成交叉计数
按时区与代理分类组合分组,size统计每个组合的记录数;unstack把其中一层展开成列,缺少的组合在这个计数语境下可补0。表中单元格代表该组合出现次数,不是任意数据缺失都可以解释为0。
结构图:本例数据处理步骤及表示变化。
flowchart LR
A[可分类记录] --> B[按时区与系统规则分组]
B --> C[size统计组合记录数]
C --> D[unstack展开系统列]
D --> E[计数空组合填0]
双键分组构成交叉计数保存独立卡片。
原书依据 · 1 处
行归一化比较组成比例
每行各类计数除以该行总量,可让不同时区都以总计1的尺度比较Windows与非Windows组成。这样容易看到小组比例,却隐藏了绝对规模:同样一半可能来自很少或很多记录。应和原始计数图一起解释;零总量行还需单独定义处理。
行归一化比较组成比例保存独立卡片。
MovieLens 1M数据集
MovieLens案例将评分、用户与电影三表连接,再按电影和数据集中的性别类别计算均值,并按评分条数筛选。
最小验证只覆盖所测能力关联本项背景,实质主要讲解在对应位置。
类别编码不等于实际数值
年龄、职业等列可能存的是类别编码,而不是可直接计算的实际数值。分析前需读相应数据字典,确认每个编码代表的类别及缺失约定;不能把编号大小直接解释为年龄差、职业等级或数量。数字外形和数据语义是两回事。
类别编码不等于实际数值保存独立卡片。
merge表达关系
merge依据键把评分记录关联到用户和电影属性,让分散的表可一起分析。本例依赖user_id与movie_id的对应关系,默认推断键来自重名列;实际使用应确认推断正是所需关系。连接后的行数与匹配情况要核对,不能只因得到更宽的表就认为所有关联正确。
显式指定连接列可避免默认重名列被误作键。列对列连接不保留原行索引;若原索引承担记录身份,须在连接前安排如何保留并在结果中核对。
merge表达关系保存独立卡片。
透视表固定维度
透视表将选择的分组维度组织为行和列,再在交叉位置填入聚合结果。本例以电影名为行、数据集的gender类别为列,对rating求均值;单元格不是原始评分,也不是评分人数。解释结果时需同时保留聚合函数、样本范围和每组的记录数量。
透视表固定维度保存独立卡片。
样本门槛需对应比较组
本例按电影的总评分数筛选至少250条,再比较F与M组均值。门槛只约束总数,不能保证两个子组各自都充分,也不提供均值差的置信或因果证据。250是作者随意选择的过滤值,不应当作普遍统计标准;若要比较组,应核对每组数量与选择偏差。
样本门槛需对应比较组保存独立卡片。
原书依据 · 1 处
差值符号决定比较方向
定义M均值减F均值后,负数表示本样本F组均值更高,正数表示M组更高。升序取前项是在看负方向,反序取前项是在看正方向;若目标是两组差距幅度,应明确是否按绝对值比较。排序方向不能由“最大分歧”这个口头标签替代。
差值符号决定比较方向保存独立卡片。
原书依据 · 1 处
总体离散不同于组间均值差
按电影汇集所有评分的方差或标准差,反映评分整体的分散程度;它不专门衡量两个类别的平均差。两组均值接近时,各组内部也可能很分散;反之均值差并不描述所有人的评分分布。选择指标前应先确定问题,不把不同“分歧”度量的榜单当同一结论。
总体离散不同于组间均值差保存独立卡片。
原书依据 · 1 处
1880-2010年间全美婴儿姓名
姓名案例先把年度文件堆叠为带year列的长表,再按年度与性别计算占比、验证组内总和,并提取每组前1000名。
concat表达堆叠关联本项背景,实质主要讲解在对应位置。
公开数据的分母有收录边界
公开姓名文件为隐私保护省略低频记录,所以文件内births之和只是已收录记录的合计。本例用它作年度、性别组的比例分母,得到的是该口径下的占比,不能直接称为全部实际出生人口的比例。原书“超过5次”的措辞也不能代替数据版本说明;SSA现行页说明排除少于5次等可能泄露身份的姓名记录。
公开数据的分母有收录边界保存独立卡片。
原书依据 · 1 处
堆叠前保留文件分组来源
将年度文件纵向合并前,先把year写成显式列,使每行仍能追溯所属年度。ignore_index=True只重建连续行号,不会自动保存原文件名或年度;若这些信息只存在于文件名中,合并后便可能丢失。该步骤让后续按年度比较有可靠的分组键。
堆叠前保留文件分组来源保存独立卡片。
原书依据 · 1 处
组内占比需验证总和
按year与sex分组后,用每个名字的births除以同组总和,比例的比较范围便固定在相同年度与类别内。计算后检查每组比例和近似为1,可以发现部分实现或数据错误;浮点误差使精确等于1不总是合适。这个检查不能证明原始数据完整、分组键正确或分母语义恰当。
组内占比需验证总和保存独立卡片。
原书依据 · 1 处
每组前N不同于全表前N
先按年度与类别分组,在各组内部按births降序截取1000项,得到每组的热门子集;全表排序再取1000项回答的是另一问题。筛选前计算的prop仍以原组全部已收录人数为分母,因此热门子集的prop和通常小于1,可用于衡量覆盖份额。
每组前N不同于全表前N保存独立卡片。
分析命名趋势
四个姓名的年度数量曲线展示历史变化,但还需下一节的总体规模与多样性指标来解释。
数量趋势需结合基数解释
某个名字的年度人数下降,只说明该样本中对应记录数量减少;是否更不常见,还需比较同年度适当分母下的比例。出生总量、数据收录与姓名选择多样性都会影响数量曲线。四个例子的线形不能单独说明下降原因,也不能代表所有姓名。
数量趋势需结合基数解释保存独立卡片。
原书依据 · 1 处
评估命名多样性的增长
用热门1000项份额与覆盖一半人数所需姓名数,从集中程度两个角度描述命名多样性。
固定前N份额衡量集中程度
固定取每组最常见的1000个姓名,把其比例相加;份额越低,说明更多已收录人数分散在这1000项之外。这个指标刻画给定口径下的集中程度,不直接说明每个姓名更独特,也不能证明父母选择变化的原因。跨年比较应保持筛选与比例分母一致。
固定前N份额衡量集中程度保存独立卡片。
原书依据 · 1 处
累计占比定位覆盖门槛
将各姓名占比降序排列,累计和便递增;查找首次达到0.5的位置,再把从0开始的位置转成项数,就得到覆盖至少一半人数所需的热门姓名数。需先确认累计总和能达到门槛:若截取子集尚不足50%,插入位置落在末尾,直接加1会虚构不存在的姓名项。项数越多表示此指标下更分散,不是命名原因的证明。
累计占比定位覆盖门槛保存独立卡片。
原书依据 · 1 处
派生特征改变统计对象
把每个姓名映射为最后一个字母后,多个姓名会被归为同一末字母组,再按出生人数求和。此时比较的是人数加权的字母分布,不是姓名种类数;常见姓名对结果的贡献更大。该特征适合描述拼写模式,却不保留完整姓名身份,也不直接说明文化原因。
派生特征改变统计对象保存独立卡片。
原书依据 · 1 处
归一化方向决定比较范围
末字母表以字母为行、类别与年度为列;除以各列人数合计后,每列表示该类别年度内部的字母占比。若改用行和作分母,问题就变为某字母的人数如何分布在年度与类别中。计算前应明确一组比例要在哪条轴上加到1,不能仅凭图看起来相似而混用。
归一化方向决定比较范围保存独立卡片。
原书依据 · 1 处
变成女孩名字的男孩名字(以及相反的情况)
筛出包含lesl的姓名变体,在热门子集中按年度与类别汇总,再按年度归一化观察组成变化。
筛选后统计需重定分母关联本项背景,实质主要讲解在对应位置。
缺失值是信号关联本项背景,实质主要讲解在对应位置。
筛选谓词须核对真实条件
文字描述“以lesl开头”,而代码先转小写再测试是否包含lesl,实际会接受该片段出现在任何位置的姓名。前缀条件与包含条件不是同一集合。解释样本时应按实际谓词说明范围;若任务确实要求前缀,需另行选用并验证相应规则。
筛选谓词须核对真实条件保存独立卡片。
原书依据 · 1 处
IPython基础
启动ipython后输入Python语句,表达式值可经富格式显示;会话中存在的名称决定代码能否执行。
对象显示与打印文本不同关联本项背景,实质主要讲解在对应位置。
示例结果依赖会话状态关联本项背景,实质主要讲解在对应位置。
交互提示符接收表达式
在IPython提示符下输入Python语句或表达式并确认,可执行代码并查看返回对象的显示形式。In与Out编号用于对应交互记录,不是代码的一部分。启动界面报告的是该会话的解释器和工具版本,不能假定书中Python2与IPython0.12输出可在当前环境原样复现。
交互提示符接收表达式保存独立卡片。
原书依据 · 1 处
Tab键自动完成
Tab可查找名称、属性、路径及关键字参数,候选取决于当前会话与配置。
补全用于发现当前可用项
IPython中在名称前缀、对象后的点、路径或函数参数处按Tab,可以查找匹配项并减少输入。对象属性与模块成员的候选来自当前环境;以下划线开头的项可能默认隐藏。补全结果不是完整API保证,版本、导入状态、配置和上下文都会改变候选。
补全用于发现当前可用项保存独立卡片。
原书依据 · 1 处
内省
内省查看对象类型、文档和可获得的源码,通配符可搜索命名空间。
内省区分文档与可见源码
对象后加?可查看类型、签名与docstring等信息,??尝试进一步展示可获取的源代码;通配符形式可按名称搜索。它们适合先了解当前对象再决定调用方式,但对象没有文档或源码不可见时,工具不能补出缺失说明。文档也不替代对具体实现与前置条件的核对。
内省区分文档与可见源码保存独立卡片。
原书依据 · 1 处
%run命令
run执行脚本后将定义供交互使用,是否采用交互命名空间会改变脚本依赖。
脚本执行需明确命名空间
在IPython中用%run script.py运行脚本,普通模式为脚本建立初始命名空间,随后可在交互环境检查其中定义;这不等于隔离进程或沙箱。%run -i script.py则使用现有交互命名空间,适合探索但也引入会话依赖。文件后参数传入sys.argv。原书漏写选项短横线,不能照抄为%run i。
脚本执行需明确命名空间保存独立卡片。
原书依据 · 1 处
中断正在执行的代码
Ctrl-C触发中断,但扩展代码可能不能立即把控制权交还解释器。
中断请求不保证立即停机
交互执行中按Ctrl-C通常请求以KeyboardInterrupt中断Python代码;正在运行的已编译扩展可能延迟响应,需等解释器重新得到控制权。不能把按键等同操作已停止,也不能推断先前副作用已回滚。强制结束进程是更激烈的终止方式,不能替代对执行状态的确认。
中断请求不保证立即停机保存独立卡片。
原书依据 · 1 处
执行剪贴板中的代码
旧版逐行粘贴会把空行误作缩进块结束;整体接收代码块可保留其结构。
代码块粘贴须保留结构
本书旧版终端中,逐行粘贴带空行的缩进块可能提前结束代码,随后报缩进错误。%paste整体接收剪贴板并执行;%cpaste先收集,到单独一行–才结束输入,可在执行前检查。两者是该版的操作方案,当前前端与平台需另核实;复制前还要确认内容确实是要执行的代码。
代码块粘贴须保留结构保存独立卡片。
原书依据 · 1 处
IPython跟编辑器和IDE之间的交互
编辑器和IDE可把代码送往IPython或集成终端,具体支持取决于插件。
键盘快捷键
快捷键分别服务于光标移动、行内删除、历史检索和屏幕清理,图表与译注须合读。
终端编辑键按作用范围选
本书终端键位中,Ctrl-A/E移至行首/行尾,Ctrl-B/F按字符后移/前移;Ctrl-K删除光标至行尾,Ctrl-U按译注删除光标至行首。历史命令可用Ctrl-P/N或方向键前后查找,Ctrl-R反向检索;Ctrl-L清屏只影响显示。实际终端与键绑定可能不同,清屏也不等于清空变量或历史。
终端编辑键按作用范围选保存独立卡片。
异常和跟踪
异常跟踪列出调用路径及附近代码,可调节上下文显示量并进入事后调试。
异常跟踪沿调用路径定位
traceback把异常发生时的调用路径与附近代码连接起来,可从报错行回看调用者传入的状态。IPython的%xmode控制上下文显示详细程度;更多上下文有助定位,但报错位置未必就是错误原因的起点。事后调试再检查当时的变量,不能把一段跟踪自动等同完整根因。
异常跟踪沿调用路径定位保存独立卡片。
原书依据 · 1 处
魔术命令
魔术命令属于IPython环境;帮助、命名空间、测量和调试命令各有不同副作用。
魔术命令依赖交互环境
%前缀引入IPython提供的魔术命令,可用%quickref或%magic发现命令,用命令后的?读帮助。它们不属于普通Python脚本语法。automagic允许某些命令省略%,但同名Python变量可能改变解析,因此保留显式前缀更容易辨认环境命令。
魔术命令依赖交互环境保存独立卡片。
原书依据 · 1 处
名称清理不同于显示清理
%who/%whos查看交互命名空间中的名称,%reset用于清理命名空间,%xdel针对给定名称及工具持有的相关引用;它们和Ctrl-L清屏不同。移除名称不自动撤销已执行的文件或外部操作,也不能脱离引用状态保证对象内存已释放。执行前需区分要清显示、名称还是资源。
名称清理不同于显示清理保存独立卡片。
原书依据 · 1 处
测时与剖析回答不同问题
%time测一段执行的耗时,%timeit通过重复执行估计较短片段的时间;%prun提供按调用组织的剖析结果。它们用于不同粒度的性能问题,不能互相替代。重复测量还会重复执行代码,修改状态或进行外部写入的片段不能因“只是测时”就视为没有副作用。
测时与剖析回答不同问题保存独立卡片。
基于Qt的富GUI控制台
Qt控制台在交互计算之外提供富文本编辑和内嵌显示,进程共享方式影响状态。
富控制台不等于独立计算库
本书Qt控制台用图形界面承载交互式Python,提供多行编辑、语法高亮与内嵌图片。界面增强和计算库是不同职责;多个控制台若连到同一计算进程,便可能共享变量状态,多个独立进程则不同。书中启动语法与打包形态有版本前提,不作为当前安装教程。
富控制台不等于独立计算库保存独立卡片。
原书依据 · 1 处
绘图交互依赖事件循环协作
图形窗口需要事件循环处理输入与刷新,而交互提示符也要接收命令。若图形循环长时间独占控制,便难以边计算边观察;IPython的GUI集成协调两者,让窗口与提示符可配合使用。这是事件处理与执行环境的协作,不意味着分析算法自动并行。
绘图交互依赖事件循环协作保存独立卡片。
使用命令历史
历史记录把输入文本保存在会话之间,方便查找与复用,但不等于保存对象状态。
命令历史保存输入而非状态
IPython历史保存执行过的命令文本,便于跨会话查找、补全和重用,也可输出到日志。记录了输入不代表保存了当时的内存对象、外部文件版本或所有副作用;重放前还需恢复依赖与顺序。可检索历史和可复现实验是不同层次。
命令历史保存输入而非状态保存独立卡片。
搜索并重用命令历史
按前缀或局部片段搜索历史后可重用命令,重用的是文本不是先前执行结果。
终端编辑键按作用范围选关联本项背景,实质主要讲解在对应位置。
命令历史保存输入而非状态关联本项背景,实质主要讲解在对应位置。
输入和输出变量
输入缓存保存文本,输出缓存保存对象引用,可复用结果,也可能延长对象存活期。
输入文本不同于输出对象
IPython用_iX保存第X次输入文本,用_X保存相应已缓存的输出对象;_和__便于取最近结果。赋值等没有显示输出的输入不应假定都有对应输出缓存。exec重放输入会再次执行代码,并不会恢复旧对象;尤其依赖会话状态或有副作用时,重放结果可能不同。
输入文本不同于输出对象保存独立卡片。
原书依据 · 1 处
历史引用可能延长对象存活
大对象即使从自定义变量中del掉,仍可能被输出缓存等引用,因此尚不能释放。内存问题需检查仍存活的引用,而不是只数变量名;%xdel或%reset提供相应清理入口,但具体范围须看帮助,不能保证清理任意外部引用或资源。
历史引用可能延长对象存活保存独立卡片。
原书依据 · 1 处
记录输入和输出
日志可记录输入会话,是否记录输出取决于选项,启用反馈本身应作为判断依据。
日志输出范围需看配置
%logstart启用会话日志,配套命令可暂停、恢复、查询或停止。原书示例反馈Output logging : False,说明这次配置没有记录输出,不能因标题说“输入和输出”就宣称已保存全部结果。命令文本日志也不等于对象快照或完整实验环境。
日志输出范围需看配置保存独立卡片。
原书依据 · 1 处
与操作系统交互
IPython既可委派shell命令,也可管理自身工作目录和查看环境,二者不能混同。
交互目录可用栈与历史管理
IPython用%cd切换当前工作目录,%pwd确认位置;%pushd/%popd维护可返回的目录栈,%dirs查看栈,%dhist查看访问历史。工作目录决定相对路径的解释。它与某一次子shell中的cd不是同一生命周期,使用相对文件前应先确认当前解释基准。
交互目录可用栈与历史管理保存独立卡片。
原书依据 · 1 处
查看环境不等于固定依赖
%env可查看进程环境变量,帮助解释子进程收到的配置,但一次显示不等于固定了解释器、软件包或外部数据版本。环境信息只是复现条件的一部分,不能把列出环境变量当成环境已经隔离。
查看环境不等于固定依赖保存独立卡片。
原书依据 · 1 处
shell命令和别名
感叹号把命令交给系统shell,捕获的输出成为Python侧对象,别名只是命令简称。
外壳命令不同于表达式求值
IPython的!command把命令交给系统shell;赋给变量时可取得输出行组成的对象。命令语义、管道和路径规则依操作系统与shell而异,捕获了文本不等于验证命令成功或解析出稳定结构。命令也可能修改文件或启动交互进程,并不只用于查看。
外壳命令不同于表达式求值保存独立卡片。
原书依据 · 1 处
插值展开会改变命令含义
在IPython shell命令中用$变量可把当前Python值带入命令,再由shell解释。本例test*会参与文件名模式匹配,因此值不是天然按单个字面参数传递。组合命令前需明确插值与shell的两层解释,不能把拼入的文本直接当成不会展开的文件名。
插值展开会改变命令含义保存独立卡片。
原书依据 · 1 处
命令别名有会话生命周期
%alias为系统命令定义简称,以简化重复输入;本书示例中的别名随会话结束消失,持久配置需另行保存。别名保留的是命令定义,不固定命令对应的程序版本、执行目录或输出;同名变量还可能影响调用解析。
命令别名有会话生命周期保存独立卡片。
原书依据 · 1 处
目录书签系统
目录书签保存名字与路径映射,和临时shell别名的持久性不同。
目录书签保存路径映射
用%bookmark db 路径建立常用目录书签,再用%cd切换;%bookmark -l查看映射,名称冲突时可显式选择书签。书签可跨会话保存,但不保证目标目录永远存在或内容不变。它缩短导航输入,不改变文件依赖和相对路径本身的语义。
目录书签保存路径映射保存独立卡片。
原书依据 · 1 处
交互式调试器
事后调试从异常栈帧查看状态,启动时调试则用断点与单步跟随执行过程。
事后调试保留异常现场
异常后用%debug进入故障现场的栈帧,借助u/d在调用栈层级间移动,检查各层仍保留的变量;%pdb可控制异常后自动进入调试。它适合核对“报错时实际值是什么”,但不能让已完成的外部副作用自动回滚。栈帧切换也不是重新执行或倒放代码。
事后调试保留异常现场保存独立卡片。
原书依据 · 1 处
单步进入不同于单步越过
启动调试时用%run -d脚本,b设置断点,c继续到暂停点;s进入函数调用,n执行当前行并停在当前层的下一行。u/d切换栈帧,args查看参数,where看完整栈,help查命令;调试命令名与变量冲突时需明确用Python表达式入口。实际调试会执行程序,暂停不等于无副作用。
单步进入不同于单步越过保存独立卡片。
调试入口应贴近观察范围
异常后入口适合检查失败现场;在感兴趣位置调用set_trace可主动暂停;用调试器runcall包装目标函数,则可直接跟踪该次调用。选择入口取决于想观察的状态范围,而不是把整个程序每次都从头单步。原书Pdb包装函数是旧版辅助代码,构造参数需按版本核实,断点本身不隔离执行环境。
调试入口应贴近观察范围保存独立卡片。
原书依据 · 1 处
微基准结论依赖输入与环境
用startswith与切片比较前缀的书中时间,只说明该版本、字符串与机器上的示例表现,不证明一种写法总更快。比较前先确认语义相同,再固定输入与环境,区分墙钟经过时间和CPU耗时,并观察重复运行的波动。一次更短不等于稳定改进,也不代表完整应用瓶颈已消除。
微基准结论依赖输入与环境保存独立卡片。
小开销会随调用次数累积
单次微秒差异在高频路径上会累积:书中20与5微秒的差为15微秒,假设各执行100万次,累计差便是15秒。这是按固定单次成本的算术估计,不是本次实测;是否值得优化仍取决于真实调用次数和整体耗时占比。
小开销会随调用次数累积保存独立卡片。
原书依据 · 1 处
累计耗时包含子调用时间
剖析报告的tottime统计函数自身执行而排除子函数时间,cumtime包含其子调用。高累计耗时可能来自下游热点,不代表当前函数正文最慢;沿调用关系继续看自身耗时和调用次数,才能确定优化对象。父子累计时间存在包含关系,不能将所有行直接相加当成总耗时。
累计耗时包含子调用时间保存独立卡片。
原书依据 · 1 处
逐行分析函数性能
逐行剖析补足按函数汇总的粒度,但需显式限制跟踪函数以控制测量干扰。
逐行剖析定位函数内部成本
line_profiler可用%lprun -f目标函数 调用语句,逐行展示命中次数、耗时与比例;它补足函数级报告看不出哪行耗时的局限。必须选择要跟踪的函数,逐行记录有额外成本,不能把剖析下的时长直接当正常运行时长。先看函数热点、再缩小到行,可减少无关跟踪。
逐行剖析定位函数内部成本保存独立卡片。
原书依据 · 1 处
IPython HTML Notebook
Notebook把代码、说明、输出和图片组合为文档,浏览器界面与实际执行进程分工不同。
计算文档可分享代码与输出
Notebook用.ipynb文档组合代码、文字和输出,便于说明探索过程并分享图表。已有输出只是某次保存的展示,不能单凭它证明当前代码已按顺序重跑或环境可复现;还需区分文档内容与运行时会话状态。
计算文档可分享代码与输出保存独立卡片。
原书依据 · 1 处
浏览器界面不限定执行位置
Notebook在浏览器中编辑和展示,服务端及计算进程承载实际执行,因此界面所在电脑不一定是数据和代码的执行位置。读取文件路径、配置依赖与解释结果时,应确认实际服务器和会话环境;浏览器看到本地页面不等于计算资源一定在本机。
浏览器界面不限定执行位置保存独立卡片。
原书依据 · 1 处
重新加载模块依赖项
模块缓存使重复import不自动读取修改;重载能更新部分定义,却不能保证所有旧引用同步。
模块缓存影响交互更新
模块第一次导入后通常被缓存,后续import复用已加载模块;编辑源文件再运行依赖它的脚本,不保证自动采用新定义。reload可重新执行模块级代码,但外部保存的旧对象引用未必更新,模块旧字典项也可能保留。递归重载同样有限,难以确认状态时重启会话再按依赖顺序运行更易判定。
模块缓存影响交互更新保存独立卡片。
代码设计提示
以下三个小节分别讨论可观察结果、耦合程度与模块文件边界。
保留有意义的对象和数据
函数局部结果若未返回,脚本执行后未必能从交互环境检查,需设计结果暴露方式。
结果可观察性需要显式设计
main内部定义的局部变量不自动成为IPython全局名称,即使脚本已运行,也可能无法继续检查中间数据。探索阶段可在脚本顶层留下有意义的对象,或设计显式返回结果的接口。是否便于观察取决于作用域与结果交接,不能由“函数执行成功”直接推断。
结果可观察性需要显式设计保存独立卡片。
原书依据 · 1 处
扁平结构要比嵌套结构好
低耦合与模块化减少到达目标逻辑需要穿越的层数,便于交互、调试与测试。
降低耦合便于独立观察
若目标逻辑深藏于多层相互依赖的调用,交互检查前就得准备许多外围状态。把职责划清、减少不必要耦合,可让函数更容易独立调用和观察。扁平并不等于消灭所有抽象;判断标准是是否减少理解与准备负担,同时保持清楚的职责。
降低耦合便于独立观察保存独立卡片。
原书依据 · 1 处
无惧大文件
交互探索中少量高内聚模块可减少重载与跳转成本,但文件大小不能替代边界设计。
模块边界要兼顾内聚与改动
紧密相关的分析代码集中在少量高内聚模块,可减少交互开发时的跳转和依赖重载;问题稳定后再拆分也可能合适。不能据此把所有功能塞进巨文件。团队代码仍需可理解的包结构,使每个模块职责相关、函数与类的位置可预测,文件行数只是次要信号。
模块边界要兼顾内聚与改动保存独立卡片。
原书依据 · 1 处
高级IPython功能
高级功能部分的标题,后续介绍定制类输出、profiles与配置。
让你的类对IPython更加友好
自定义类通过repr返回有意义的字符串,可让交互环境更容易观察对象内容。
对象表示需暴露有意义内容
默认对象表示往往只有类型与地址,不说明业务数据。Message保留msg,并由repr(self)返回包含该消息的字符串;repr(obj)便可用于交互显示。表示方法负责说明对象,不改变对象本身的计算语义,也不应让读者把显示字符串误当原始对象。
结构图:
classDiagram
class Message {
__init__(self, msg)
__repr__(self) str
}
类图仅列原书实际方法;init保存消息,repr返回显示文本。
对象表示需暴露有意义内容保存独立卡片。
原书依据 · 1 处
个性化和配置
profiles把外观、启动行为和扩展配置组合起来,适合区分不同项目的交互习惯。
配置档案固定启动行为
IPython profile可保存提示符、颜色、启动导入、扩展与别名等设置;本书用profile create名称创建,再通过–profile=名称选择启动。它组织交互行为,但不等于隔离Python依赖环境。配置还能执行Python代码,启动后有哪些名称可能受其影响,需与脚本显式依赖区分。
配置档案固定启动行为保存独立卡片。
原书依据 · 1 处
致谢
致谢确认本章部分材料来自IPython团队,不包含新增方法说明。
第4章 NumPy基础:数组和矢量计算
NumPy提供数组计算基础,pandas进一步提供标签与表格领域接口,两层职责互补。
ndarray是数组接口关联本项背景,实质主要讲解在对应位置。
DataFrame有两条轴关联本项背景,实质主要讲解在对应位置。
别名导入保留名称来源关联本项背景,实质主要讲解在对应位置。
NumPy的ndarray:一种多维数组对象
ndarray用形状与dtype说明多维数据布局和元素解释方式,数组表达式可对整块数据运算。
ndarray是数组接口关联本项背景,实质主要讲解在对应位置。
数组形状描述各轴长度
ndarray的shape是按轴顺序列出长度的元组,例如(2,3)表示两行三列,不是共有两项或六个维度。dtype说明每个元素按何种类型解释;形状与元素类型描述的是不同信息。理解结果前先确认各轴代表什么,形状相同也不保证两份数据的业务维度相同。
数组形状描述各轴长度保存独立卡片。
原书依据 · 1 处
创建ndarray
数组创建可从现有序列转换,也可按形状填充;未初始化与零初始化的语义不同。
数组创建需明确形状与初值
np.array把规则序列转换为数组,嵌套层次形成轴;zeros/ones按给定形状填0/1,*_like借已有数组确定形状与类型,arange生成数值序列,eye/identity生成单位矩阵。默认dtype并非一律float64:从序列构造会推断类型,具体函数各有规则。创建后先确认shape和dtype再解释数据。
数组创建需明确形状与初值保存独立卡片。
原书依据 · 1 处
未初始化不等于数值为零
数值数组np.empty主要分配空间,不承诺把每个元素填0;看到的偶然零值不构成初始化保证。只有在读取前确定会覆盖全部所需位置时,才可依赖这种分配方式。需要已知初值时应明确初始化;对象数组等类型有自身初始化约定,不能把数值示例推广到所有dtype。
未初始化不等于数值为零保存独立卡片。
原书依据 · 1 处
转换是否复制取决于接口条件
array与asarray都能把输入转换为ndarray,但是否复制还取决于接口、dtype与布局要求。原书表中asarray对已有数组“不复制”的简化说法需限定为可直接兼容的情况,不能用来保证任意输入或类型转换都共享原内存。若后续会修改结果,应明确需要共享还是独立副本。
转换是否复制取决于接口条件保存独立卡片。
原书依据 · 1 处
ndarray的数据类型
dtype描述内存中的元素解释;类型转换可能截断、失败或改变内存占用,浮点计算有近似误差。
dtype决定解释方式
dtype规定数组元素的类型、位宽等解释方式;如float64为64位浮点,int32为32位整数,类型选择影响内存与可表达的值。object数组保存Python对象引用,其元素引用可指向不同种类对象,不能把同一dtype误读为被引用对象同类。存储类型与数据业务含义仍需分别确认。
dtype决定解释方式保存独立卡片。
原书依据 · 1 处
类型转换可能损失信息
astype显式转换dtype;浮点转整数会舍去小数部分,不能当成四舍五入,字符串也只有满足数值格式时才能转为相应数值。转换成功不证明信息无损,转换失败也不能一律认定同一种异常类型。读取外部数据前应确认允许的取值、精度与失败处理。
类型转换可能损失信息保存独立卡片。
转换副本取决于复制选项
原书把astype描述为总创建新数组,这是其示例默认行为的说明。当前ndarray.astype默认copy=True,即使类型相同也复制;copy=False仅在类型、顺序等要求允许时可返回原数组,不能保证绝不分配。判断共享与修改影响时,需查看实际接口和选项,不能沿用无条件断言。
转换副本取决于复制选项保存独立卡片。
原书依据 · 1 处
浮点比较需明确误差容限
浮点类型只能近似表示许多分数,计算累积的误差会影响直接相等比较。比较数值时需依问题尺度设置可接受误差,不能将末尾小数位的差异直接解释为实际现象。更宽类型也不等于所有分数均可精确表示;近似相等更不证明前面的计算逻辑正确。
浮点比较需明确误差容限保存独立卡片。
原书依据 · 1 处
向量化替代循环
把同类批量工作表达为数组算术,可让库处理元素遍历,减少Python显式循环。本节同形数组相乘是对应元素相乘,不是矩阵乘法;数组与标量运算把标量作用到各元素。省去Python循环不等于没有循环、没有临时数组或一定更快,仍需核对运算语义、dtype与实际工作负载。
向量化替代循环保存独立卡片。
基本的索引和切片
基本切片返回共享数据的视图,写入会影响原数组;整数逐轴索引可降低维度。
切片优先返回视图
NumPy基本切片通常得到共享原数据的视图,如arr[5:8];修改视图元素会改变原数组。需要独立数据时显式copy,避免误以为取子数组就是复制。这个结论限基本切片:布尔或整数数组等高级索引取值有不同规则,不能把所有索引结果都当视图。
切片优先返回视图保存独立卡片。
逐轴整数索引会移除轴
对多维数组给出整数索引,就固定对应轴的位置;省略的后续轴仍保留。例如(2,2,3)形状数组取[0]后为(2,3),再取[1,0]得到长度3的一维数组。读索引表达式时按轴逐步判断,不能仅凭方括号数量猜维度;切片保留轴,与整数索引不同。
逐轴整数索引会移除轴保存独立卡片。
布尔型索引
布尔数组按True位置选择数据;复合条件需逐元素运算,取值副本与索引赋值的效果要区分。
布尔数组是筛选器
把逐元素比较的True/False结果作为掩码,可选出满足条件的行或元素;掩码形状须匹配被索引的相应轴。多个条件用带括号的&与|逐元素组合,不能用Python的and/or代替。取反应按适用版本的布尔逻辑操作处理,不照抄原书用算术负号否定布尔数组。
布尔数组是筛选器保存独立卡片。
原书依据 · 1 处
高级索引取值与赋值要分清
布尔索引取值会得到数据副本,所以先取出子数组再修改,通常不会修改原数据;但data[mask]=值是直接索引赋值,会写回原数组指定位置。这是两条不同的执行路径,不能从“取值返回副本”推断直接赋值无效。基本切片视图又有不同共享规则。
高级索引取值与赋值要分清保存独立卡片。
原书依据 · 1 处
花式索引
整数数组可按指定顺序选取,多个同形索引数组按坐标配对,而非自动取行列笛卡尔积。
整数索引列表定义选取顺序
给数组传入整数列表可按列表顺序选取行,负数位置从末尾计数。这种花式索引返回副本,不等于连续切片的视图。位置列表也不自动附带业务标签,读取结果时应保留其与原行身份的对应。
整数索引列表定义选取顺序保存独立卡片。
原书依据 · 1 处
坐标配对不同于矩形选区
arr[[1,5,7,2],[0,3,1,2]]把两列位置一一配对,选出四个坐标的值;想取指定行和指定列的所有交叉位置,可用np.ix_构造索引。两种方式的形状与含义不同,不能以“选这些行列”这个模糊说法代替确认。
坐标配对不同于矩形选区保存独立卡片。
原书依据 · 1 处
轴置换改变坐标解释
二维.T交换行列;transpose给出新的轴顺序,如(1,0,2)交换原前两轴并保留第三轴;swapaxes指定一对轴交换。它们对ndarray通常得到共享源数据的视图,重排坐标解释而非逐元素生成独立副本。高维.T默认反转所有轴次序,不能只按二维行列互换想象。
轴置换改变坐标解释保存独立卡片。
原书依据 · 1 处
通用函数:快速的元素级数组函数
ufunc对数组逐元素运算,可有一元/二元输入和多个输出;表中函数按用途分组理解。
通用函数表达逐元素映射
ufunc把标量运算扩展到数组元素:sqrt或exp是一元,maximum接受两个输入逐元素取较大者;有些函数返回多个数组。输入个数与输出个数是两回事,maximum也不等于对整个数组求一个最大值。数组表达式便于批量计算,但仍需核对形状兼容与数值类型。
通用函数表达逐元素映射保存独立卡片。
原书依据 · 1 处
数值变换要区分取整规则
平方/开方、exp与不同底的log,以及三角/双曲与反函数服务于不同数值变换;ceil向上取整、floor向下取整,rint按最近整数规则取整。modf分别返回小数与整数部分,保留输入符号,不能把它等同于divmod的商与余数。对负数或精度敏感时尤其要核对规则。
数值变换要区分取整规则保存独立卡片。
原书依据 · 1 处
数值状态检测返回布尔掩码
isnan识别NaN,isfinite检查有限值,isinf检查无穷;返回的布尔数组可供筛选与检查。它们回答数值表示是否满足特定条件,不证明数据在业务上有效。不能因某值不是NaN就认定它有限,也不能以普通大小比较代替所有状态检测。
数值状态检测返回布尔掩码保存独立卡片。
原书依据 · 1 处
元素级算术需核对方向
add/subtract/multiply/divide/power等对相应元素运算;floor_divide向下整除,mod取相应余数。copysign(x,y)使用x的大小与y的符号,原书表格把符号复制方向写反。非交换运算的参数顺序决定结果,不能把同一对输入的反向调用当等价。
元素级算术需核对方向保存独立卡片。
原书依据 · 1 处
极值函数需明确缺失值策略
maximum/minimum逐元素比较两个输入,fmax/fmin在可用的另一值存在时忽略NaN。选哪一组函数,取决于是否希望缺失值传播,不能把“忽略”当自动修复数据。与沿轴聚合求极值也须区分:逐元素比较保留逐位置结果。
极值函数需明确缺失值策略保存独立卡片。
原书依据 · 1 处
逻辑函数不同于整数位运算
比较函数逐元素产生真假值,logical_and/or/xor/not组合逻辑真假。对布尔数组,它们与相应布尔运算有联系;对整数数组,&、|、^是按位运算,不能泛称与逻辑函数完全等价。算术负号也不能当通用逻辑取反。
逻辑函数不同于整数位运算保存独立卡片。
利用数组进行数据处理
meshgrid把两轴采样点展开为全部坐标组合,再用逐元素表达式计算每点函数值。
网格展开组合全部坐标
np.meshgrid把两组一维坐标展开成对齐的二维坐标数组,再以sqrt(xs2+ys2)计算网格点到原点的距离。结果数组的每个位置对应一个坐标组合,并可映射为图像亮度。网格展开会增加数据规模:每轴1000点形成100万个组合,简洁表达式不等于内存成本不变。
网格展开组合全部坐标保存独立卡片。
原书依据 · 1 处
将条件逻辑表述为数组运算
where按逐位置条件选择两侧输入,可用嵌套表达多分支,但不等于Python控制流短路。
条件选择依赖逐位置规则
np.where(cond,x,y)在条件为True的位置选x,否则选y;标量也可作为候选值,数组须满足形状兼容。它生成按条件选择的结果,不是只计算被选分支的Python短路控制流,候选表达式仍可能先求值。arr>0的反侧包括零,不能把替换规则口头缩为仅处理负数。
条件选择依赖逐位置规则保存独立卡片。
多条件编码先列清真值表
两条布尔条件有四种组合,应先确定每种组合的目标值,再写嵌套where。例如本节依次把双真、仅第一真、仅第二真、双假编码为0、1、2、3。可读的条件表比神秘算术更易核对;旧示例用布尔算术负号的写法不作为当前代码,不能为缩短表达式改变语义。
多条件编码先列清真值表保存独立卡片。
原书依据 · 1 处
数学和统计方法
约简沿选定轴把多个值汇总,累计运算则保留逐步中间值,统计值与位置也不同。
约简轴决定保留哪些结果
sum/mean等约简沿指定轴汇总,默认示例不保留被汇总的那一维。二维数组axis=1沿每行的列方向计算,得到每行一个结果;axis=0则对各列跨行汇总。先明确轴代表什么,再选择统计范围,不能把轴编号直接当结果里保留的行列。
约简轴决定保留哪些结果保存独立卡片。
原书依据 · 1 处
累计运算保留中间轨迹
cumsum与cumprod沿选定轴依次累加或累乘,输出包含到当前位置为止的中间结果。sum/prod通常把该轴汇成一个值;两者回答“过程如何累积”与“最终合计多少”的不同问题。累计和常用于阈值定位,但仍需检查数值符号、顺序和溢出风险。
累计运算保留中间轨迹保存独立卡片。
原书依据 · 1 处
极值位置不同于极值本身
min/max给出极值,argmin/argmax给出其位置;sum、mean、std、var分别回答合计、均值和离散程度。选择函数时先确认需要数值还是坐标、哪条轴以及方差的自由度约定。空数据的合计和均值也不能混看:原表举零长度sum为0而mean为NaN,后者不是观测值0。
极值位置不同于极值本身保存独立卡片。
原书依据 · 1 处
用于布尔型数组的方法
布尔值按0/1求和可数命中,any和all分别判断至少一个与全部。
条件计数不同于存在性检查
布尔数组sum把True当1、False当0,可统计满足条件的个数;any只问是否至少一个True,all问是否全部True。计数、存在与全称是三种结果,不能互换。对非布尔数值会先按真假解释,非零不等于业务上有效;用检查结果前仍需确认条件含义和样本范围。
条件计数不同于存在性检查保存独立卡片。
原书依据 · 1 处
排序
数组sort就地修改,顶级sort生成副本;排序后的位置统计有自己的分位数约定。
排序接口决定是否改原数据
arr.sort沿指定轴就地排序,np.sort返回已排序副本。二维arr.sort(1)独立排每行的元素,不是保持记录整行移动的表格按列排序。排序前应确定要保留哪些对应关系;数值顺序正确也可能破坏同一条记录各字段的关联。
排序接口决定是否改原数据保存独立卡片。
位置取值只是分位数约定之一
将样本排序后取int(0.05*n)位置,是书中一个简单的5%位置取值规则。分位数可采用不同位置与插值约定,所以它不等于所有统计软件定义下的精确5%分位数。解释结果时需说明样本范围和算法,不能只写“分位数”就假定实现相同。
位置取值只是分位数约定之一保存独立卡片。
原书依据 · 1 处
唯一化以及其他的集合逻辑
一维集合操作区分去重、交并差与逐元素成员资格,不同操作保留信息不同。
集合去重会丢失次数与位置
unique找出不同值,原书默认示例返回有序结果;intersect1d/union1d求交集和并集,setdiff1d求前者独有,setxor1d求只在一侧出现的值。它们用于比较成员集合,不保留原始重复次数与行位置,不能直接替代按记录计数或保序筛选。
集合去重会丢失次数与位置保存独立卡片。
原书依据 · 1 处
成员资格掩码保留逐项位置
原书in1d为输入每个位置判断其值是否属于目标集合,返回与这些位置对应的布尔结果,重复值仍分别保留位置。它与交集只返回不同公共值的用途不同,适合接续筛选原记录。具体API及其替代入口随NumPy版本变化,旧名称不当作当前兼容保证。
成员资格掩码保留逐项位置保存独立卡片。
原书依据 · 1 处
用于数组的文件输入输出
数组可以通过文本或二进制与文件交换,具体格式在接下来两个单元展开。
将数组以二进制格式保存到磁盘
npy保存单数组,npz归档多数组;归档与压缩、数组与对象反序列化有不同边界。
数组格式保留形状与类型
np.save把单个数组保存为.npy,np.load读回;它是带数组格式信息的二进制文件,不等同一段无描述的裸内存。持久保存数组不自动保存分析过程、外部数据版本或变量语义。读取时还需确认来源与类型,不能因为扩展名相同就认为所有内容可安全反序列化。
数组格式保留形状与类型保存独立卡片。
原书依据 · 1 处
多数组归档不等于压缩
np.savez用名称把多个数组放入一个.npz归档,加载后按键取数组。原书称其“压缩文件”易混淆:savez归档默认不做数据压缩,压缩接口另有savez_compressed。读取多数组归档还需管理打开资源的生命周期;归档容器和内部数组分别处理,不能当一个普通数组。
多数组归档不等于压缩保存独立卡片。
原书依据 · 1 处
存取文本文件
文本数组导入需要明确分隔、跳行、列转换与缺失处理,导出格式也决定可保留的信息。
文本数组读写需声明解析约定
np.loadtxt按分隔符等规则把文本读成数组,np.savetxt将数组写为分隔文本;genfromtxt侧重更复杂的结构与缺失处理。解析前需确认列数、类型、跳过行和缺失值约定,得到二维数组不代表字段语义已正确。文本显示的小数位也不能直接等同内存中完整数值精度。
文本数组读写需声明解析约定保存独立卡片。
原书依据 · 1 处
线性代数
二维dot按矩阵规则相乘,linalg提供分解与方程求解,适用形状与数值条件各不相同。
矩阵乘法不同于逐元素乘法
二维数组的*对应逐元素相乘,dot按矩阵乘法汇合左矩阵列与右矩阵行。书中(2,3)乘(3,2)得到(2,2),内侧维度必须匹配;与合适的一维向量相乘则得到一维结果。相同的乘号直觉不能跨语言直接套用;先确定需要逐元素还是线性变换。
矩阵乘法不同于逐元素乘法保存独立卡片。
线性代数接口按问题选择
linalg的inv用于逆、pinv用于伪逆,qr/svd用于不同分解,eig给特征信息,solve处理方阵方程,lstsq处理最小二乘;diag/trace/det分别服务对角元素、迹与行列式。它们不是同一问题的可互换名称,尤其不能从一个随机样例可求逆推断所有方阵均可逆或数值稳定。
线性代数接口按问题选择保存独立卡片。
原书依据 · 1 处
随机样本需声明分布与形状
批量随机生成可通过size指定样本形状,并选择正态、均匀、二项、Beta、卡方或Gamma等分布。样本只反映所选模型和参数,数组形状不决定概率分布。书中normal的默认样本是标准正态,不能把一次4×4输出当总体特征验证或固定可复现数值。
随机样本需声明分布与形状保存独立卡片。
随机排列需区分原地修改
permutation返回随机排列结果,shuffle对原序列就地打乱,seed设置随机生成状态。取新排列与改原对象对后续计算的影响不同;种子也需结合生成器、调用顺序和环境解释,不能只记录一个数就认定所有环境必得同一序列。
随机排列需区分原地修改保存独立卡片。
范例:随机漫步
随机漫步以步长累计形成轨迹,再从轨迹提取极值和首次达到阈值的位置。
随机漫步检验模型
简单随机漫步假设每一步以相同概率取+1或-1,位置由步长累计和给出。数组实现先生成步长,再沿时间累加,便于比较程序与所设模型是否一致;这类模拟不证明现实过程满足等概率等假设。Python循环例子包含初始0,而数组累计和从第一步后开始,索引口径也需对齐。
结构图:
flowchart TD
A[等概率生成0或1] --> B[映射为正负一步]
B --> C[按时间累计求和]
C --> D[得到位置轨迹]
随机漫步检验模型保存独立卡片。
首次命中需先确认确有命中
阈值条件生成布尔数组后,argmax可定位第一个True,但全为False时同样返回一个位置,不能据此判为成功命中。先用any确认存在,再取首个位置;数组从第一步后开始时,索引37对应第38步,不是37步。未达阈值与达到阈值很晚也应分开表示。
首次命中需先确认确有命中保存独立卡片。
原书依据 · 1 处
模拟矩阵需区分轨迹与时间轴
多条随机漫步用形状(轨迹数,步数)的矩阵表示,每行一条路径,沿axis=1累计才是各自随时间演化。沿错误轴会把不同轨迹混加;全矩阵max/min也不同于每条轨迹的极值。轴的业务含义需先声明,再选约简与累计方向。
模拟矩阵需区分轨迹与时间轴保存独立卡片。
原书依据 · 1 处
命中条件均值不是全体均值
先筛选在给定时限内达到阈值的轨迹,再对首次命中位置求平均,结果只描述命中子集。未命中轨迹被排除,不能把该平均数称为所有路径的平均到达时间;还应报告命中比例与观察时限,并区分数组索引和真实步数。
命中条件均值不是全体均值保存独立卡片。
原书依据 · 1 处
第5章 pandas入门
pandas将按标签对齐、缺失处理、关系运算与时间数据接口组合成结构化数据处理工具。
DataFrame有两条轴关联本项背景,实质主要讲解在对应位置。
别名导入保留名称来源关联本项背景,实质主要讲解在对应位置。
pandas的数据结构介绍
Series与DataFrame作为后续操作的主要载体,细节由下两节展开。
Series绑定标签
Series是一维带索引标签的数据对象。标签标识数据点,布尔筛选和标量运算仍保留标签与值的对应;不能只看显示顺序当作记录身份。默认整数索引也仍是标签,索引允许重复,因此Series与唯一键字典只是有限类比,不等同其全部约束。
Series绑定标签保存独立卡片。
原书依据 · 1 处
自动对齐防错位
Series间算术按标签匹配,不是简单按第几个位置相加;结果纳入相关标签,缺少对应值处可能成为缺失。这样避免顺序不同造成部分错配,但不能保证标签本身真实、唯一或业务含义一致。对齐规则与预期记录身份都要核对。
过滤后的表可能仍保留不连续原索引;给辅助表复用该索引再按标签连接,可以避免把第n行误当编号n。
自动对齐防错位保存独立卡片。
指定标签定义构造结果范围
由字典构造Series时,显式index指定输出标签及顺序;字典有而未被选中的项可不出现,指定但源中没有的标签产生缺失。缺失不是数值0,也不证明该类事物不存在。原书默认按键排序的结果依历史版本,当前构造次序应查看所用版本说明。
指定标签定义构造结果范围保存独立卡片。
原书依据 · 1 处
名称元数据不同于轴标签
Series的name描述这列数据,index.name描述索引轴;它们都不同于每个数据点的标签。更换整个index是在重标记记录,不是按原标签重新匹配数据。标签名称有助解释结果,但只改名字不会改变已有值的业务含义或自动完成单位转换。
名称元数据不同于轴标签保存独立卡片。
原书依据 · 1 处
表构造须核对输入的轴含义
由等长数组字典构造表时,键对应列、数组位置对应行;嵌套字典则外键作列、内键合成行标签,Series字典也按标签对齐。显式index/columns可声明结果范围和次序,缺项产生NA。不同输入结构并非仅换一种写法,它决定标签来自何处。
表构造须核对输入的轴含义保存独立卡片。
列赋值按值类型确定匹配
标量赋列可作用到全部行,列表或数组通常按位置赋值且长度需匹配;Series赋列按行标签对齐,缺失的标签位置填缺失。看起来同样长度的对象可能执行不同匹配规则。给新列名赋值可创建列,del删除列;它们直接改变表结构,不能当只读选择。
列赋值按值类型确定匹配保存独立卡片。
原书依据 · 1 处
派生列的修改语义有版本前提
原书旧版警告修改取出的Series可能反映到原DataFrame;不能把它推广为所有pandas版本。pandas 3.0的Copy-on-Write下,派生对象的修改不会作为更新原表的路径,应直接修改目标对象。共享底层内存与用户可见修改行为需分别判断,避免把NumPy切片规则直接套到pandas。
派生列的修改语义有版本前提保存独立卡片。
取值数组会丢失标签层
DataFrame.values取得二维数组表示,行列标签不随数组值一起保留;异构列还可能合成为兼容的单一dtype,如原书例子的object。后续运算如果只保留数组,须另保存轴含义与对应关系。数组取得是否复制、是否可写也要看具体接口和版本,不能从二维外观推断。
取值数组会丢失标签层保存独立卡片。
原书依据 · 1 处
索引对象
Index管理轴标签并限制逐项修改,集合式操作通常产生新索引,标签唯一性仍需显式检查。
索引不可逐项修改便于共享
Index管理轴标签与元数据,其元素不能像普通数组那样原地改写;这样多个对象可共享同一个索引而不被逐项修改破坏。需要新标签时可以构造或替换索引。不可逐项修改不等于索引值必唯一、名称永不能变,也不等于表内数据不可修改。
索引不可逐项修改便于共享保存独立卡片。
原书依据 · 1 处
索引操作应区分集合与次序
Index的intersection/union/difference类操作比较标签集合,isin产生成员资格掩码;append、insert、delete/drop等生成相应新索引。集合去重、顺序与重复标签规则需要分别核对,不能把Index当完全相同于Python set。is_unique检查唯一性,单调性与唯一性又是不同属性。
索引操作应区分集合与次序保存独立卡片。
原书依据 · 1 处
基本功能
接下来集中介绍Series和DataFrame的常见操作,不是完整API手册。
重新索引
reindex按目标轴标签形成新对象,缺失标签的填法和顺序须明确,重标记不是重匹配。
重索引声明形状
reindex先声明希望得到的行或列标签,再把现有值按标签放到对应位置;源中没有的目标标签产生缺失,未被选择的源标签不进入结果。它与直接给index赋一串新标签不同:后者改标签,前者按标签匹配。结果范围和次序明确后,才可判断缺项是否符合预期。
重索引声明形状保存独立卡片。
原书依据 · 1 处
填充值隐含数据延续假设
前向填充沿有序索引沿用此前值,后向填充借用后继值;固定fill_value则为重索引新引入的缺位指定值。填充是对未知数据作约定,不会凭空增加观测证据。时间有序、可延续性及允许跨度需与任务匹配;重索引填法也不自动修复原数据已有的缺失值。
填充值隐含数据延续假设保存独立卡片。
重索引填充需限制匹配范围
重索引可分别指定行和列,method选择相邻标签的填法,limit限制连续填充数量,level用于层次索引匹配。它们控制匹配和填补范围,不代表任意缺项都可无条件补齐;复制选项与旧.ix行为还有版本前提,不能拿原书参数表代替当前API说明。
重索引填充需限制匹配范围保存独立卡片。
丢弃指定轴上的项
drop按指定轴的标签删除并默认返回新对象,轴选择决定删除行还是列。
丢弃标签需明确目标轴
drop按标签从指定轴移除项;DataFrame默认行轴,axis=1选择列轴。书中例子返回新对象,原变量若未接收结果并不会因此自动变成删项后的表。标签与整数位置不同,删除前应确认轴、待删对象和是否直接修改原对象。
丢弃标签需明确目标轴保存独立卡片。
原书依据 · 1 处
标签切片与位置切片端点不同
本节Series标签切片b:c包含两端标签,而普通位置切片起点含、终点不含。标签为整数时,值本身与位置容易混淆,不能只看数字外形判断。旧版隐式混用或.ix行为不宜直接照抄,操作前应明确按标签还是按位置,并核对目标版本的显式入口。
整数索引时尤其要明确意图:当前pandas用.loc表达标签选择、.iloc表达从0开始的位置选择;本书.ix及iget_value/irow/icol是历史入口,不能照抄。
标签切片与位置切片端点不同保存独立卡片。
表选择须区分行列与元素掩码
DataFrame用列名或列名列表选择列;行切片与一维布尔条件选择行;与表同形的布尔条件可对各个单元格施加选择或赋值。相同方括号中放入不同对象会改变选择粒度,不能把列名列表误当行列表,也不能把元素掩码当整行条件。
表选择须区分行列与元素掩码保存独立卡片。
原书依据 · 1 处
算术补值会改变缺失语义
df1.add(df2,fill_value=0)在算术前为一侧缺失处提供替代值,避免原本因缺一侧而得到NA;这等于把那类未知按0参与计算,必须符合数据含义。双方同一位置都缺失时也不能据“填0”推断必得0。算术补值和重索引新引入缺项的填补范围不同,应分别核对。
算术补值会改变缺失语义保存独立卡片。
原书依据 · 1 处
表向量运算先确定匹配轴
DataFrame与Series运算默认用Series索引匹配列标签,再将该行式向量用于各行。若Series标签实际代表行,应通过算术方法指定axis=0按行标签匹配并向各列扩展。轴号表示匹配哪条轴,不是简单说“沿哪里复制”;缺少标签仍可能引入NA。
表向量运算先确定匹配轴保存独立卡片。
原书依据 · 1 处
函数应用和映射
函数应用有按轴整组和逐元素两类,返回标量与Series又决定结果形态。
函数应用需明确输入粒度
DataFrame.apply默认把各列交给函数,axis=1改为各行;函数可返回单值,也可返回多项Series形成新的结果维度。逐元素映射则一次接收一个值,原书称applymap,现行DataFrame.map承接该用途。选择接口前先确定函数需要整行、整列还是一个元素,已有sum/mean等方法时无需机械再包apply。
函数应用需明确输入粒度保存独立卡片。
原书依据 · 1 处
格式化文本不同于数值舍入
将数值格式化为两位小数字符串,主要改变呈现与输出类型,不等于原数值被精确舍入或仍可按数值计算。对整个表逐元素格式化后,后续若还需计算,应保留数值数据与展示文本的分工,避免把带小数外观的字符串当浮点数组。
格式化文本不同于数值舍入保存独立卡片。
排序和排名
按索引排序、按数据值排序和排名是不同操作,多列优先级与平级规则须明确。
按索引排序不同于按值排序
索引排序按轴标签重新排列,按值排序则依据数据列的内容;多列排序还按列列表决定先后优先级。Series或表的行在重新排列时应保留标签对应,而不是把标签本身改成顺序号。升降序与缺失位置也应确认,旧order和sort_index(by=)不直接作为当前接口使用。
按索引排序不同于按值排序保存独立卡片。
原书依据 · 1 处
排名数值取决于平级规则
rank为值赋予相对名次,不必把原数据重新排成有序列表。相同值可用平均名次、最小/最大名次或原出现顺序区分,因而同一批值有不同合法排名结果。排名不同不一定是计算错误,先核对升降序、轴和处理平级的规则;rank也不同于argsort返回的重排位置。
排名数值取决于平级规则保存独立卡片。
原书依据 · 1 处
重复标签改变选择结果形态
Series标签唯一时选中一个值可能返回标量;同一标签出现多次时,选择结果可能为包含多项的Series,DataFrame行选择也会受影响。Index不可变并不保证标签唯一,可用is_unique检查;依赖单记录返回的代码应先确认这一前提,不能把重复标签误当自动去重。
重复标签改变选择结果形态保存独立卡片。
汇总和计算描述统计
描述统计按轴汇总有效值,缺失策略、值/标签/位置结果与单项/多项报告需区分。
汇总缺失策略影响统计含义
pandas约简常默认跳过缺失值,skipna=False则使缺失参与传播;有效值数量因此也是解释结果的重要背景。全缺失数据的结果还依函数与版本:原书sum示例为NA,当前默认sum可为0,min_count可要求最少有效项数。不能把合计0直接当成观察到的零值。
汇总缺失策略影响统计含义保存独立卡片。
原书依据 · 1 处
统计接口返回值标签或位置
min/max给极值本身,argmin/argmax给位置,idxmin/idxmax给取得极值的轴标签;count计非NA项,describe一次给多种汇总。选择接口前应明确所需结果语义。标签可能重复,极值位置和标签都不能单独保证唯一业务记录。
统计接口返回值标签或位置保存独立卡片。
描述报告随数据类型改变
数值型describe报告有效数、均值、标准差和分位点等;字符串等非数值数据则可报告不同值数、众数与其频数。两种报告回答不同问题,不应强行把类别编码当连续量求均值,也不应把样本概况当因果解释或分布模型已验证。
描述报告随数据类型改变保存独立卡片。
原书依据 · 1 处
累计差分与变化率各有基准
cumsum/cumprod累计历史值,cummin/cummax记录至当前的极值;diff计算相邻差,pct_change计算相邻相对变化。偏度与峰度则概括分布形态,不能与累计轨迹混用。时间数据运算前还要确认排序、间隔和基准项;缺失或零基准也需按具体规则处理。
累计差分与变化率各有基准保存独立卡片。
原书依据 · 1 处
相关系数与协方差
相关系数与协方差基于成对共同有效数据,矩阵或corrwith的形状由比较对象决定。
成对统计依赖共同有效样本
Series的corr/cov先按索引匹配共同的非缺失观测,结果描述这组配对样本。不同两列有不同缺失时,矩阵各单元可能基于不同的有效样本,不能假定样本范围完全一致。较高相关也不自动证明因果、稳定性或预测能力;先核对数据日期、口径与有效数量。
成对统计依赖共同有效样本保存独立卡片。
原书依据 · 1 处
成对统计按比较范围选接口
Series.corr/cov比较两条序列;DataFrame.corr/cov生成列间完整矩阵。corrwith把表的列或行与另一Series,或按列名配对的另一表比较,返回相应的一组系数。选择接口要从比较对象与轴出发,不把全矩阵、逐列配对和单一系数当成同一个结果形态。
成对统计按比较范围选接口保存独立卡片。
原书依据 · 1 处
唯一值、值计数以及成员资格
Series去重、频次与成员掩码返回不同信息,逐列频数表的零值有统计口径前提。
唯一值不等于频次数量
Series.unique提取不同值,原书示例保留发现次序;value_counts进一步计每个值的出现次数,常按频数降序显示。一个给集合中的值,一个给计数,两者都不同于按原位置返回的isin掩码。也不能把Series.unique默认顺序与NumPy.unique示例的排序结果混为一谈。
唯一值不等于频次数量保存独立卡片。
原书依据 · 1 处
逐列频数表按取值对齐
对多列分别计数,再按取值标签对齐,可得到“取值×问题列”的频数表。某列没有出现该取值导致对齐缺项时,填0表示在所计样本中出现次数为0;这不等同把原始问卷缺失回答都算作0。频数表也不包含不同问题答案间的联合分布。
逐列频数表按取值对齐保存独立卡片。
原书依据 · 1 处
缺失检测不同于删除与填补
isnull/notnull给出缺失或非缺失的布尔判断;dropna依据缺失情况筛掉记录或轴项,fillna为缺失位置提供替代值。检测只揭示状态,后两者会改变参与分析的数据或数值。应先确定缺失意义,再选择处理,不能因为某方法调用容易就默认删除或填0。
缺失检测不同于删除与填补保存独立卡片。
滤除缺失数据
dropna按缺失模式删除,any/all与非缺失数量门槛代表不同样本筛选规则。
删除缺失行要明确保留门槛
DataFrame.dropna默认可删除含任一缺失的行;how=all只删全缺失行,axis=1改为列,thresh要求至少给定数量的非缺失值。选择不同门槛会保留不同样本,删整行还会丢掉其中有效字段。应把规则和删后样本数量一起记录,不能把清理后的表自动视作无偏完整数据。
删除缺失行要明确保留门槛保存独立卡片。
原书依据 · 1 处
缺失填补需区分列与数值含义
fillna用常数替换缺失,也可用字典为不同列指定不同值。字典键对应列标签,示例中指定不存在的列3不会替原有列2补值;因此不能只看写了多个键就认定所有空洞都已填。填补后需核对实际列与剩余缺失,并保留所用假设。
缺失填补需区分列与数值含义保存独立卡片。
均值填补不会恢复真实观测
用已有有效值的均值或中位数替换缺失,可以保留记录,但填入的是模型化替代值,不是找回真实数据。它会影响分布与后续统计,尤其不能再把填补结果当作独立新增观测支持原均值。记录哪些位置被替换及替代规则,才能解释分析边界。
均值填补不会恢复真实观测保存独立卡片。
就地操作不保证返回原对象
inplace控制是否直接修改目标对象,返回值则是另一个接口契约。原书fillna例子的“总是返回被填充对象引用”不能推广为所有版本或方法。调用后需按实际契约使用结果,避免把某次就地操作的返回值再赋给原变量,导致失去对预期对象的引用。
就地操作不保证返回原对象保存独立卡片。
层次索引压缩维度
层次索引让一条轴的每个位置由多个标签级别共同定位,例如地区与年份组合;Series仍是一维对象,却可表达多组维度信息。它改变标签组织,不是压缩数值字节或自动聚合记录。显示中省略重复外层标签只是排版,层级名称也不同于具体标签值。
层次索引压缩维度保存独立卡片。
分层选择可固定部分坐标
MultiIndex可固定外层标签取一个子组,也可在内层挑选相同标签的不同外组数据。选择后哪些级别被固定、哪些仍保留,决定结果的标签与形状;它不是把相同内层值自动求和。两条轴都可分层,取列组和取行组还需区分轴。
分层选择可固定部分坐标保存独立卡片。
原书依据 · 1 处
重排分级顺序
交换层级改变标签坐标顺序,按层排序改变排列,两者常配合但不同。
交换层级不等于按层排序
swaplevel互换索引级别的位置,值仍对应原来那组标签坐标,并不自动把结果排好序。按层排序再改变记录排列,适合按外到内检索与展示。先决定标签维度的顺序,再决定排序,不要把“换了外层”误当数据已经有序或聚合。
交换层级不等于按层排序保存独立卡片。
原书依据 · 1 处
根据级别汇总统计
按层汇总以该级别标签为分组键,行列轴的选择决定从哪个维度聚合。
按级汇总先确定标签层
层次索引汇总可按指定级别将相同标签的记录归组,再求合计;行轴的key2与列轴的color对应不同聚合方向。结果保留所选分组标签,其他级别的信息被汇总压缩。旧sum(level=)背后是分组计算,不能把它误当只改变显示顺序。
按级汇总先确定标签层保存独立卡片。
使用DataFrame的列
set_index将列移到行标签层,reset_index反向把层级移回列,drop选择是否保留原列。
列与索引转换改变数据角色
set_index把一个或多个列用作行索引,默认从普通列中移除,drop=False可同时保留;reset_index将索引级别转回列。值作标签后会参与对齐与选择,因此不只是换个显示位置。设置索引本身不保证所选列唯一,也不等于关系数据库建立了唯一约束。
列与索引转换改变数据角色保存独立卡片。
原书依据 · 1 处
其他有关pandas的话题
其他话题导引后续整数索引与Panel,不构成独立操作。
多轴数据可改用分层长表表示
历史Panel用items、major、minor三轴组织数据,固定其中一轴可得到一个DataFrame横截面;to_frame把多个轴组合为行索引,成为堆叠长表。这说明高维信息可通过标签层级组织,不必让展示对象始终保持三维。Panel已在pandas0.25移除,原书构造、ix与to_panel代码只作历史表达方式理解。
多轴数据可改用分层长表表示保存独立卡片。
原书依据 · 1 处
读写文本格式的数据
文本解析同时确定结构、索引、类型、日期和缺失约定,推断便利但不能替代语义核对。
表头与索引是不同解析约定
read_csv默认逗号分隔,read_table可显式sep;header控制标题行,names给列名,index_col指定作为行标签的列,可用列表构成层次索引。无表头文件若误用默认推断,首条记录可能被当列名。导入后需检查行数、列名与标签,不能仅因得到DataFrame便认为结构正确。
表头与索引是不同解析约定保存独立卡片。
原书依据 · 1 处
类型推断不等于理解字段语义
解析器根据文本模式推断数值、布尔或字符串等类型,使导入方便;却不知道一串数字究竟是金额、类别码还是有前导零的标识。自定义转换器与显式类型约定可控制解释,仍需数据字典与样本核对。自动推断成功不代表业务含义正确,也不证明后续各块都有相同表示。
类型推断不等于理解字段语义保存独立卡片。
原书依据 · 1 处
不规则分隔需核对字段边界
可用正则分隔模式处理数量不定的空白,也可用skiprows/comment等跳过说明行。字段边界与跳过范围需先明确,尤其要确认标题行是否仍对齐。正则切分不是通用CSV引号解析器;存在引号内分隔符时,不能只因一份简单空白样例可读就推广到全部文本。
不规则分隔需核对字段边界保存独立卡片。
原书依据 · 1 处
缺失标记约定可能吞掉真值
解析器可把NA、NULL或空字段等识别为缺失,也可按列指定na_values。若foo等字符串在某列本是合法值,却被列入缺失标记,它会在导入时失去原义。应按数据字典确定标记,检查默认规则与自定义规则怎样组合,并保留必要原始输入供追溯。
缺失标记约定可能吞掉真值保存独立卡片。
原书依据 · 1 处
日期解析需明确组合与顺序
文本中的日期可能分散在多列,也可能有日月顺序歧义;解析选项可组合列、设转换器和顺序偏好。表6-2还将编码、千位符、跳行、迭代等分成不同职责。读成日期或数值并不证明时区、单位与原格式被正确理解,应依据输入约定验证,旧参数名也需按版本确认。
日期解析需明确组合与顺序保存独立卡片。
原书依据 · 1 处
逐块读取文本文件
nrows限制读取总行数,chunksize控制迭代块,两者用途不同;跨块聚合要合并状态。
限行读取不同于逐块遍历
nrows只读指定总行数,适合查看前段;chunksize返回可迭代的分块读取器,便于依次遍历完整文件。分块降低每次驻留量,但若随后把所有块长期保留,内存优势会丢失。看前5行也不能证明文件其余部分可解析或类型一致。
限行读取不同于逐块遍历保存独立卡片。
原书依据 · 1 处
跨块统计要合并可累加状态
逐块计算key频数后,用标签对齐相加,并把某块未出现的键视为本块计数0,才能得到全文件频数。这种合并适用于可累加计数;不能简单把各块均值直接平均,因块大小可能不同。分块只改变处理方式,目标统计范围仍需明确为所有已读取块。
跨块统计要合并可累加状态保存独立卡片。
原书依据 · 1 处
文本导出要保留恢复所需约定
to_csv可选择分隔符、缺失标记、是否写行列标签和输出哪些列。默认写出索引会增加一列;关闭表头或用空串表示缺失,可能让后续读入难以区分字段与真正空值。应把导出约定与读入约定配套保存,不能仅因文本可打开就认定完整保留了原表类型与标签。
文本导出要保留恢复所需约定保存独立卡片。
原书依据 · 1 处
手工处理分隔符格式
CSV解析需遵守引号和分隔约定,行宽不齐不能用zip转置悄悄丢掉字段。
不齐行转置可能静默丢字段
示例一行3字段、另一行4字段,用zip(*values)转置只保留到较短行的长度,额外第4字段便消失;再按表头构造字典也不证明记录已修正。处理畸形输入应先检查各行宽度并记录拒绝或修复规则,不能把得到规整字典当成数据无损。
不齐行转置可能静默丢字段保存独立卡片。
CSV格式约定应由解析器处理
csv.reader按delimiter、quotechar、quoting、doublequote、escapechar等约定读取字段,writer用相应约定写出;行终止、分隔后空白也属于格式契约。含引号和转义时简单split不等价于CSV解析。多字符或复杂分隔需另选方案,并保留引号规则,不能只按分隔符长度决定任意拆分都正确。
CSV格式约定应由解析器处理保存独立卡片。
原书依据 · 1 处
JSON数据
JSON有自身类型与语法,解析后是嵌套Python对象;要转表还需选择记录层与字段。
JSON读写区分文本与对象
json.loads把JSON文本解析为Python对象,json.dumps把对象编码成JSON文本;null对应None等映射不代表JSON就是可执行Python代码。JSON对象键为字符串,数组与对象可嵌套,尾随逗号等语法规则也不同。解析成功只证明文本满足解析规则,不证明所需字段完整或业务值有效。
JSON读写区分文本与对象保存独立卡片。
原书依据 · 1 处
嵌套文档转表须选择记录层
嵌套JSON不天然对应一张平表。选siblings这个记录列表,再明确只保留name与age,才得到两行两列的表;顶层其他字段和未选子字段不自动进入结果。转表前要决定哪一层代表一条观测、哪些字段需展开或保留,避免得到表后忘记被省略的数据。
嵌套文档转表须选择记录层保存独立卡片。
XML和HTML:Web信息收集
HTML抽取先定位结构,再提取属性或文本,最后转换列类型,位置编号选择对页面变动脆弱。
网页节点不同于链接文本地址
解析HTML得到节点对象后,get读取href等属性,text_content获取节点下可见文本;找到a节点不等于已取得链接地址或显示文字。属性可能缺失、文本可能嵌套,抽取后仍需检查,不应把对象打印地址当网页URL。
网页节点不同于链接文本地址保存独立卡片。
原书依据 · 1 处
表格抽取依赖结构定位
按table列表第9/13项找目标表是对这份页面结构的假设,页面增加表格就可能选错。应检查表头、列数与字段含义,再提取tr中的th/td并进行类型转换;成功构造DataFrame不证明抓到正确表。位置编号适合受控样例,不能当稳定的业务身份。
表格抽取依赖结构定位保存独立卡片。
原书依据 · 1 处
网页转表分开抽取与解释
HTML表格转换可分为解析文档、定位表、提取表头/单元格文本、形成记录、转换字段类型。文本里像数字的列也可能有N/A或标识码,不能不加区分全部转浮点。分阶段检查能定位结构变化还是数值解析造成的问题。
结构图:
flowchart TD
A[解析HTML] --> B[核对目标表与表头]
B --> C[提取每行单元格文本]
C --> D[组成记录和列名]
D --> E[按字段约定转换类型]
网页转表分开抽取与解释保存独立卡片。
原书依据 · 1 处
利用lxml.objectify解析XML
XML按元素、属性与文本组织数据;对象化访问可抽取同名记录,但扁平字段映射仍需边界检查。
XML元素属性与文本需分开
XML可用嵌套元素组织记录,也可在元素属性中存元数据;标签名、属性值与文本是不同层次。示例链接的href通过get读取,显示文字来自text。只读取正文文本会丢属性,只读取属性又不代表取到了子元素内容;设计抽取规则需明确数据实际放在哪层。
XML元素属性与文本需分开保存独立卡片。
原书依据 · 1 处
对象化抽取不等于数据已规整
lxml.objectify可按同名子元素遍历记录、读取child.tag与pyval后组成字典,再交给DataFrame。跳过字段、重复标签与空内容都会影响结果:字典同键会覆盖,不保留层次结构,非空计数也不能证明字符串字段里没有空值。抽取规则须与实际XML结构核对,不能把对象化访问当自动业务清洗。
对象化抽取不等于数据已规整保存独立卡片。
原书依据 · 1 处
二进制数据格式
pickle便于保存Python对象,但依赖版本与类定义,原书明确限定短期存储用途。
对象序列化不保证长期兼容
pickle保存的是Python对象的序列化表示,方便临时保存与读回分析对象;后续库或类定义变化时不保证旧文件仍可恢复。需要长期交换或存档时,不能只保留pickle而忽略格式版本、结构说明和环境依赖。原书save/pandas.load入口还带年代前提,不等于当前API契约。
对象序列化不保证长期兼容保存独立卡片。
原书依据 · 1 处
使用HDF5格式
HDF5以分层数据集和元数据组织文件并可分块访问,Python接口与并发模式需分别判断。
分层文件支持按块访问数据
HDF5在文件内组织多个数据集与元数据,支持按块读写及按配置压缩,有助于处理无法整体驻留内存的数据。分层文件仍不同于提供完整事务与并发语义的数据库;按块读取能减少本次读取范围,却不保证任何任务都更快或压缩一定有效。
分层文件支持按块访问数据保存独立卡片。
原书依据 · 1 处
存储接口抽象层次不同
h5py接近HDF5数据集接口,PyTables进一步提供表、索引与查询等抽象;pandas的HDFStore通过PyTables按名称保存和取得表或序列。选择时应依据访问模式与对象语义,而不只看同为.h5文件。具体可用操作及并发能力取决于接口、格式和配置。
存储接口抽象层次不同保存独立卡片。
文件并发能力需显式选择模式
多个进程无协调写同一HDF5文件可能损坏数据,不能把文件格式当通用多写事务数据库。支持的并发模式需单独配置和核实;例如h5py的SWMR是单写多读,并不授权任意多写者。文件可追加与多写安全是不同承诺。
文件并发能力需显式选择模式保存独立卡片。
原书依据 · 1 处
读取Microsoft Excel文件
ExcelFile按文件路径打开工作簿,再按工作表解析为表;读取引擎有版本与格式条件。
工作簿读取须选择工作表
ExcelFile把工作簿作为输入,parse指定工作表形成DataFrame;文件、工作表和表中行列是不同层次。原书xlrd/openpyxl依赖说明针对当时版本,当前引擎支持要按xls/xlsx等格式核实。读出工作表不证明公式、格式或所有工作表均已完整保留。
工作簿读取须选择工作表保存独立卡片。
原书依据 · 1 处
响应解码与记录投影分开
HTTP响应对象含状态与正文,JSON解码将正文转成对象,再从results列表选择字段形成表。这三步各有前提:状态正常不保证正文结构满足期望,解码成功也不保证存在results或每项字段齐全。需分别核对请求结果、内容结构和所选记录范围。
响应解码与记录投影分开保存独立卡片。
原书依据 · 1 处
使用数据库
数据库查询行与游标列描述共同构成表,专用读取函数可封装转换,仍需管理数据范围。
查询结果需同时保留列描述
SQL游标取回元组行后,还需description中的列名才能构造有意义的DataFrame。只保留值序列会失去列身份,按列位置猜含义容易出错。专用表格读取函数可封装这一步,但不会自动保证查询范围、类型和业务关联正确;fetchall还会一次收集全部结果。
查询结果需同时保留列描述保存独立卡片。
原书依据 · 1 处
存取MongoDB中的数据
MongoDB按数据库与集合组织文档,游标可逐条读取,转列表后则一次收集结果。
文档存储按库集合记录分层
MongoDB中一个实例可含多个数据库,一个数据库可含多个集合,集合容纳文档记录。文档是字典型结构,但集合不是一张Python字典,也不能因类比表就假定具有完全相同的关系模型和约束。导入分析前仍需选查询条件与字段,确认每条文档的结构。
文档存储按库集合记录分层保存独立卡片。
原书依据 · 1 处
游标转列表会一次物化结果
查询游标可逐条产出文档,list(cursor)会遍历并收集全部结果后才交给DataFrame。游标接口支持迭代,不代表下游操作仍保持流式内存使用;大结果集若整体物化,仍需承担全部记录驻留成本。查询范围、读取方式与输出表规模要一起规划。
游标转列表会一次物化结果保存独立卡片。
原书依据 · 1 处
第7章 数据规整化:清理、转换、合并、重塑
规整化把已加载的数据整理到适合目标分析的形态,清理、转换、合并与重塑各承担不同工作。
规整化定义边界
规整化把原始数据转换成适合目标任务的结构和表示,包括清理、类型或值转换、连接与重塑。它是从数据现状到分析输入的接口边界,不自动保证目标问题和统计方法正确。应保留转换规则、被舍弃的内容与异常处理,使“数据已经规整”能被具体检查。
规整化定义边界保存独立卡片。
合并数据集
三类组合方式按键关联、沿轴堆叠、按优先级补缺,后续分节分别解释。
连接方式决定未匹配项去留
连接方式控制哪些键进入结果,并不改变同键行的配对规则。inner保留两侧匹配键,left/right保留相应一侧全部键,outer保留两侧键并集;未匹配的一侧出现缺失。
| 方式 | 保留范围 |
|---|---|
| inner | 两侧匹配键 |
| left/right | 指定一侧全部键 |
| outer | 两侧键并集 |
连接后少行或出现NA不必然是错误,但必须符合任务所需范围。
连接方式决定未匹配项去留保存独立卡片。
原书依据 · 1 处
同键多行扩大连接基数
同一键在左侧有m行、右侧有n行时,多对多连接会为该键形成m×n个配对。书中左3个b与右2个b得到6行;连接方式只决定这个键是否保留,不会自动消除重复匹配。预期多对一却出现多对多时,应检查键的唯一性,不能直接去重掩盖问题。
同键多行扩大连接基数保存独立卡片。
原书依据 · 1 处
复合键要求各分量共同匹配
用多个列连接时,要把各列组合共同当作记录匹配依据;只按key1匹配,会把key2不同的记录也配在一起。复合键不是逐列分别做连接后再拼表。应确认各分量的语义、类型与缺失约定一致,再检查组合是否具有预期唯一性。
复合键要求各分量共同匹配保存独立卡片。
原书依据 · 1 处
同名列后缀保留数据来源
两侧存在同名但不作为连接键的列时,suffixes为输出列附加左右来源标记,避免名称冲突。后缀只区分来源,不会判断两列是否一致或替你解决冲突值。若两列本来共同标识记录,应先核对是否漏入连接键,而不只重命名了事。
同名列后缀保留数据来源保存独立卡片。
索引上的合并
连接键可位于索引或普通列;join便于按索引连接,默认方式需与merge区分。
索引可作为显式连接键
merge可用left_index/right_index指定一侧或两侧索引为键,也可让一侧多个普通列匹配另一侧MultiIndex。层级分量需对应,重复索引仍会扩大匹配数。索引不是天然唯一键,不能因键放在索引中就跳过基数检查。
索引可作为显式连接键保存独立卡片。
原书依据 · 1 处
便利连接入口也要核对默认值
DataFrame.join便于把其他表按索引接到调用表,也可让调用表某列匹配对方索引;本书默认左连接,而merge默认内连接。相近名称不意味着结果范围相同。多个表一起join时也要核对how、重复标签及列冲突,避免把便利封装当自动数据整合。
便利连接入口也要核对默认值保存独立卡片。
原书依据 · 1 处
轴向连接
concat沿指定轴堆叠,另一轴按标签对齐;keys保留片段来源,ignore_index则舍弃原连接轴标签。
concat表达堆叠
concat沿选定轴把对象依次拼接:axis=0常堆行,axis=1常并列列;非连接轴仍按标签做并集或交集对齐。它不按任意业务键产生关系配对,不能当merge的同义词。连接轴标签是否保留、另一轴如何对齐,都应明确指定并检查结果形状。
concat表达堆叠保存独立卡片。
连接键层级保留片段来源
concat的keys可在连接轴外增加层级,标明各片段来源;连接Series列时也可成为结果列名。层级标签使同名记录仍能区分来自哪组,不等于去重或保证原标签唯一。来源追溯需要这些信息时,应先保留而非事后靠位置猜。
连接键层级保留片段来源保存独立卡片。
原书依据 · 1 处
忽略索引会舍弃原标签身份
concat的ignore_index重建连接轴的连续编号,适合原标签没有业务意义的分块数据;它不取消另一轴的标签对齐,也不会自动去重。若原行标签有记录身份,重编号会丢掉这一层信息,需先转为列或另存来源。verify_integrity可检查轴标签重复,但不是内容去重。
忽略索引会舍弃原标签身份保存独立卡片。
原书依据 · 1 处
优先补缺不会合并冲突真值
a.combine_first(b)按标签对齐,优先保留a的非缺失值,只有a缺失时才用b补上;两者都缺时仍缺失。反过来调用可能得到不同结果,所以它不是对称的全外连接。双方都有不同真值时不会替你裁决哪一个正确,需另行保留冲突证据与优先规则。
优先补缺不会合并冲突真值保存独立卡片。
重塑和轴向旋转
重塑将已有表格的轴与标签重新安排,后续分别解释层次索引旋转和长宽转换。
重塑层次化索引
stack/unstack把标签级别在行列轴间移动,可能补出缺失组合,逆向恢复依赖缺失处理规则。
重塑改变问题视角
stack把列标签层移入行索引,unstack把行索引层移到列轴;可指定层级名或编号,默认示例作用于内层。数据从不同视角排列,值的业务含义不应随显示方向改变。未出现过的标签组合可能补出NA,旧版stack又可能滤NA,故不能把任意往返都当无损恒等变换。
重塑改变问题视角保存独立卡片。
重塑中的缺位不等于原始缺失
unstack为齐整行列布局补出的NA,可能只表示原来不存在该标签组合;原数据中已有NA则是另一种信息。旧版stack(dropna=False)保留缺位,默认过滤在特定例子可恢复原记录。设计往返转换时,要先分清缺位来源和需要保留的记录集合,而不只比较非空数值。
重塑中的缺位不等于原始缺失保存独立卡片。
原书依据 · 1 处
长宽转换改变变量承载位置
长表用date、item、value等固定列记录多种变量,新增item类型不一定增加数据列;宽表把item值展开成列,使同日期的变量并排。转换改变变量名放在哪条轴,不会自动统一不同变量的单位或补出真实观测。应依据查询和分析方式选择表示,并保存变量身份。
长宽转换改变变量承载位置保存独立卡片。
原书依据 · 1 处
旋转表格须先定义坐标和值
pivot指定哪些字段构成结果行与列,哪个字段填入单元格;多个值字段可形成层次列。它可理解为set_index后unstack的便利形式,但先要核对每组行列坐标是否只有所需的一项值。重复观测若需汇总,必须另明确聚合规则,不能以纯重排代替统计决策。
旋转表格须先定义坐标和值保存独立卡片。
原书依据 · 1 处
数据转换
从重排转向过滤、清理和值转换,后续分别讨论去重、映射和替换。
移除重复数据
重复判断取决于所选列,保留第一或最后一条还依赖输入顺序。
去重依据需符合记录身份
duplicated标出所选列组合的重复,drop_duplicates按同一依据去除并保留指定出现次序。只按k1判重会把k2或v1不同的记录也视作同一组,因此“重复”是规则定义而不是整行必相同。先明确记录身份和顺序,再决定保留哪条,不能把删后行数减少当数据更准确。
去重依据需符合记录身份保存独立卡片。
利用函数或映射进行数据转换
map把规则应用到逐项值;先统一匹配表示再查字典,但规则本身仍需真实依据。
映射注入语义
map可按函数或字典把输入值变为新标签,如把食物名称映射到动物类别。先把大小写统一,再按规则查找,可避免同一拼写风格差异漏配;映射关系本身是额外语义,不会由API自动验证。应保留原值、规则和未匹配项,以免清理过程掩盖错误归类。
映射注入语义保存独立卡片。
相似映射写法可能有不同失败
先用Series.map处理字典,与在lambda中直接用字典下标访问,成功样例可以相同,但缺键时行为未必一样:普通字典map可给缺失,直接下标会报KeyError。比较写法时不能只看已覆盖样本输出,还需明确未知值和空值怎样处理。
相似映射写法可能有不同失败保存独立卡片。
原书依据 · 1 处
替换值
replace根据已知对应关系替换值,特殊数值只有在输入约定中才可视为缺失哨兵。
哨兵值需依据数据约定解释
-999等数值可能约定为缺失哨兵,但仅凭值罕见不能认定缺失。replace可把一个或多个已知标记改成NA,也可逐个映射到不同值;这会改变数据语义。应先核对字段约定和原始记录,避免误把真实极端值删成缺失,或把缺失与真实零混为一谈。
哨兵值需依据数据约定解释保存独立卡片。
原书依据 · 1 处
重命名标签不等于重新匹配
rename可用函数或字典改行列标签,未指定的标签保持原样;直接赋index则整体替换轴标签。它们不会像reindex那样按目标标签重新取值,因此从OHIO改为INDIANA只是改名,不证明该行事实真的属于新地区。改名还可能产生重复标签,须核对含义与后续对齐影响。
重命名标签不等于重新匹配保存独立卡片。
原书依据 · 1 处
离散化制造分层
离散化把连续值分成有限区间或类别,便于按组统计与比较,同时会丢掉同箱内部的精细差异。区间与名称是分析规则,不是自然存在的唯一分类。采用分箱时应保留边界、样本范围和原始数值,不能让“青年”等命名替代实际年龄范围。
离散化制造分层保存独立卡片。
区间端点决定边界样本归属
cut默认示例用左开右闭区间,25属于(18,25]而非(25,35];right=False改为左闭右开。口头写“18到25”不足以说明18和25各归哪箱,还需检查整体覆盖范围和边界外值。相邻箱不应因含端点约定不清而重叠或漏掉样本。
区间端点决定边界样本归属保存独立卡片。
原书依据 · 1 处
等宽分箱不同于等频分箱
给cut箱数时按数值范围划分近似等宽区间,分布不均会使各箱人数不同;qcut按样本分位点形成近似等频组,箱宽可不同。相同值大量集中时分位边界可能重复,不能保证总能得到预定数量等人数的箱。比较前明确要控制区间宽度还是样本数量。
等宽分箱不同于等频分箱保存独立卡片。
检测和过滤异常值
异常检测先定义阈值与筛选粒度,截断数值和删除记录对数据分布有不同影响。
阈值异常不等于错误观测
abs(value)>3在本节标准正态样本中标出超阈值观测,却不证明这些点来自录入错误。真实任务的阈值应结合变量单位、分布与业务规则确定,不能对任意未经标准化的数据直接套3。异常标志用于进一步检查,不应自动成为删除真实极端事件的理由。
阈值异常不等于错误观测保存独立卡片。
原书依据 · 1 处
截断极值不同于删除记录
把超范围值改为sign(value)*3,保留原行但把数值压到边界;删除包含异常值的行则改变样本集合。两种处理都会影响统计结果,不能以清理后极值符合范围就认定数据更真实。单元格掩码与按行any筛选也有不同粒度,应保留所用规则和改动范围。
截断极值不同于删除记录保存独立卡片。
原书依据 · 1 处
有放回与无放回抽样分开
从随机排列中取前k个位置是不放回抽样,每个原位置至多出现一次;随机生成一组位置则可有放回,某位置可能多次出现。即使位置不重复,原数据相同的值仍可重复;不能用值是否唯一判断抽样是否放回。k、总体位置范围和随机状态都应明确。
有放回与无放回抽样分开保存独立卡片。
指标矩阵把类别展开成列
指标编码把每个类别变为一列,行中属于该类的位置标1,其余标0;get_dummies可实现单类别列的展开。类别身份由列名表达,不依赖类别代码大小。前缀可区分来源字段,连接回原表时还须按记录索引对应,不能因0/1矩阵形状正确就认定行未错位。
指标矩阵把类别展开成列保存独立卡片。
原书依据 · 1 处
多标签记录可同时属于多类
一部电影可同时属于多个类型,因此先拆分竖线分隔标签、收集类别全集,再为每行多个所属类别置1。此时每行1的数量可以超过1,不能套用单类别一行恰一项为真的假设。未出现某类只代表该记录未标注该标签,不自动证明现实绝不具备相关属性。
结构图:
flowchart TD
A[拆分每条记录的标签] --> B[收集类别全集]
B --> C[建立记录乘类别零矩阵]
C --> D[逐记录将所属类别置一]
D --> E[按记录身份接回原表]
多标签记录可同时属于多类保存独立卡片。
字符串操作
字符串方法与正则分别处理字面文本与模式,批量接口还需考虑缺失值。
字符串对象方法
字符串拆分连接、查找替换与大小写/对齐各有规则,失败返回值也有区别。
拆分连接需保留空白约定
split按字面分隔符拆字符串,strip清理两端空白,join用指定分隔符连接各段;清理不是自动删除内部空白。大小写转换和ljust/rjust填充也只改变表示,是否可用于规范化身份要另看字段规则。用处理后的文本做键时,宜保留原值以便追溯。
拆分连接需保留空白约定保存独立卡片。
子串查找要解释失败返回值
in回答子串是否存在;find返回首次位置,没找到为-1,index没找到则抛异常,rfind查最后一次位置。位置0是有效命中,-1是失败标记,不能直接按整数真假判断“找到了”。先明确接口负责返回位置还是存在性,再按契约处理失败。
子串查找要解释失败返回值保存独立卡片。
原书依据 · 1 处
字面替换不同于模式替换
字符串replace替换指定字面子串,空替代串可删除该子串;count给非重叠出现次数,startswith/endswith检查端点。它们不自动把输入当正则表达式。包含、前缀、计数和替换各自回答不同问题,不能因使用同一文本片段就互相替代。
字面替换不同于模式替换保存独立卡片。
原书依据 · 1 处
正则表达式
正则用模式统一搜索、分割与替换;匹配范围、捕获组和字符串转义决定实际结果。
正则匹配需明确搜索范围
search找文本中首个匹配,match要求从字符串开头匹配,findall收集匹配结果,finditer逐项提供匹配对象。首部匹配不等于整个字符串满足规则;有结果后再用位置或分组访问内容,未命中应先处理None。根据问题选择入口,避免把局部命中当完整校验。
正则匹配需明确搜索范围保存独立卡片。
原书依据 · 1 处
捕获分组改变抽取结果结构
正则圆括号把匹配划分为捕获组,可通过groups取得分量,命名组可由groupdict取带名结果;findall带多个捕获组时可返回元组列表。sub替换表达式还能引用组内容。增添括号不只改变可读性,也可能改变结果形状,调用方不能一直假定拿到完整匹配字符串。
捕获分组改变抽取结果结构保存独立卡片。
原书依据 · 1 处
模式复用须分清两层转义
re.compile保存模式和选项,便于多次调用;原始字符串减少Python字符串层的反斜杠处理,却不取消正则自身的元字符规则。模式替换、分割与匹配共享规则但返回语义不同。模块也会缓存近期模式,不能把原书“节省大量CPU”当任意小程序的实测保证。
模式复用须分清两层转义保存独立卡片。
正则样例不等于完整校验规则
原书邮箱模式限制后缀2到4个字母,只能用于所设样例的局部抽取,不能充当所有合法邮箱或可达地址的判定器。长度范围、字符集、锚定和实际协议都可能影响覆盖。成功提取四个例子不证明无误识或无遗漏,更不证明地址真实存在。
正则样例不等于完整校验规则保存独立卡片。
原书依据 · 1 处
批量字符串操作需保留缺失策略
Series.str提供contains、大小写、拆分、替换、长度与截取等逐元素文本操作,避免把普通字符串函数无条件调用到缺失项。缺失结果的表示依dtype、接口与参数而变,不能把NA一律当False或空串;用于行筛选前应明确未知项的处置。
批量字符串操作需保留缺失策略保存独立卡片。
原书依据 · 1 处
匹配判断不同于捕获组抽取
原书旧版str.match输出捕获元组,随后用str.get取分量;当前pandas的str.match返回首部是否匹配的布尔结果,不能继续把它当组元组使用。需要捕获组应选相应抽取接口并核对返回形状。相同方法名跨版本不保证相同业务结果,移植需从返回语义检查。
匹配判断不同于捕获组抽取保存独立卡片。
原书依据 · 1 处
示例:USDA食品数据库
食品JSON先分出食品主表与营养明细,保留食品ID后堆叠、去重、改名与连接,再作分组统计。
同名列后缀保留数据来源关联本项背景,实质主要讲解在对应位置。
去重依据需符合记录身份关联本项背景,实质主要讲解在对应位置。
展开子记录须保留父记录身份
将每种食品的营养列表展开为多行前,把食品id加入每条子记录,再concat成总明细表。否则子记录合并后只剩营养名和值,无法可靠回到原食品。父子键应保持一致并核对连接基数;不能靠展开顺序推测归属。
展开子记录须保留父记录身份保存独立卡片。
原书依据 · 1 处
分组营养比较须核对单位基准
按营养项和食品类别计算中位值,描述这份数据库中该组记录的分布中心。比较前需核对单位、测量基准与样本构成;g、kcal、kJ不能当同一尺度。食品类别中位值不表示每种食品都同样,也不直接形成个人饮食方案。
分组营养比较须核对单位基准保存独立卡片。
原书依据 · 1 处
极值位置检索需保留记录身份
先在营养组内求极值标签,再据该标签取食品记录,可同时保留数值与名称。要确认标签能唯一定位,以及遇到并列极值的处理规则;取得一个最大值记录不等于已列出所有并列项。只截短食品名用于显示,也不应替代完整身份。
极值位置检索需保留记录身份保存独立卡片。
原书依据 · 1 处
图形输出需匹配使用媒介
matplotlib可将图表输出为矢量或光栅格式,交互GUI还支持缩放和平移。交互显示、出版输出和底层数值是不同层次:选择输出格式应考虑用途和后续编辑,界面上能放大也不表示低分辨率图像拥有更多信息。
图形输出需匹配使用媒介保存独立卡片。
原书依据 · 1 处
matplotlib API入门
pyplot提供绘图入口,后端与会话自动导入影响例子环境,画出直线只验证有限能力。
别名导入保留名称来源关联本项背景,实质主要讲解在对应位置。
最小验证只覆盖所测能力关联本项背景,实质主要讲解在对应位置。
Figure和Subplot
Figure容纳绘图区,Axes承载具体绘图;显式持有对象可避免当前子图状态造成目标混淆。
图形容器与绘图区职责不同
Figure是整张图的容器,add_subplot按网格创建绘图区;2,2,1表示2×2布局中的第1区,编号从1开始。Axes承载具体图表,多个区域可画不同数据。下面用当前官方Figure/Axes名称列真实关键签名;原书显示的AxesSubplot是历史实现类型,不据此补造继承结构。
结构图:
classDiagram
class Figure {
add_subplot(*args, **kwargs) Axes
}
class Axes {
plot(*args, scalex=True, scaley=True, data=None, **kwargs) list
}
Figure "1" *-- "0..*" Axes : 容纳绘图区
组合箭头表示Figure中包含绘图区,plot返回绘图对象列表,图不表示两者继承。
图形容器与绘图区职责不同保存独立卡片。
原书依据 · 1 处
显式绘图目标减少状态依赖
pyplot绘图会作用于当前或最近使用的绘图区;在多个子图之间切换时,若靠隐式状态,容易把图画到错误区域。持有ax并用其plot/hist/scatter等方法,可以把目标写在调用处。显式目标更易检查,但数据与坐标含义仍需自行核对。
显式绘图目标减少状态依赖保存独立卡片。
共享坐标有助跨图比较
sharex/sharey让多个子图共享相应坐标范围,避免各图自动缩放造成相同视觉幅度却对应不同数值范围。它适合同单位、可比较尺度的数据,不会自动统一变量单位或保证比较问题合理。共享轴也会让范围设置相互影响,需确认希望联动的对象。
共享坐标有助跨图比较保存独立卡片。
批量子图返回形状需核对
plt.subplots同时创建Figure与子图,2×3示例返回可按axes[行,列]访问的二维对象数组;nrows/ncols、subplot_kw与Figure参数控制布局和创建。不能由这个例子推断所有布局都返回二维数组,单个或单行布局还受squeeze影响。使用前确认对象形态,避免把单个Axes当数组。
批量子图返回形状需核对保存独立卡片。
原书依据 · 1 处
调整subplot周围的间距
子图间距需与刻度标签共同设计,缩短留白不保证图仍可读。
布局间距与标签可读性联动
subplots_adjust可控制四周边距与横纵子图间隔;wspace/hspace按子图平均宽高的相对比例理解,不是简单的固定像素。把间隔设0能贴合面板,却可能让刻度标签重叠。调整尺寸或输出媒介后还需检查标注是否清楚,不能只优化绘图区占满画布。
布局间距与标签可读性联动保存独立卡片。
原书依据 · 1 处
颜色、标记和线型
颜色、线型与标记控制视觉编码,连接样式不等于观测之间真的有数据。
标记区分观测点与连接线
线图连接离散观测点,marker可标出实际采样位置;点之间的连线只是显示规则,不能当成新增测量。默认直线连接和steps-post阶梯连接表达不同的视觉假设,应与数据含义匹配,不能只凭曲线平滑与否判断观测过程。
标记区分观测点与连接线保存独立卡片。
视觉样式应明确区分用途
plot可用紧凑格式串或color/linestyle/marker等显式参数选择颜色、线条和点标记。例如黑色圆点虚线同时表达三种外观属性;RGB十六进制可指定其他颜色。样式不改变底层数值,图例与文字还须说明每条线代表什么,避免读者只靠颜色猜测。
视觉样式应明确区分用途保存独立卡片。
原书依据 · 1 处
坐标查询与设置要分清
plt.xlim()无参读取当前X范围,带范围参数则更新;Axes对象分别用get_xlim和set_xlim表达查询与设置。二者处理同一图形属性,但返回值和副作用不能混看。多图环境先明确目标Axes,避免读的是一个面板、改的是另一个面板。
坐标查询与设置要分清保存独立卡片。
原书依据 · 1 处
设置标题、轴标签、刻度以及刻度标签
刻度位置、刻度文本、轴名和图标题有不同职责,标签应与坐标绑定。
刻度标签必须对应实际位置
set_xticks确定刻度位置,刻度文本说明这些位置代表什么;轴名与标题则解释变量和整图主题。自定义one到five只是显示文本,不会把原位置0到1000改成五个真实阶段。若标签与位置失配会误导读取,当前接口也建议显式绑定位置与标签,不能任其随缩放漂移。
刻度标签必须对应实际位置保存独立卡片。
原书依据 · 1 处
添加图例
图例把线型与语义名称对应起来,位置选择和省略规则只影响展示。
图例需要明确数据与样式映射
给绘图对象设置label后调用legend,可让图中样式对应到one/two等名称;label在本例属于plot调用,不是创建subplot时的参数。loc选择摆放位置,best尝试减少遮挡。省略对象的图例不等于删除其数据,名称也不证明几条线在单位和范围上可直接比较。
图例需要明确数据与样式映射保存独立卡片。
原书依据 · 1 处
注解以及在Subplot上绘图
注解将说明附到坐标,图形块按几何参数添加,解释文字与观测值不能混为一体。
图上注解不构成因果证明
text在坐标放文字,annotate可把文字位置与箭头指向分开,便于给事件或数据点加说明。历史曲线上的事件标注只表达所选日期与图的对应,并不因为箭头靠近转折就证明事件造成变化。注解前应核对日期和取值,避免让读者把解释层当原始观测层。
图上注解不构成因果证明保存独立卡片。
原书依据 · 1 处
几何图形需核对坐标与比例
创建矩形、圆或多边形后,用ax.add_patch加入绘图区;位置、尺寸、顶点和透明度决定显示。它们按坐标表达几何,屏幕纵横比例却可能改变外观,例如圆看起来像椭圆。图中几何外形不直接等于数据中的实际距离或面积,解释前需确认坐标系统与比例。
几何图形需核对坐标与比例保存独立卡片。
原书依据 · 1 处
将图表保存到文件
savefig可面向路径或文件型对象输出,格式、尺寸分辨率与边界裁剪需分别明确。
图片导出格式与分辨率分开
savefig可按扩展名推断格式,也可显式指定format;dpi控制栅格输出分辨率,bbox_inches=tight尝试裁掉周围空白。高DPI不增加原数据观测,也不能替代合适字号与版面。输出后还需核对目标格式、尺寸和标注是否被裁掉,不能只看保存调用结束。
图片导出格式与分辨率分开保存独立卡片。
原书依据 · 1 处
内存导出需匹配字节流接口
图可写入内存文件型对象,适合随后传输或嵌入;但编码后的PNG等二进制数据要求相应字节流。原书io.StringIO例子不能当当前所有图形后端都可接受文本流的保证。流的类型、输出格式和读取位置需与调用方契约一致。
内存导出需匹配字节流接口保存独立卡片。
原书依据 · 1 处
matplotlib配置
全局rc配置影响后续图表默认值,文件配置则跨会话加载,需保存实际使用设置。
全局绘图配置会影响后续输出
rc按figure/font等组设置默认值,配置文件可在加载时提供跨会话默认行为。它让多图风格一致,也引入隐式环境依赖:同一绘图代码换了配置可能产生不同字号、边距或配色。需要稳定交付时应记录实际配置与局部覆盖,不能只保存绘图数据。
全局绘图配置会影响后续输出保存独立卡片。
原书依据 · 1 处
线型图
高层线图利用索引作横坐标、列名作图例,可把目标Axes和多列布局显式传入。
显式绘图目标减少状态依赖关联本项背景,实质主要讲解在对应位置。
共享坐标有助跨图比较关联本项背景,实质主要讲解在对应位置。
折线横坐标需核对索引含义
Series.plot默认使用索引作为横坐标,DataFrame.plot默认按列画多条线并以列名区分;use_index、坐标范围与刻度可改变显示。索引若是无意义行号,线上的距离便不自动代表实际时间间隔。先确认横坐标、列单位和排列,再解释趋势。
折线横坐标需核对索引含义保存独立卡片。
柱状图
柱图把分类映射到刻度,并列比较分量,堆积展示合计;比例图还需核对筛选后的分母。
筛选后统计需重定分母关联本项背景,实质主要讲解在对应位置。
行归一化比较组成比例关联本项背景,实质主要讲解在对应位置。
并列与堆积柱图强调不同问题
并列柱便于比较各类别值,堆积柱把同一行的分量放在同一总长上,强调合计与组成。只有分量可相加且单位一致时,总长才有合理含义;100%堆积图进一步隐藏绝对规模。bar与barh换的是方向,分类身份与数据口径不应随之改变。
并列与堆积柱图强调不同问题保存独立卡片。
原书依据 · 1 处
直方图外观受分箱规则影响
直方图把数值按区间分箱,再以柱表示每箱数量;箱数与边界会改变可见形态,不能把一个峰形当唯一分布证据。它与类别柱图不同,横轴区间有数值距离意义。输入比率还需确认分母:本例tip/total_bill不自动等于小费占含小费总消费的比例。
直方图外观受分箱规则影响保存独立卡片。
原书依据 · 1 处
密度图估计不等于真实分布
KDE用样本周围的核函数形成平滑密度估计,带宽影响平滑程度;不同设置可能显露或掩盖峰。曲线不是新观测,也不证明数据来自某个精确分布;图中外延到负比率区域不表示样本确有负小费。解释时应同时看原数据、尺度和估计设置。
密度图估计不等于真实分布保存独立卡片。
原书依据 · 1 处
密度归一化以面积而非柱高求和
频数直方的柱高是个数,密度直方则按总数与箱宽缩放,使所有柱的面积和为1,便于与KDE共用纵轴。密度值可大于1,不是该点的概率;区间概率对应其下的面积。若只把柱高除以总数却忽略箱宽,就不能保证与密度曲线同尺度。
密度归一化以面积而非柱高求和保存独立卡片。
原书依据 · 1 处
散布图
散点表达两变量配对,矩阵展示各变量组合,变换与删缺仍决定观察到什么样本。
散点关系依赖配对与变换
散点图每个点对应两变量的一次配对观测。本例先取对数差再去缺失,因此图中关系属于变换后的共同样本,不能直接解释为原始水平值的关系。对数还要求适当输入,删缺会改变样本集合;看到相关形态也不构成因果证明。
散点关系依赖配对与变换保存独立卡片。
原书依据 · 1 处
散点矩阵区分边际与成对分布
散点矩阵的非对角面板显示两变量的配对关系,对角面板可放各变量的直方或密度分布。它便于同时探索相关形态、离群点与单变量分布,但面板轴可能不同,逐格比较前要看标尺。大量同时查看产生的线索仍需进一步验证,不是所有图形趋势都稳健。
散点矩阵区分边际与成对分布保存独立卡片。
原书依据 · 1 处
绘制地图:图形化显示海地地震危机数据
海地案例先限定报告样本与坐标范围,再拆多语言分类、编码、保留索引并投影到地图。
多标签记录可同时属于多类关联本项背景,实质主要讲解在对应位置。
自动对齐防错位关联本项背景,实质主要讲解在对应位置。
地理过滤定义了分析范围
按经纬度范围和非空分类筛选,可以排除不在当前地图范围或缺关键字段的记录;筛选同时定义了分析样本。范围外不必然都是错误,边界比较是否含等号也会改变保留项。应保存过滤规则和排除数量,不能把过滤后地图当原始全部报告。
地理过滤定义了分析范围保存独立卡片。
原书依据 · 1 处
分类代码与显示名称分层
报告分类同时含代码与多语言名称,先拆分并清理空项,再按代码分析、按映射名标注。代码负责稳定区分,显示名负责解释,不能把完整显示文本当相同类别的唯一身份。字典同码多名称可能覆盖,解析分隔符也有格式前提,需检查后再建立映射。
分类代码与显示名称分层保存独立卡片。
原书依据 · 1 处
经纬度与画布坐标需投影转换
地图上的平面x/y来自投影对经纬度的转换,不能直接把经纬度数值当任意画布距离。投影类型、中心与边界共同决定显示方式;输入顺序在本例为经度在前、纬度在后。叠加道路等shapefile还需核对空间坐标的一致性,避免看似同图却实际错位。
经纬度与画布坐标需投影转换保存独立卡片。
报告点分布不同于需求总体
地图上的点是已收集并经筛选的手机报告,不是所有受灾者或全部真实需求。报告密集既可能与事件分布有关,也可能受人口、通信与收集渠道影响;记录中的批准、核验状态并未因坐标通过过滤就自动变真。地图适合定位进一步分析线索,不能单独证明各地需求的真实比例。
报告点分布不同于需求总体保存独立卡片。
原书依据 · 1 处
Python图形化工具生态系统
绘图生态按静态出版、统计探索与交互应用呈现不同取舍,不用单一美观印象替代任务需求。
图形工具取决于交付方式
静态出版、桌面交互和Web共享对绘图工具有不同要求。低层组件便于精细控制,但组装完整统计图会增加工作量;高层接口减少常见任务代码,也仍受支持图型与定制边界约束。先明确交付场景再比较工具,原书当年的流行程度和优劣评价不能直接充当当前选型结论。
图形工具取决于交付方式保存独立卡片。
原书依据 · 1 处
Chaco
Chaco作为历史桌面工具强调交互图形,截图只说明图的构成而非实测性能。
桌面交互工具强调图形操作
原书把Chaco介绍为可做静态和交互图形的桌面工具,适合通过复杂图形观察数据关系。选择此类工具时,除了图形表达还要考虑嵌入GUI与交互需求。书中关于比matplotlib更快、交互更好的判断是当时经验,本轮没有做性能或现行兼容验证。
桌面交互工具强调图形操作保存独立卡片。
原书依据 · 1 处
mayavi
mayavi提供基于VTK的三维交互显示,但交互成果的共享还需要对应运行环境。
三维交互显示还需考虑共享
原书mayavi以VTK为基础提供三维显示,可通过鼠标键盘平移、旋转和缩放,并与交互计算环境配合。能在本机操作三维图,不等于接收者能直接在浏览器中复现交互;分享方式与运行环境仍需设计。本书未给调用代码,不能据一段介绍声称完成实现验证。
三维交互显示还需考虑共享保存独立卡片。
原书依据 · 1 处
其他库
其他图形库仅列举名称与使用见闻,尚无可独立复用的实现说明。
图形化工具的未来
结尾展望Web展示与分析准备工具整合,是写作时代的方向判断和协作愿望。
第9章 数据聚合与分组运算
分组章节区分拆分、摘要、转换、子集、透视与分位分析,时间重采样后续专章展开。
GroupBy技术
GroupBy根据键把记录归组,再应用函数并组合结果,结果形状依操作而不是由分组本身决定。
分组三步模型
分组可理解为按键拆分数据、给各组应用操作、再组合各组结果。相同分组既可求每组一个摘要,也可返回逐行转换或子集,因此结果形状由操作决定。构造GroupBy只是准备分组语义,不能把它当已经计算出均值的结果。
结构图:
flowchart TD
A[原数据与分组键] --> B[按键拆分组]
B --> C[对每组执行所选操作]
C --> D[组合为结果对象]
分组三步模型保存独立卡片。
原书依据 · 1 处
分组键定义比较
分组键决定哪些观测进入同一比较范围。它可以来自等长数组、列名、按标签映射的字典或Series,或作用于索引的函数;多个键共同确定组合组。键取值相同只表示按该规则归组,不证明组内记录业务上同质。分组前需确认键、数据和轴正确对应。
分组键定义比较保存独立卡片。
分组大小不同于有效值计数
GroupBy.size给每组记录数量,按某列count则统计该列非缺失项数。两列缺失不同,count可以不同而组大小不变。比较均值或比例时,应明确需要总行数还是有效观测数,不能把任何一个计数默认当所有统计项的共同分母。
分组大小不同于有效值计数保存独立卡片。
缺失组键不同于组内缺失值
分组键缺失会影响记录是否进入任何组,组内数值缺失则影响该组聚合的有效项,两者不能混同。原书旧版直接排除NA键;当前groupby可用dropna控制是否保留NA组。核对总记录与各组数量时应包含这个选择,否则缺失组记录可能悄悄退出分析。
缺失组键不同于组内缺失值保存独立卡片。
原书依据 · 1 处
对分组进行迭代
分组迭代产生组名和数据块,多键名称是组合键,物化为字典仍需全部组驻留。
分组迭代保留组名与数据块
迭代GroupBy每次得到组名和该组数据块;多键分组时,组名本身是由键值构成的元组。直接按组处理可保持身份,转dict/list则收集各组以便随机访问,也改变内存驻留方式。按列dtype分组是原书旧axis用法,应区分被分的是行记录还是列。
分组迭代保留组名与数据块保存独立卡片。
原书依据 · 1 处
选取一个或一组列
聚合前选择数据列可缩小范围,单个列名与单元素列名列表保留不同对象维度。
选列形式影响分组结果维度
GroupBy后用单列名选择得到分组Series,用列名列表选择得到分组DataFrame,即便列表只含一列。均值内容可相同,结果轴与对象形态仍不同;需要表形结果时不能只看列数为1就随意换成标量列名。先选所需列也使聚合范围更明确。
选列形式影响分组结果维度保存独立卡片。
原书依据 · 1 处
通过字典或Series进行分组
映射按轴标签决定组名,Series分组键还会对齐索引,列缺失数会影响count。
分组键定义比较关联本项背景,实质主要讲解在对应位置。
自动对齐防错位关联本项背景,实质主要讲解在对应位置。
分组大小不同于有效值计数关联本项背景,实质主要讲解在对应位置。
通过函数进行分组
分组函数把索引标签映射到组名,和对数据组执行统计函数是不同阶段。
求分组键不同于处理分组数据
people.groupby(len)把len应用到人名索引标签,按名字长度形成组;它不是对每行数值求长度,也不是对整组数据执行len。生成分组键发生在拆分阶段,mean/min等才处理形成的数据组。把回调输入角色区分开,才能解释函数与数组等混合作键的结果。
求分组键不同于处理分组数据保存独立卡片。
原书依据 · 1 处
数据聚合
聚合把每组压缩为统计值,可用优化方法或自定义函数,返回统计量不等于保留全部分布。
聚合压缩信息
聚合将一组观测压成一个统计量,如均值、计数、总和或极差;多列可分别产生各自结果。这样便于比较组,但会舍弃组内顺序与分布细节,不能由相同均值推断两组相同。选择统计量前先明确要回答的问题,并同时保留必要有效样本数。
聚合压缩信息保存独立卡片。
原书依据 · 1 处
自定义聚合需符合结果契约
agg可接收自定义函数,示例用组内最大值减最小值得极差;函数需返回适合聚合组合的结果。内置优化路径与逐组Python回调成本不同,应在语义相同时再比较性能,不能把“自定义更灵活”误当自动更快。describe返回多项报告,严格说又不同于单标量聚合。
自定义聚合需符合结果契约保存独立卡片。
首末有效值不必来自同一行
表9-1的first/last取各列首个或末个非NA值,若各列缺失位置不同,组合出的结果未必对应一条完整原始记录。需要取某次真实观测时,不能只因名称叫first就当成第一行。先确认要的是逐列有效摘要,还是保持整行身份的选择。
首末有效值不必来自同一行保存独立卡片。
原书依据 · 1 处
面向列的多函数应用
多函数与逐列函数映射决定结果列层级,名称需同时表达原字段与统计指标。
多重聚合需保留字段与指标身份
对多列应用多函数后,结果列同时含原字段和统计指标两个层次,例如tip_pct的mean不同于total_bill的mean。若只保留函数名会丢失变量身份,只保留原字段又分不清统计量。自定义列名应清楚表达含义,不能用不透明的foo/bar代替解释。
多重聚合需保留字段与指标身份保存独立卡片。
原书依据 · 1 处
逐列聚合先声明运算映射
agg可让同一列应用多个函数,也可把列名映射到不同函数或函数列表。它使每列统计职责明确,例如tip取最大而size求和,不能把两列默认套同一函数。命名、结果形态与数值单位都要一起保留,函数名称相同也不保证自由度或缺失处理约定相同。
逐列聚合先声明运算映射保存独立卡片。
原书依据 · 1 处
以“无索引”的形式返回聚合数据
as_index=False使分组键保留为普通列,不表示结果对象没有任何索引。
分组键作列不等于没有索引
groupby聚合通常将组键放在结果索引中,as_index=False可让其作为普通列,结果仍有自身行索引。对聚合结果reset_index也可把键移回列。选择取决于后续连接与展示需要,不改变分组含义,也不等于原始每行索引被保留。
分组键作列不等于没有索引保存独立卡片。
原书依据 · 1 处
分位点插值不等于实际观测
样本分位数位置落在两个观测之间时,线性插值可给出中间数值;这个数未必在样本中实际出现。报告分位点时需说明方法与样本范围,不能把插值得到的值当某条原始记录,也不能认为不同分位算法总应输出完全一致。
分位点插值不等于实际观测保存独立卡片。
原书依据 · 1 处
转换保持形状
GroupBy.transform适合为原观测产生对齐结果:组函数可给一个可广播标量,或给与该组相同大小的结果。组均值因此能放回每个成员行,而不是只剩每组一行。它保留逐行比较所需形态,不意味着原值不变,也不接受任意形状输出。
转换保持形状保存独立卡片。
组内去均值保留相对偏差
每项减去所属组的均值,得到相对该组中心的偏差,使不同组可在本组基准上比较。有效项的组均值应在数值误差范围内接近0,但缺失仍可能保留;零均值不代表无波动或没有组内差异。该检查也不能证明最初分组规则正确。
组内去均值保留相对偏差保存独立卡片。
apply:一般性的“拆分-应用-合并”
apply容纳更一般的逐组结果,但结果组合与索引形态更需要核对,能用专用方法时不必强套。
转换保持形状关联本项背景,实质主要讲解在对应位置。
每组前N不同于全表前N关联本项背景,实质主要讲解在对应位置。
TopN选择与结果顺序分开关联本项背景,实质主要讲解在对应位置。
统计接口返回值标签或位置关联本项背景,实质主要讲解在对应位置。
apply换来表达力
apply把各组交给函数,再尝试组合返回的pandas对象或标量,适合组内筛选、多项报告等不满足单标量聚合或同形转换的情况。自由度增加也使结果形状、索引与计算成本更需检查。能用明确的agg/transform表达时,可先保留其较强结果契约,而不把apply当所有任务的统一答案。
apply换来表达力保存独立卡片。
原书依据 · 1 处
禁止分组键
group_keys控制apply组合结果是否增加外层分组标记,不会取消实际分组计算。
分组标记控制结果索引层
apply组合各组结果时可添加外层组键以标识片段来源;group_keys=False省去该外层,内层原记录索引仍可能存在。它不等于不分组,也不保证最终索引唯一。省略标记前应确认来源身份能从其他列或索引恢复,避免输出看起来简单却失去解释线索。
分组标记控制结果索引层保存独立卡片。
分位数和桶分析
按一列分箱,再统计另一列,可形成区间条件摘要;等频编号不保存实际边界。
等宽分箱不同于等频分箱关联本项背景,实质主要讲解在对应位置。
类别编码不等于实际数值关联本项背景,实质主要讲解在对应位置。
分箱统计需区分分组量与统计量
示例按data1的区间形成组,对data2计算min/max/count/mean。因此结果描述的是“data1位于某箱时,data2如何分布”,不是data1自身的摘要。组标签与被计算变量要分清,区间划分的选择会改变比较范围,不能由分组差异直接推出因果。
分箱统计需区分分组量与统计量保存独立卡片。
原书依据 · 1 处
分组填补需明确组级规则
为不同组设不同填充值时,先确认分组身份,再按组名选择规则。示例可用各组均值,也可用East与West的预定义值。规则字典应覆盖实际组名;若按均值填补,还须考虑整组没有有效值时无法由该组估计的情况。填补值应保留来源标记,避免与实际观测混淆。
分组填补需明确组级规则保存独立卡片。
原书依据 · 1 处
示例:随机采样和排列
置乱后取前n项是不放回抽取,分组后各抽固定数量形成分层配额。
有放回与无放回抽样分开关联本项背景,实质主要讲解在对应位置。
分组标记控制结果索引层关联本项背景,实质主要讲解在对应位置。
各组定额抽样改变样本构成
先按花色分组、每组抽两张,保证每种花色相同配额。它不同于从全副牌直接抽八张,后者不保证花色构成。原例四组大小相同;若组大小不同,等额配额通常会改变各组在样本中的占比,不能把它直接当总体比例。
各组定额抽样改变样本构成保存独立卡片。
原书依据 · 1 处
示例:分组加权平均数和相关系数
组内多列计算用同一数据块配对,权重和相关系数的解释都受样本范围约束。
加权平均需配对数值与权重
加权平均按Σ(数值×权重)/Σ权重计算,每项数值必须与其权重对应,分母不能为零。示例按category分组后,在同一组内取data和weights,避免跨组混配。权重的业务含义也须说明;有权重不表示结果自动更可靠。
加权平均需配对数值与权重保存独立卡片。
原书依据 · 1 处
分组相关依赖共同样本范围
按年份分别计算相关系数,回答各年共同有效观测中的线性共同变化,不是全时期一个固定关系。原例先对价格求相对变化并dropna,再分年corrwith;该顺序确定参与计算的日期范围。自身相关为1不是预测能力,年份之间差异也不证明因果或未来表现。
分组相关依赖共同样本范围保存独立卡片。
示例:面向分组的线性回归
按组拟合线性回归可比较组内条件关系,解释变量与截距需显式形成设计矩阵。
分组回归需明确设计矩阵
将每组的被解释变量Y和解释变量列X取出,再添加常数列表示截距,OLS拟合后返回参数。按年执行会得到每年的斜率与截距,参数只描述该模型和样本内的线性拟合,不能独自证明因果、预测精度或显著性。截距需明确加入,避免把无截距模型误认为同一种模型。
分组回归需明确设计矩阵保存独立卡片。
透视表和交叉表
透视表按维度排布聚合值,边际统计需回到有效原始记录计算。
透视表固定维度关联本项背景,实质主要讲解在对应位置。
缺失填补需区分列与数值含义关联本项背景,实质主要讲解在对应位置。
缺失检测不同于删除与填补关联本项背景,实质主要讲解在对应位置。
边际均值不是各格均值平均
透视表margins增加的All对相应范围的记录重新应用聚合函数。当各格样本数不同,整体均值不能由各格均值简单平均;应按有效样本数加权,且确认缺失过滤一致。All行列的含义由aggfunc决定,不是所有情况下都求和。
边际均值不是各格均值平均保存独立卡片。
原书依据 · 1 处
交叉频数不同于条件比例
crosstab默认按类别组合计数,例如性别与用手习惯的每格是样本条数,边际All是相应计数合计。要解释某组内比例还需除以该组总数,并明确按行还是按列归一化。频数表本身不证明总体比例、独立性或因果。
交叉频数不同于条件比例保存独立卡片。
原书依据 · 1 处
正额筛选不能代表净额
捐款数据含正额与负额退款,原例只保留contb_receipt_amt大于0,得到正额记录集合。其总和回答正额收款规模,不能当扣退款后的净额;进一步只留两位候选人又缩小分母范围。每次筛选需记录口径,不能把记录条数称作独立捐款人数。
正额筛选不能代表净额保存独立卡片。
原书依据 · 1 处
根据职业和雇主统计赞助信息
清理职业名称后按金额聚合,映射遗漏保留原值,而TopN代码需核对实际切片方向。
映射注入语义关联本项背景,实质主要讲解在对应位置。
每组前N不同于全表前N关联本项背景,实质主要讲解在对应位置。
绘图交互不替代数据解释关联本项背景,实质主要讲解在对应位置。
前N截取必须核对切片边界
降序序列的前N应取[:n];[n:]会跳过前N而保留余下部分。原书get_top_amounts代码写[n:],与展示前7或前10名的意图和结果不符。应将其作为原文错误识别,不能照抄后声称已正确取前N。排序方向、截取边界与输出数量要一起确认。
前N截取必须核对切片边界保存独立卡片。
原书依据 · 1 处
箱内金额占比不等于人数占比
先按捐款金额分箱,再按候选人汇总金额,逐行除以两位候选人在该箱的总金额,得到箱内金额份额。它既不是各候选人全部资金的箱分布,也不是捐款人占比;同一人可有多条记录。必须保留分箱边界、两候选人范围和正额筛选口径。
箱内金额占比不等于人数占比保存独立卡片。
原书依据 · 1 处
金额地图不能替代支持率
原图用两候选人正额捐款中Obama的州内金额份额控制透明度,因此深浅表示所选样本的金额构成。金额与捐款人数、人口及选票支持率不同,不能把图注中的支持直接解释成全州选民意见。筛掉合计不超过10万的州,也限制了呈现范围。
金额地图不能替代支持率保存独立卡片。
原书依据 · 1 处
时间类型先分清
时间戳表示具体时刻,时期表示如某月或某年这一段固定历法范围,区间由起止时刻界定;实验时间则相对某次起点计量。它们都可组织时间序列,但标签相似不代表语义相同。先确认测量对象是瞬间观测、区间累计还是经过时长,再决定索引、分组和重采样方式。
时间类型先分清保存独立卡片。
日期和时间数据类型及工具
date/time/datetime描述日期或时刻,timedelta表达时长且需区分分量与总量。
日期时刻与时长分工不同
date存日期,time存一天内时间,datetime合并日期与时间,timedelta表示时长。日期时间加减时长得到新的日期时间,两个可比较日期时间相减得到时长。原文“毫秒存储”有误,datetime提供微秒分量;精度单位不能由显示位数随意推断。
日期时刻与时长分工不同保存独立卡片。
时长秒分量不是总秒数
timedelta的days、seconds、microseconds是归一化后的分量,seconds不包含days代表的秒数。原例926天另加56700秒,单读seconds会遗漏926天;需要总秒数时应表达完整时长,而非误取一个分量。负时长也不能只根据seconds的符号判断。
时长秒分量不是总秒数保存独立卡片。
原书依据 · 1 处
字符串和datetime的相互转换
格式化把日期变文本,解析反向解释文本,歧义日期需显式格式和环境约定。
日期解析需先约定格式
strftime按格式输出文本,strptime按指定格式将文本解释成日期时间。月日顺序可能歧义,不能凭能解析成功就认为语义正确;批量数据应确认格式、缺失规则与本地化语言。dateutil的宽松推断可能把非日期也解释成日期,需有业务校验。
日期解析需先约定格式保存独立卡片。
日期文本受本地环境影响
月份和星期名称、AM/PM及默认日期时间格式会随语言与环境变化;同一字符串在不同环境不保证相同解析。交换数据时宜明确年月日顺序与格式,而非依赖展示环境。原表%F/%D等平台格式不保证所有Python环境支持。
日期文本受本地环境影响保存独立卡片。
原书依据 · 1 处
NaT表示缺失时间
NaT是pandas日期时间数据中的缺失标记,示例由None产生,需用缺失检测识别。它表示时间未知或缺失,不等于零时刻或某个真实日期。解析失败是否报错或转换为NaT还取决于明确配置,不能由一个None示例推断所有无效输入都会自动安全处理。
NaT表示缺失时间保存独立卡片。
原书依据 · 1 处
时间索引与时间标量分层
DatetimeIndex是一组时间标签,Timestamp是其中单个时间标量;以该索引组织的Series可进行日期选择和对齐。原书展示datetime64[ns],不能推断任何现代输入都固定纳秒精度;当前pandas可依输入与单位保留其他分辨率,需读取实际dtype。
时间索引与时间标量分层保存独立卡片。
原书依据 · 1 处
部分日期字符串表达范围
按年或年月选择时间序列时,字符串可代表该年或该月的一段时间,而非唯一时刻。精确日期选择和部分日期范围的返回形状可能不同,需结合索引分辨率与重复情况理解。范围边界没有对应观测也可在已排序索引上选择区间内记录,不要求观测固定等间隔。
部分日期字符串表达范围保存独立卡片。
原书依据 · 1 处
同刻聚合需保留观测数量
对相同时间标签按索引层分组可求均值、计数或其他摘要;这把多次观测压成同刻统计,不等于证明原始记录重复错误。均值需配合有效观测数解释,业务需要保留事件身份时不能仅为唯一索引就自动删除或平均。
同刻聚合需保留观测数量保存独立卡片。
原书依据 · 1 处
频率定义节奏
频率规定标签按何种时间规律出现,例如每日或月末;它不同于已有观测恰好多久出现一次。将不规则序列整理到固定网格时,没有对应观测的位置可能成为缺失,不能自动视作0或已观测。固定频率也不代表数据连续无缺口。
频率定义节奏保存独立卡片。
生成日期范围
日期范围按边界与频率生成标签,不保证起止输入本身都属于结果。
日期网格需同时满足边界与频率
date_range按指定频率生成边界内时间标签;输入开始或结束若不符合频率规则,不会为迁就边界而凭空添加。例如月末工作日网格的终点在月初时,不包含该月月末。只给一端时还需给periods数量,数量与时间跨度是不同约束。
日期网格需同时满足边界与频率保存独立卡片。
原书依据 · 1 处
日期规范化只调整时刻部分
date_range默认保留输入时间戳的日内时间,normalize=True可先规范到午夜。这个操作不等于时区转换,也不证明午夜是真实观测时间;生成日期网格与给原数据赋值应分开,避免把人工标签当观测。
日期规范化只调整时刻部分保存独立卡片。
原书依据 · 1 处
频率和日期偏移量
基础频率乘以倍数组成节奏,固定时长与锚点日历规则不可混为一谈。
固定时长不同于日历偏移
两小时三十分可合为固定150分钟,而月末或工作月末由历法和工作周规则定位,相邻结果不保证相隔相同秒数。选频率时需说明目标是经过固定时长,还是命中特定历法位置;一个月不能简单视作固定30天。
固定时长不同于日历偏移保存独立卡片。
频率别名与偏移类表达同一规则
偏移对象可用倍数和兼容加法组合,频率字符串是相应规则的便捷表示。原例Hour(2)+Minute(30)对应150分钟;选择字符串时需确认当前版本支持的别名,而非照搬历史H/T/M等写法。
频率别名与偏移类表达同一规则保存独立卡片。
原书依据 · 1 处
WOM日期
WOM规则直接表达每月第几周的指定星期,不靠每次手工枚举。
月内星期规则不同于固定天数
WOM-3FRI表示每月第三个星期五,日期随月份变化,间隔也不固定为30天或四周。它适合表达月内星期这样的历法要求,不能用固定时长平移替代,也不自动包含某行业节假日顺延规则。
月内星期规则不同于固定天数保存独立卡片。
原书依据 · 1 处
移动不等于改时间
不带freq的shift在固定索引上移动数值位置,空出的位置缺失,超出边界的值不在结果中。带freq则按指定规则移动索引时间标签而保持原值序列。前者用于和前一期值对齐比较,后者表达标签平移;一个观测位置不等于固定一天,特别是不规则时间索引。
移动不等于改时间保存独立卡片。
原书依据 · 1 处
锚点滚动先命中规则位置
MonthEnd将日期定位到月末,十一月十七日向前滚到十一月三十日,不必先经过整整一个月。rollforward与rollback分别向后续或先前符合规则的位置对齐;区别于任意固定天数相加。原例以滚到的月末作组键,再求均值,使原观测归入对应月份摘要。
锚点滚动先命中规则位置保存独立卡片。
原书依据 · 1 处
时区处理
地区时区包含历史偏移规则,不能只用一项固定UTC偏移替代所有日期。
地区时区规则依赖日期
地区时区不仅是一个固定UTC偏移,还可能随日期、夏令时与历史制度变化。处理历史时间需使用对应日期的地区规则,不能把当前或某季节偏移套给所有观测。UTC便于统一比较时刻,但原始本地时间语义和地区信息仍应保存。
地区时区规则依赖日期保存独立卡片。
原书依据 · 1 处
本地化和转换
本地化为无时区钟面赋予来源地区,转换则保持同一时刻改变地区表示。
时区要先本地化
无时区日期时间只给出钟面读数,尚未确定全球哪一时刻。tz_localize根据真实来源时区解释这些读数;tz_convert再把已明确的时刻换成另一时区表示。不能为方便一律先标成UTC,否则原本本地时间会被错认。夏令时交界的重复或不存在时间需明确处置。
时区要先本地化保存独立卡片。
原书依据 · 1 处
夏令时使钟面读数不唯一
回拨时某段本地钟面时间会出现两次,快拨时某段可能不存在,单看年月日时分不能唯一确定时刻。本地化需按来源证据选择歧义处理,不能用随意补时掩盖不确定性。当前pandas提供ambiguous和nonexistent策略,选择仍需符合数据语义。
夏令时使钟面读数不唯一保存独立卡片。
原书依据 · 1 处
操作时区意识型Timestamp对象
时区转换保持所指时刻,经过时长与本地钟面变化应分开。
时区转换保持同一时刻
同一已确定时刻可在不同时区显示为不同年月日时分,转换时应保持其时间线位置。原例转换前后UTC值相同;这不表示钟面文本相同,也不同于重新给无时区文本指定来源地区。存储分辨率需按实际类型确认,不能由旧纳秒例子推广全部版本。
时区转换保持同一时刻保存独立卡片。
经过两小时未必钟面加两小时
夏令时回拨期间,原例从00:30-04:00经过两小时到01:30-05:00,钟面只前进一小时,实际时长仍是两小时。计算耗时应比较确定时刻,排本地日程则需保留地区日历语义;二者不能只用文本时分相减代替。
经过两小时未必钟面加两小时保存独立卡片。
原书依据 · 1 处
时期及其算术运算
Period表示带频率的一整段历法范围,位移单位由频率决定。
时期运算以自身频率计数
Period把年份、月份或季度解释为具有固定频率定义的一整段时间;加减整数表示按该频率移动若干期,而非固定若干天。PeriodIndex保存多个时期标签。两者运算和比较需核对频率兼容性,不能仅因都写2007就把月、季和年当同一对象。
时期运算以自身频率计数保存独立卡片。
原书依据 · 1 处
时期换频需说明起端或末端
一个年度Period包含多个子月份,asfreq到月时选择start或end得到起始月或终止月,并非同时展开全年。反向转换到较大时期则按该月归属的财年规则确定标签。六月结束的2007财年应从2006年七月到2007年六月,原文把两端都列2007-06与规则不符,应明确其输出错误。
时期换频需说明起端或末端保存独立卡片。
原书依据 · 1 处
按季度计算的时期频率
季度标签依财年结束月份解释,取具体工作日时点还需规则组合。
季度标签必须带财年锚点
2012Q4并不单独决定哪三个月;财年结束于一月时,它指2011年十一月到2012年一月。跨系统交换季度数据应同时保存财年结束月,否则相同标签可能对错日历范围。工作日规则也需与实际业务日历区别,不能默认含所有市场节假日。
季度标签必须带财年锚点保存独立卡片。
复合日期定位分步保留语义
先取季度最后工作日、回退一个工作日、转到该日分钟起点,再加16小时,可表达季度倒数第二个工作日16点。每一步的单位与端点含义都应保留;直接改显示字符串或加固定天数不等价。该16点本身尚未说明来源时区。
复合日期定位分步保留语义保存独立卡片。
原书依据 · 1 处
将Timestamp转换为Period(及其反向过程)
时间戳转时期改变标签语义且可产生重复,反向转换需选时期代表端点。
时间戳转时期不自动聚合
多个日时间戳转换成月Period后,仍可保留多条同月记录;它只改变索引语义,不自动合并数值。要一月一条还需明确聚合。反向to_timestamp需选择开始或结束,得到该期代表时刻,并不能恢复最初各观测的精确时间。
时间戳转时期不自动聚合保存独立卡片。
原书依据 · 1 处
通过数组创建PeriodIndex
分列年度与季度需结合财年频率重建时期索引,不能把季度数误当月份。
分列时间需保留财年定义
以年度列和季度列重建PeriodIndex时,必须同时给定季度频率所依据的财年末。year与quarter按同一行配对,且数量应与观测行对应;季度1不等于一月单月。替换索引只建立时间标签,不验证数据数值准确或是否存在重复时期。
分列时间需保留财年定义保存独立卡片。
原书依据 · 1 处
重采样及频率转换
重采样既可改变疏密也可更改网格锚点,聚合函数与输出标签需分别指定。
重采样改变粒度
重采样重新组织时间网格:高频到低频通常需聚合,低频到高频通常产生待填位置;从周三网格到周五网格则主要改变锚点,未必可简单称升采样或降采样。目标频率不足以定义完整结果,还须说明聚合、边界、标签与填补方式。
重采样改变粒度保存独立卡片。
降采样
分箱闭合端决定观测归属,标签端决定输出名称,两者独立。
重采样归属与标签分别决定
closed决定分箱包含左端还是右端观测,label决定结果标在左边界还是右边界。改label只改变标记,改closed可使边界上的观测进入不同箱,统计值因此改变。时间网格还需明确起点;不要从结果标签猜真实观测覆盖区间。
重采样归属与标签分别决定保存独立卡片。
原书依据 · 1 处
标签平移不应改变统计归属
完成聚合后将结果时间标签平移一秒,只是在表达区间,不应重新分配原观测。原书loffset是旧接口;如用shift替代,必须明确移动时间标签而非在固定索引上移动数值。二者外观相似但统计意义不同。
标签平移不应改变统计归属保存独立卡片。
原书依据 · 1 处
OHLC重采样
OHLC保留一箱的首末与极值,无法重建箱内全部路径。
OHLC摘要保留首末与极值
OHLC对每个时间箱取首个值open、最大high、最小low和末个值close。它保留起终与范围,仍丢失箱内中间顺序、次数和完整轨迹;两段不同路径可有相同OHLC。输入需按预期时间顺序与缺失政策处理,不能由四值恢复每次观测。
OHLC摘要保留首末与极值保存独立卡片。
原书依据 · 1 处
通过groupby进行重采样
以月份或星期几分组是跨日历周期的类别汇总,不一定是连续时间分箱。
月份类别分组可能跨年合并
按索引.month分组只得到1到12类,数据跨年时相同月份会合到一起;按weekday同样聚合所有周的同一星期。若要每个实际年月或每一周的连续摘要,应保留年份或相应时间区间键。原例仅100天没有暴露跨年混合问题,不能推广其结果形态。
月份类别分组可能跨年合并保存独立卡片。
原书依据 · 1 处
升采样和插值
升采样增加标签位置而不增加真实观测,前向填充需限制沿用距离。
频率定义节奏关联本项背景,实质主要讲解在对应位置。
填充值隐含数据延续假设关联本项背景,实质主要讲解在对应位置。
重索引填充需限制匹配范围关联本项背景,实质主要讲解在对应位置。
通过时期进行重采样
时期重采样需保留区间包含关系,年值展开到季时必须说明放在首季或末季。
时期展开需明确值的落点
年度值升到季度时,先决定该值落在年度起端还是末端,再确定后续填充规则;结果不同并非单纯格式变化。把年均值填到各季不会创造真实季观测,也不能当季度均值已从数据估计。跨财年频率还须检查区间包含与对齐关系。
时期展开需明确值的落点保存独立卡片。
原书依据 · 1 处
时间序列绘图
时间图格式化需与真实日期粒度一致,多列价格同轴不能自动比较相对表现。
折线横坐标需核对索引含义关联本项背景,实质主要讲解在对应位置。
绘图交互不替代数据解释关联本项背景,实质主要讲解在对应位置。
绘图交互依赖事件循环协作关联本项背景,实质主要讲解在对应位置。
移动窗口函数
滚动窗口取局部范围,扩展窗口累积至今,最少有效样本决定开始输出的位置。
滚动窗口看局部
滚动窗口让每个位置的统计只依赖附近指定范围的观测,而非全样本。原例整数250是250个观测位置,不能无条件叫250个日历日;不规则时间下尤其不同。窗口均值会平滑变化但并不预测未来,还需说明窗口方向和统计量作用的原数据。
滚动窗口看局部保存独立卡片。
原书依据 · 1 处
窗口长度不同于有效样本门槛
window定义每次可见范围,min_periods定义至少多少有效观测才输出值。250位置窗口允许10个有效值后就计算,起始部分实际使用数量因此少于250;阈值低并不补齐数据或保证估计稳定。比较不同位置统计时要考虑其有效样本数。
窗口长度不同于有效样本门槛保存独立卡片。
原书依据 · 1 处
扩展窗口累计全部过去观测
扩展窗口从起点累计到当前位置,与固定宽度滚动窗口逐步丢弃旧观测不同。原例以总序列长度为滚动窗、min_periods=1表达此意,现代可用专门expanding入口;它仍依赖起始日期和缺失规则,不是任何时间范围都同一结果。
扩展窗口累计全部过去观测保存独立卡片。
原书依据 · 1 处
统计图标题需对应实际输入
原例rolling_std直接作用close_px.AAPL价格,得到价格的窗口标准差;图注称每日回报标准差与代码不符。若研究回报,应先明确如何从价格构造回报,再计算相应统计,不能只靠标题改变数值含义或单位。
统计图标题需对应实际输入保存独立卡片。
原书依据 · 1 处
指数加权函数
指数加权让近期数据有更大权重,衰减参数与归一化约定必须明确。
指数加权强调近期观测
指数加权均值让较早观测的权重逐步衰减,改变跟随局部变化的速度;span是控制衰减的参数,不等同只保留span个观测。权重、初值、缺失处理及是否归一化都会影响结果,不能因同为60就认为等于60期简单均值。
指数加权强调近期观测保存独立卡片。
原书依据 · 1 处
指数递推需核对权重符号
常用递推定义为y_t=αxt+(1−α)y(t−1),其中0<α≤1,明确新观测和旧结果权重相加为1。原文排版成a*m_(t−1)+(a−1)*x等不可信表达,不照抄。该式对应当前pandas adjust=False的约定;默认adjust=True按有限历史归一化,不能混称同一实现。
指数递推需核对权重符号保存独立卡片。
原书依据 · 1 处
二元移动窗口函数
滚动相关对每个局部窗口的两条序列配对,不能由平滑曲线推断稳定因果。
滚动相关需对齐共同有效样本
滚动相关在每个窗口对两条时间序列的共同有效观测计算线性关联。示例125位置、至少100有效项的结果会随窗口变化,不能一律称固定六个日历月。输入价格和收益率的含义不同,单列对多列计算得到各列与参考列的相关,而非完整两两矩阵。
滚动相关需对齐共同有效样本保存独立卡片。
百分等级与分位点方向相反
样本分位数从给定比例找对应数值,百分等级从给定数值问它在样本中排在何处。原例对每个250观测窗口询问0.02的百分等级,输出是排名比例尺度,不是2%本身的收益或未来超过阈值概率。存在并列时还需说明rank/strict/weak等约定。
百分等级与分位点方向相反保存独立卡片。
原书依据 · 1 处
数组体积估算不是进程内存
每项8字节值加8字节时间标签,一百万项的两个数组约16百万字节;这只估算有效载荷,不含对象、临时结果、索引结构和库开销。共享索引可能减少重复,但是否共享、何时复制须由实际版本和操作确认,不能笼统保证派生对象不占内存。
数组体积估算不是进程内存保存独立卡片。
原书依据 · 1 处
截面与面板区分观察维度
截面是在某个时点对多个对象的观测,如同日多个资产的价格;面板同时跨对象与多个时间点,可再含多个测量项。数据形状应保留时间、对象和指标各自身份,不要把对象差异和同一对象的时间变化混为一谈。
截面与面板区分观察维度保存独立卡片。
原书依据 · 1 处
数据规整化方面的话题
此节引入金融问题中的数据规整主题。
时间序列以及截面对齐
自动对齐处理标签差异,计算加权统计还需让分子分母共享有效范围。
自动对齐防错位关联本项背景,实质主要讲解在对应位置。
表构造须核对输入的轴含义关联本项背景,实质主要讲解在对应位置。
加权分母须匹配分子有效范围
示例Σ(价格×量)/Σ量依赖成交量对应处都有价格。若某行量有效而价缺失,乘积被sum跳过但量仍进入分母,会产生偏差。需用共同有效掩码同时选择价格与权重,并确认权重和非零;自动标签对齐本身不能保证统计分母正确。
加权分母须匹配分子有效范围保存独立卡片。
原书依据 · 1 处
固定网格与目标索引分开选
resample按固定频率重新组织时间,reindex按明确目标标签重排;当只需要目标序列的不规则日期,没必要为两者建立更密的统一网格。对低频值用前向匹配表示取目标时点之前最近值,首个源观测之前应保持缺失,而非从未来回填。
固定网格与目标索引分开选保存独立卡片。
原书依据 · 1 处
期间归属不等于信息已可用
原例假定年度值在年末观测,再映射到相应季度并向后沿用;这依赖明确的可用时点。实际数据的统计所属期、发布日期与修订版本不同,不能因一个值属于某年就让该年初的分析使用后来才公布的值。换频标签本身不会消除前视。
期间归属不等于信息已可用保存独立卡片。
原书依据 · 1 处
时间和“最当前”数据选取
精确日内时刻选择与查询之前最后有效值需分别处理。
精确时刻选择不同于最近有效值
at_time选择每天恰好某个钟面时间,between_time选择日内时间范围;没有合格观测时不会自动找到此前值。asof则在查询时点或之前寻找最近非缺失值,需保证时间顺序,并考虑跨日沿用或陈旧值是否符合业务。结果标记查询时刻不等于实际观测发生在那一刻。
精确时刻选择不同于最近有效值保存独立卡片。
原书依据 · 1 处
拼接数据源需明确切换边界
在切换日之前用源一、之后用源二,concat只是拼接已选片段;需确保边界不重叠也不遗漏,并检查口径与单位一致。切换不等于数据天然连续,额外列在早期缺失可另行补充,来源仍须记录。
拼接数据源需明确切换边界保存独立卡片。
原书依据 · 1 处
原位补缺与整列替换不同
update原位更新当前表;overwrite=False只补空缺。整列赋值则用目标索引对齐新列,源中没有的目标日期可能被赋为NaN,即使原值不缺失。选择操作前先明确是补缺、覆盖还是切换源,不能只因图形上都像合表就互换。
原位补缺与整列替换不同保存独立卡片。
原书依据 · 1 处
收益指数和累计收益
累计相对变化通过增长因子连乘得到,调整价格与现金分配口径必须一致。
累计变化需要增长因子连乘
相邻期相对变化r对应增长因子1+r,多期累计变化为这些因子的乘积再减1,而非简单加总r。收益指数以起点1表示单位基准的相对变化;时间范围与缺失处理会影响累计结果,首项设1只是基准约定,不填补缺失收益。
累计变化需要增长因子连乘保存独立卡片。
原书依据 · 1 处
调整价格与现金分配避免重复
原例使用已调整收盘价并解释其处理拆分和股息;如果又按日期加上股息率,需先确认价格调整口径,避免同一分配重复计入。价格变化、现金分配与再投资假设应明示,不能仅凭字段名Adj Close推断所有来源的方法相同。
调整价格与现金分配避免重复保存独立卡片。
原书依据 · 1 处
分组变换和分析
组内标准化与排名采用不同变换,顺序改变会改变保留信息。
组内标准化依赖组内尺度
组内z分数先减该组均值,再除该组标准差,表达相对本组中心的距离。均值接近0、标准差接近1是同一有效样本与统计约定下的结果,零方差或样本过少需另处理。标准化不意味着各组原始分布相同,也不保证正态。
组内标准化依赖组内尺度保存独立卡片。
原书依据 · 1 处
排名再标准化舍弃原始间距
先在组内排名再标准化,保留的是顺序及并列约定,原数值之间的实际间距已丢失;与直接对原值标准化不同。组大小不同时名次范围也不同,比较前需确定所需相对意义。原例行业随机生成,只是演示运算。
排名再标准化舍弃原始间距保存独立卡片。
原书依据 · 1 处
多因子系数不同于两两相关
对多个解释变量同时回归,系数描述模型中控制其余变量后的线性关系;每列单独corrwith只给两两相关,两者含义不同。原例用已知权重和随机噪声合成目标,估计值接近生成权重仅说明此模拟设置,不能证明真实世界因果或稳定风险关系。
多因子系数不同于两两相关保存独立卡片。
原书依据 · 1 处
十分位和四分位分析
按波动分位比较策略只是历史条件摘要,信号滞后与样本口径不能省略。
信号与回报须按可用时间对齐
历史回测将信号滞后后用于后续回报,意图避免用尚不可知的信息决定过去持仓。需逐项核对信号形成、重采样分箱、实际可用时刻与持有期间;出现shift不等于所有前视已排除。原例是简化演示,不包含完整交易成本、成交约束或独立样本验证。
信号与回报须按可用时间对齐保存独立卡片。
原书依据 · 1 处
分位分组表现只是条件摘要
将波动指标按样本分位分箱,再分别汇总回报统计,结果描述本样本各箱表现。全样本qcut边界可能用到后来的数据,若用于实时决策须另用当时可知阈值;最高波动箱历史比值最高不能推断今后也最好。
分位分组表现只是条件摘要保存独立卡片。
原书依据 · 1 处
均值标准差比需明确年化假设
原例均值除标准差再乘年期数平方根,计算的是按其数据与缩放约定的比值,未显式扣除无风险基准。标准差为零、非均匀间隔或明显序列依赖都会影响解释;不能把平方根年化当任意样本下精确成立。
均值标准差比需明确年化假设保存独立卡片。
原书依据 · 1 处
更多示例应用
下面三节继续说明参数网格、合约衔接和动态估计。
信号前沿分析
参数网格展示样本内敏感性,代码还需明确逐行标准化的对齐轴。
跨列标准化须显式按行对齐
ranks是日期行、资产列,按行求均值返回日期索引Series。DataFrame与Series直接算术默认沿列匹配,会把日期与资产名错配;意图按日去均值时应显式sub(…,axis=0),除行标准差也须div(…,axis=0)。原书代码缺少对齐轴,不能据其展示热图就认定所列代码正确。
跨列标准化须显式按行对齐保存独立卡片。
原书依据 · 1 处
排名方向决定权重符号
降序排名给较大动量较小名次;名次去均值后,高动量项会得到负值。若把该值直接当持仓权重,方向可能与“追随高动量”的文字意图相反。应先用简单已知顺序检查符号与策略职责,不凭变量名mom认定行为。
排名方向决定权重符号保存独立卡片。
原书依据 · 1 处
参数热图不等于样本外验证
在同一历史样本遍历回顾期和持有期,热图展示参数与样本统计的对应关系,不能仅选最高格就证明方法可泛化。还需明确样本划分、选择过程及未计成本;原例只交付参数敏感性演示,不提供预测结论。
参数热图不等于样本外验证保存独立卡片。
原书依据 · 1 处
合约衔接依赖转仓权重规则
相邻到期合约可按逐日权重衔接,例如近月权重逐步由1降0、远月由0升1,再对同日各合约收益加权。须明确开始日、到期序列、过渡期与权重可用时点,并检查有效权重和。所得连续序列依赖选定规则,不能视作自然唯一的市场价格。
合约衔接依赖转仓权重规则保存独立卡片。
原书依据 · 1 处
回归斜率不同于相关系数
在带截距的一元最小二乘且同一有效样本下,斜率等于相关系数乘以Y标准差与X标准差之比;相关描述标准化共同变化,斜率描述X变化一单位时Y拟合变化多少。滚动估计随窗口变化,两条图不能混作同一量,也不自动证明预测性或因果。
回归斜率不同于相关系数保存独立卡片。
原书依据 · 1 处
第12章 NumPy高级应用
本章进入数组元数据、重塑、广播和通用函数等高级机制。
ndarray对象的内部机理
数组由数据与解释数据的元数据共同构成,跨度决定相邻逻辑位置相隔多少字节。
数组由元数据解释
ndarray通过数据指针、dtype、shape和strides解释内存。dtype说明每项怎么解码,shape给逻辑各轴长度,strides给每轴索引加一时地址跨多少字节。相同数据块可由不同形状或跨度视图解释,数组不必物理连续;对象本身与底层有效载荷不能混为一块。
数组由元数据解释保存独立卡片。
原书依据 · 1 处
stride支撑视图
跨度是沿某轴走一个逻辑位置时的字节增量,能为负数。典型C序float64形状(3,4,5)的strides为(160,40,8),最后轴相邻8字节。倒序切片可调整起点和负跨度而共享数据,不必搬动每项;视图修改因而可能影响共享数据,具体索引方式仍需区别。
stride支撑视图保存独立卡片。
原书依据 · 1 处
NumPy数据类型体系
NumPy标量类型可按超类判断类别,dtype实例与标量类型类需区分。
类型类别不同于精确dtype
issubdtype可判断dtype是否属于整数或浮点等类别,而精确dtype比较区分位宽和其他细节。np.float64是标量类型类,其mro列出floating、inexact、number、generic等父类;dtype对象描述数组元素解释,不能把它与该标量类型类当同一对象。分类检查不代表不同位宽数值精度相同。下图只画原文float64.mro()中的NumPy父类链;mro是类型对象可调用的继承入口,并非声称由float64自行实现。
结构图:
classDiagram
generic <|-- number
number <|-- inexact
inexact <|-- floating
floating <|-- float64
class float64 {
+mro() list
}
类型类别不同于精确dtype保存独立卡片。
原书依据 · 1 处
高级数组操作
高级数组变换补足现成高层工具未覆盖的算法需求。
数组重塑
reshape改变逻辑形状且必须保持元素总数,ravel与flatten的复制语义不同。
重塑形状必须保留元素总数
reshape将同一总数元素按新形状解释,最多一维可用-1由元素数和其他维度推断,不能任意增减元素。是否无需复制取决于当前布局和目标遍历顺序;能形成视图时共享数据,否则可能复制,不能由“reshape”名称保证零复制。
重塑形状必须保留元素总数保存独立卡片。
原书依据 · 1 处
展平接口复制保证不同
ravel返回一维结果,能避免复制时可共享原数据;flatten总返回副本。二者数值输出看起来相同,修改后的影响和内存开销仍可能不同。选择前先明确是否需要独立数据,以及所要求的遍历顺序,不凭打印结果相同判断共享。
展平接口复制保证不同保存独立卡片。
原书依据 · 1 处
C和Fortran顺序
C与Fortran顺序首先定义索引遍历快慢,再结合布局决定是否复制。
C与Fortran顺序
C顺序让最后一个轴索引变化最快,Fortran顺序让第一个轴最快。二维时可理解为逐行或逐列遍历;reshape/ravel的order决定读取和放入元素的索引顺序,不能仅据order参数认定底层物理内存一定按该布局存储。不同布局与遍历组合可能需要复制。
C与Fortran顺序保存独立卡片。
数组的合并和拆分
连接沿某轴扩展,拆分按边界切段,轴与维数决定结果形状。
数组连接需匹配非连接轴
concatenate沿指定轴接续数组,该轴长度相加,其他轴形状需兼容。相同两个2×3数组沿轴0得4×3,沿轴1得2×6;不要把连接方向仅凭显示的横竖猜测。vstack/hstack等是常见情形便利入口,处理一维输入时还需确认升维约定。
数组连接需匹配非连接轴保存独立卡片。
原书依据 · 1 处
拆分位置是边界不是段长度
按边界[1,3]沿首轴split,把五行切为前1行、中间2行、末2行;给出的数是切点,不是每段长度。不同轴拆分改变对应维度,需确认各段是否共享数据及后续修改要求,不能仅凭形状认定是独立副本。
拆分位置是边界不是段长度保存独立卡片。
原书依据 · 1 处
堆叠辅助类:r和c
r_和c_用索引语法缩写连接,也可把切片范围解释成数组。
堆叠缩写仍需核对形状
r_和c_是NumPy提供的索引式便捷对象,可组合数组或将切片转成数列再连接。它们减少语法长度,仍须确认一维输入如何升维、各轴是否匹配;不应因像普通索引就误认为只是无复制地取原数组子集。
堆叠缩写仍需核对形状保存独立卡片。
原书依据 · 1 处
元素的重复操作:tile和repeat
repeat重复单项或轴片段,tile重复整块,二者都会扩大显式数据。
重复元素与重复整块不同
repeat按每项或指定轴片段重复,可对不同位置给不同次数;不指定轴时可能先展平。tile按指定维度重复整块数组,结果排列不同。若只是让小数组参与兼容形状运算,可先考虑广播,避免为了相同数值多次参与而复制整块。
重复元素与重复整块不同保存独立卡片。
原书依据 · 1 处
取位与写位接口轴语义不同
take可沿指定轴按整数位置读取,位置列表可重复或重排;put按C顺序展平位置写回原数组,不接受同样的axis。多轴赋值仍可显式索引。选择和赋值职责不同,不能由函数成对出现就推断其参数或复制语义完全对称。
取位与写位接口轴语义不同保存独立卡片。
原书依据 · 1 处
广播补齐维度
广播从形状末端向前比较各轴,长度相等或一方为1才兼容,缺少的前轴按1理解。例如(4,3)可与(3,)逐列运算,也可与(4,1)逐行运算;(4,)不自动表示四行的列向量。广播描述参与运算的逻辑扩展,不要求先复制完整小数组。
广播补齐维度保存独立卡片。
沿其他轴向广播
保留长度1的目标轴可使归约结果广播回原形状,newaxis表达插入位置。
单例轴明确广播方向
归约去掉某轴后,要把结果用于原数组对应轴,可在该位置补长度1轴。例如(3,4,5)沿轴2求均值得(3,4),补成(3,4,1)再减;newaxis或reshape能表达这个位置。只让总元素数相同不足以保证轴语义正确。
单例轴明确广播方向保存独立卡片。
原书依据 · 1 处
通过广播设置数组的值
赋值广播对目标选区形状匹配,并修改原数组而非只展示扩展值。
广播赋值需匹配目标选区
赋值右侧按目标选区形状广播,例如(4,1)可写入(4,3),每行标量铺到三列;给前两行赋(2,1)只改前两行。广播兼容不检查业务轴含义,还需核对dtype转换和可写性,不能把读取运算的结果与原位赋值的副作用混淆。
广播赋值需匹配目标选区保存独立卡片。
原书依据 · 1 处
ufunc高级应用
通用函数除元素级调用外还提供聚合与组合操作。
ufunc实例方法
二元通用函数可沿轴归约、保留累计路径、计算所有配对或按切点分段归约。
ufunc可组合规约
二元ufunc.reduce沿轴不断合并项得到聚合,accumulate保留每一步累计结果;例如加法分别对应sum与cumsum。选择操作还需明确轴、起始值与空输入约定,不是所有二元函数都有相同单位元或可任意换序。
ufunc可组合规约保存独立卡片。
原书依据 · 1 处
全配对外运算不是向量叉积
ufunc.outer对两个输入的所有元素组合应用同一二元函数,输出形状是两输入形状串接,如(3,4)与(5,)得(3,4,5)。multiply.outer是外积,subtract.outer是全配对差,不能把原文“叉积”当三维向量cross。配对结果大小可显著增长。
全配对外运算不是向量叉积保存独立卡片。
原书依据 · 1 处
分段归约以切点划分连续段
reduceat对按序起点定义的连续片段做归约,原例对应[0:5]、[5:8]、[8:]。它不是按任意类别标签把不相邻记录归组;若要借它做分组,需先明确数据顺序和切点。原例切点递增,不推断任意乱序切点都有同样分段意义。
分段归约以切点划分连续段保存独立卡片。
原书依据 · 1 处
严格递增不同于非递减
相邻项全部满足小于只能证明严格递增,含相等值的已排序非递减序列会在该检查中失败。若业务接受重复值,应明确用小于等于等合适条件,并单独处理缺失。原例logical_and.reduce组合的是比较结果,不是自动理解“有序”的业务定义。
严格递增不同于非递减保存独立卡片。
原书依据 · 1 处
向量化包装不保证计算加速
frompyfunc和vectorize可将Python函数用于元素式数组调用,但包装不会自动消除每个元素的Python调用成本。frompyfunc返回object数组;vectorize可声明输出类型。它们主要便利调用和广播,不能由语法像ufunc就认定具有内置数值ufunc的速度。
向量化包装不保证计算加速保存独立卡片。
原书依据 · 1 处
结构化和记录式数组
结构化dtype以固定记录布局容纳不同字段类型,字段选择可形成共享视图。
结构化数组以记录为同质单位
结构化数组每个元素是一条固定布局记录,记录内不同命名字段可有不同dtype;数组整体仍使用同一个记录dtype。字段名在dtype.names,单记录可按字段访问,整字段选择可形成共享视图。它不同于每个元素任意结构的Python对象数组。
结构化数组以记录为同质单位保存独立卡片。
原书依据 · 1 处
嵌套dtype和多维字段
字段可带固定子数组形状或嵌套记录类型,不能误称任意可变长度。
子数组字段形状属于dtype
结构化dtype可让某字段本身具有固定形状,例如四条记录各有长度3的x,整字段选择得到(4,3)。嵌套dtype还可让x再含a/b字段,逐层按名访问。这里形状由dtype固定,不是每条记录任意长度的列表;原文“可变形状”不能这样泛化。
子数组字段形状属于dtype保存独立卡片。
原书依据 · 1 处
为什么要用结构化数组
固定记录二进制解释依赖完整布局协议,不只知道字段名称。
定长记录读取需完整布局协议
将字节流解释为结构化数组,必须知道记录大小、字段次序、dtype、字节序和必要填充等布局。相同字段名不足以保证跨系统兼容,错误布局可能读出表面合法的错误值。fromfile只是按给定解释读取,不自动验证数据协议或来源正确。
定长记录读取需完整布局协议保存独立卡片。
原书依据 · 1 处
结构化数组操作:numpy.lib.recfunctions
dtype定义固定记录结构,增删字段通常意味着新建数组。
字段结构变化可能要求新数组
结构化数组的字段布局属于dtype,增删字段会改变每条记录的解释和大小,通常不能只像普通字典增键那样原地改变全部布局。recfunctions提供便利工具仍需考虑新数组分配、复制及字段顺序,不把接口便捷理解成零成本。
字段结构变化可能要求新数组保存独立卡片。
原书依据 · 1 处
更多有关排序的话题
原位排序视图会修改共享数组,仅排序一列可能破坏行内记录关系。
排序接口决定是否改原数据关联本项背景,实质主要讲解在对应位置。
C与Fortran顺序关联本项背景,实质主要讲解在对应位置。
间接排序:argsort和lexsort
间接排序返回排列索引,应把同一排列应用于所有相关字段。
间接排序保留记录字段对应
argsort返回排序所需的位置排列,把该排列应用到同一记录的所有字段可保持字段对应。原例按首行排序时同时重排全部行的列,避免每行独立排序而错配。返回的是位置索引,不是排序后数值或标签。
间接排序保留记录字段对应保存独立卡片。
原书依据 · 1 处
多键排序需确认主键优先级
lexsort按多个键间接排序,最后传入的键为主键,前面的键用于主键相同时细分。要按姓优先、名次之,应传(first_name,last_name)。若误以第一个参数优先,结果可能仍有序却不符合业务,需用包含同主键的示例核对。
多键排序需确认主键优先级保存独立卡片。
原书依据 · 1 处
其他排序算法
稳定排序保留同键记录先后,时间与辅助空间复杂度应分开。
稳定排序保留同键先后
稳定排序只保证键相等的记录保持原相对顺序;这对已有次序含时间或优先级意义的记录很重要。选择时需显式要求稳定,不能由结果看起来正确就推断默认算法稳定。原书只在其列举算法中称mergesort唯一稳定,不推广当前所有排序实现。
稳定排序保留同键先后保存独立卡片。
原书依据 · 1 处
排序时间与工作空间分别比较
原表将最坏时间O(n²)或O(nlogn)与工作空间分列,正文把O(nlogn)叫空间复杂度有误。比较排序应分别考虑规模下时间、额外内存和稳定性;表中速度1/2/3只是当时概括,不能当任何dtype和输入下的固定排名。
排序时间与工作空间分别比较保存独立卡片。
原书依据 · 1 处
numpy.searchsorted:在有序数组中查找元素
插入点左右策略决定相等边界归属,分箱必须测试恰好落边界的值。
插入位置不代表已有元素下标
searchsorted在已排序数组返回保持有序的插入位置,可为0或数组长度;不表示该值已存在,也不能不检查就用返回值取原数组项。left位于相等值之前,right位于相等值之后,重复值会使两者不同。
插入位置不代表已有元素下标保存独立卡片。
分箱等价须核对边界相等情形
默认searchsorted(left)与默认digitize对递增边界的相等值归属不同:边界100在前者得位置1,后者通常入下一箱。原例随机样本未碰到边界所以数组相同,不能证明两种默认分箱完全等价。零、末边界与越界值都需显式决定,原文[0,100)描述不直接套默认left。
分箱等价须核对边界相等情形保存独立卡片。
原书依据 · 1 处
NumPy的matrix类
matrix与ndarray的乘法和选取语义不同,移植需显式确认形状与运算。
矩阵乘法不同于逐元素乘法关联本项背景,实质主要讲解在对应位置。
逐轴整数索引会移除轴关联本项背景,实质主要讲解在对应位置。
二次型需保留中间矩阵
代码计算y转置乘X再乘y,即二次型yᵀXy,不是原句写的yᵀy。形状应逐步检查:列向量y经X变换再与自身配对,省掉X会改变结果和含义。matrix示例的ym.T*Xm*ym表达同一二次型,不能因输出单数就把中间算子忽略。
二次型需保留中间矩阵保存独立卡片。
原书依据 · 1 处
高级数组输入输出
高级存储引出磁盘映射和HDF5,处理大文件仍需考虑访问方式。
内存映像文件
内存映射按需访问磁盘数据,布局元数据和写入模式仍须明确。
内存映射不免除布局与内存成本
原始memmap文件只是按约定解释的字节,重开需正确dtype、shape、offset和顺序。映射允许按访问触碰文件片段,不等于任意算法都不占内存;全量临时结果或随机访问仍可能昂贵。原始映射与带格式头的自描述数组文件需区分。
内存映射不免除布局与内存成本保存独立卡片。
原书依据 · 1 处
映射落盘需明确模式与刷新
可写映射的共享视图赋值会改变对应文件数据,flush用于明确把修改刷新到文件。打开前需确认r/r+/w+/c等模式,w+会创建或覆盖,写时复制c不等同持久写回。不能仅del一个变量就保证所有共享视图已消失或数据已按应用要求持久提交。
映射落盘需明确模式与刷新保存独立卡片。
原书依据 · 1 处
连续内存的重要性
连续性与实际访问轴共同影响局部性,复制布局也有一次成本。
C与Fortran顺序关联本项背景,实质主要讲解在对应位置。
微基准结论依赖输入与环境关联本项背景,实质主要讲解在对应位置。
连续内存影响性能
按物理相邻位置访问通常更利于缓存与批量实现,但效果由布局、访问轴、数据规模和具体内核共同决定。C连续二维数组的行相邻,F连续的列相邻;flags可检查,视图可能两种都不连续。若复制成期望布局,应把复制成本计入总任务,而非只比较之后单次求和。
连续内存影响性能保存独立卡片。
原书依据 · 1 处
其他加速手段:Cython、f2py、C
Cython给热点增加静态类型后编译扩展,需同时保留算法与Python接口。
静态类型为编译优化提供信息
Cython可为循环变量、标量和数组元素声明静态类型,再翻译为C并编译为Python扩展,减少动态解释成本。原例float64数组求和把索引与累加器类型明确下来;收益取决于类型覆盖、边界检查和调用方式,不是加一个声明就自动等于最优C程序。
静态类型为编译优化提供信息保存独立卡片。
原书依据 · 1 处
热点编译应先保留可验证算法
先得到语义正确的Python算法,再将已定位热点移到编译实现,有助于保持可比较的参考结果。扩展还需保持输入dtype、维数、空值与错误处理契约;f2py包装Fortran和手写C扩展是其他路径,不因可调用就自动满足这些契约。
热点编译应先保留可验证算法保存独立卡片。
原书依据 · 1 处
基础知识
基础知识分组标题。
语言语义
本段说明作者重视可读、简洁和明确的语言风格。
缩进,而不是大括号
缩进定义代码块层次,空白是语法的一部分而非纯排版。
缩进层次表达代码块边界
Python用缩进组织复合语句的嵌套代码块,冒号后相同层级保持一致缩进;错误层级可改变控制流或使程序无法解析。原书建议每层四空格并统一编辑器设置,避免制表符与空格混杂。分号能同排多语句不意味着这种写法更清楚。
缩进层次表达代码块边界保存独立卡片。
原书依据 · 1 处
万物皆对象
函数、类和模块也作为对象参与传递与存储。
函数也是可传递对象
Python中数值、容器、函数、类和模块等都有对象身份与类型。函数可像其他对象一样绑定名称、放入容器或作为参数传递,这为按行为组合处理步骤提供基础。对象可传递不代表对它求值与调用它是同一操作;调用仍需明确参数与返回结果。
函数也是可传递对象保存独立卡片。
注释
注释解释代码意图,临时禁用片段仍需辨认其对控制流的影响。
注释符号需区分代码与文本
Python代码中的#可开始行尾注释,解释器不执行其后注释文本;字符串内部的#仍是字符串内容。注释掉if和continue会改变处理流程,而不仅隐藏显示,因此临时停用代码需明确实际行为。注释宜说明原因和副作用,不能代替代码正确性。
注释符号需区分代码与文本保存独立卡片。
原书依据 · 1 处
函数调用和对象方法调用
调用语法区分位置实参与命名实参,方法经对象取得后调用。
位置参数与关键字参数分工
函数调用用圆括号传实参,位置参数按顺序匹配,关键字参数按名字表达对应关系。obj.some_method(…)先经对象取方法再调用,可访问该对象行为;是否返回可用值取决于函数契约,不能因能赋值给变量就当操作总返回原对象。
位置参数与关键字参数分工保存独立卡片。
变量和按引用传递
赋值绑定名称而非自动复制对象,函数参数共享对象但重新绑定名称不改外部绑定。
名称绑定不同于复制对象
b=a让两个名称引用同一对象,修改该可变列表内容可由两名称观察。函数调用也将参数名绑定到传入对象;函数能修改共享对象,不表示它重新给参数名赋值就能替换调用者变量。原文“按引用传递”应理解为共享对象引用,不能混同可改调用者绑定的传引用机制。
结构图:
flowchart LR
A[名称a] --> O[同一个列表对象]
B[名称b] --> O
名称绑定不同于复制对象保存独立卡片。
动态引用,强类型
名称可重新绑定不同类型对象,实际运算仍受对象类型契约约束。
动态绑定不等于任意隐式转换
同一名称先绑整数再绑字符串,不会使整数对象变成字符串;类型属于对象。字符串5与整数5相加会报类型错误,某些兼容数值类型则允许算术转换。isinstance可检验单类型或类型元组,但检查类型不代替检查输入值范围和行为契约。
动态绑定不等于任意隐式转换保存独立卡片。
原书依据 · 1 处
属性和方法
点号与按名字获取都是属性访问,获得可调用对象不等于执行。
属性获取与方法调用分开
obj.name用固定名字取属性,getattr(obj,name)可由字符串动态选择;取得方法后仍需加调用括号才会运行。通用代码使用动态名字时需明确允许的属性与缺失处理,而不是把所有补全候选都看作当前需要调用的操作。
属性获取与方法调用分开保存独立卡片。
原书依据 · 1 处
“鸭子”类型译注1
鸭子类型按所需行为接纳对象,迭代能力不保证可重复或有限。
行为协议比具体容器名更宽
需要遍历数据时,可尝试iter(obj)判断是否提供迭代行为,而不强制对象必须是list。字符串也可迭代,生成器可能只用一次;转list会消费输入并物化全部项。协议满足不代表语义合适、无限输入可安全物化或多次遍历结果相同。
行为协议比具体容器名更宽保存独立卡片。
原书依据 · 1 处
导入别名不复制模块定义
import模块后经模块名访问成员,from模块import成员则直接在当前命名空间绑定该成员。as选择本地别名,不改变原模块公开名称,也不自动复制函数或数据。模块不只限普通.py文件,原例只是最简单文件布局。
导入别名不复制模块定义保存独立卡片。
原书依据 · 1 处
相等比较不同于对象身份
==按对象定义比较值,is检查是否同一对象。两个独立列表可内容相等却身份不同;检查None常用is,因为None是单例。不能用is替代数字或字符串的值相等比较,也不能因偶见身份相同就依赖缓存行为。
相等比较不同于对象身份保存独立卡片。
原书依据 · 1 处
严格与懒惰
多数普通表达式立即求值,迭代器和生成器可把工作推迟到消费时。
惰性求值推迟工作与失败时点
普通赋值右侧表达式先计算再绑定结果;生成器或某些迭代接口可到消费时才计算下一项。推迟可减少不必要工作和一次物化,但也推迟异常和副作用发生,且重复消费可能不可行。不能把任何返回迭代器的操作都当已经完成全部计算。
惰性求值推迟工作与失败时点保存独立卡片。
原书依据 · 1 处
可变和不可变的对象
可变性描述对象内容能否改变,副作用应对调用者明确。
可变对象修改需暴露副作用
可变对象允许原位改变内容,多个引用可能同时观察到变化;不可变对象如字符串和元组不允许替换自身元素位置。重新给名称赋值不同于修改对象。函数若改变传入容器,应在契约或文档说明,不能只因语言允许就让调用者意外承担变化。
可变对象修改需暴露副作用保存独立卡片。
标量类型
标量类型概览需区分Python2历史命名与现代文本数值语义。
数值类型
整数除法与向下取整不同,Python2整数边界不能套Python3。
整数精度与除法版本需区分
原书int与long的区分属于Python2;Python3内置int支持任意精度整数,仍受可用内存限制。整数/在Python3给浮点商,//按地板方向取整而非简单朝零丢小数;例如负商方向必须单独确认。类型转换与运算符选择都会改变结果,不能只凭输入是整数认定输出也是整数。
整数精度与除法版本需区分保存独立卡片。
原书依据 · 1 处
浮点表示不等于精确实数
float用于浮点数值,科学计数法只是表示方式,不提高精度;许多十进制小数无法精确表示。复数用j标虚部,运算仍有明确类型。需要精确十进制或大整数时不能把所有数先转float而期待信息不损失。
浮点表示不等于精确实数保存独立卡片。
原书依据 · 1 处
显示格式不改变原始数值
格式字符串可把数值按指定位数与文本组合,如4.556显示4.56;它生成表示文本,不等于把原数据精度或计量单位改变。%格式化并非Python3新增机制,原书对新格式手段的引言与所示旧%例子应分清。
显示格式不改变原始数值保存独立卡片。
原书依据 · 1 处
布尔值
真假转换受对象协议定义,空容器与零通常为假,数组不能直接泛化。
对象真值不等于值相等True
if按对象的真值协议判断,空内置容器与零常为假,非空容器常为真,不要求对象等于True。自定义行为在Python3由bool或长度等协议提供,原书nonzero是Python2名称。多元素NumPy数组真值可能有歧义,应明确any/all而非照搬列表判断。
对象真值不等于值相等True保存独立卡片。
原书依据 · 1 处
None
None是独立的缺省哨兵,不能与0或False混作同样缺失。
None哨兵区分缺省与零值
参数默认None可表达未提供可选值,用is not None区分是否执行可选操作;若c=0也是有效输入,仅判断if c会错误跳过。函数无显式返回时返回None,但它不表示任何业务上必然成功或失败,应按函数职责解释。None是NoneType单例且在Python3是保留关键字,原书“不是关键字”有误。
None哨兵区分缺省与零值保存独立卡片。
替换时间字段不等于完整取整
replace只修改指定字段,原例将分秒置0但未指定微秒;若源含微秒,不能据此称已完整截到整小时。还需区分字段替换、时间区间截取和时长加减,避免看起来相同的显示掩盖不同语义。
替换时间字段不等于完整取整保存独立卡片。
原书依据 · 1 处
控制流
控制流分组标题。
if、elif和else
分支按先后首个匹配执行,短路条件可能不求值后项。
分支顺序与短路决定执行范围
if/elif依序测试,首个真条件对应块执行后不再测试后续分支,else处理全部未命中情形。and/or从左到右短路,前项已决定真值时后项不执行;条件含函数调用时,这也决定其副作用是否发生,不能当所有条件都会跑一遍。
分支顺序与短路决定执行范围保存独立卡片。
原书依据 · 1 处
for循环
continue跳过本轮余下部分,break终止当前循环,两者影响不同范围。
跳过本轮不同于退出循环
continue结束当前迭代的剩余代码,下一项继续;break终止当前所在循环。原例跳过None仍累计后续数值,遇5的break则连5本身和之后项都不累计。放置位置改变包含边界,不能只看最终数值猜控制流意图。
跳过本轮不同于退出循环保存独立卡片。
原书依据 · 1 处
while循环
while依赖循环体推进退出条件,break提供另一条终止路径。
条件循环需要可达的退出路径
while每轮按条件决定是否继续,循环体必须正确更新影响条件的状态,或用明确break终止。原例每轮累加后将x地板除2,另在total超过阈值时退出;检查阈值放在累加前,允许上一轮累加后已超过阈值。退出规则不能只凭变量名推断。
条件循环需要可达的退出路径保存独立卡片。
原书依据 · 1 处
pass
pass满足空代码块语法,但不会实现待办职责或抛出未实现错误。
空操作不代表功能已实现
pass执行时不做事,可在语法要求代码块处占位。空函数因此正常运行到末尾并隐式返回None,不会自动提醒调用者功能未实现。占位在交付前须按函数职责处理,不能由定义存在或调用不报错就认定功能完成。
空操作不代表功能已实现保存独立卡片。
原书依据 · 1 处
异常处理
异常只捕获能处理的失败,else与finally分别表达成功后续和清理职责。
异常捕获范围应对应处理能力
转换文本失败可能是ValueError,输入类型错误可能是TypeError;只捕获预期可恢复的异常,才能让其他程序错误显露。裸except可能掩盖中断和错误,返回原输入还会使结果类型混合,调用者必须知道这个契约,不能把所有返回都当成功数值。
异常捕获范围应对应处理能力保存独立卡片。
原书依据 · 1 处
成功后续与最终清理分开
try内正常结束后才进入else,finally用于离开该结构时的清理,异常路径同样需要释放已成功取得的资源。finally执行不意味着原操作成功,也不回滚已写内容;若资源获取本身失败,必须先确认资源存在才能清理。
成功后续与最终清理分开保存独立卡片。
原书依据 · 1 处
range和xrange
range边界不含终点,现代range是可重复的惰性整数序列而非迭代器本身。
整数范围不含终点且不必物化
range按start/stop/step表达整数序列,stop不包含;Python3返回range对象,可重复迭代、索引和求长度,不预先存储全部整数,也不是next直接消费的迭代器。原书Python2列表式range和xrange需按版本区分,不能照抄其Python3“始终返回迭代器”说法。
整数范围不含终点且不必物化保存独立卡片。
原书依据 · 1 处
三元表达式
条件表达式只求选中分支,表达式结果可用于赋值。
条件表达式只计算选中分支
true_expr if condition else false_expr先判断条件,再只计算对应表达式并产生一个值。它不是提前计算两个候选再选择,分支含昂贵调用或副作用时尤其重要。条件与分支复杂到难读时,可用多行if/else明确职责,缩成一行不自动改善代码。
条件表达式只计算选中分支保存独立卡片。
原书依据 · 1 处
数据结构和序列
数据结构与序列分组导言。
元组
元组固定自身引用槽位,内部可变对象仍可能改变。
元组不可变不等于深层冻结
元组不能更换自身位置所引用的对象,但某位置指向的列表仍能原地追加,其他引用也可观察变化。元组拼接或重复生成新的引用序列,不深复制成员。不可变的外壳不能当内部数据永远不变、可安全共享或必可哈希的保证。
元组不可变不等于深层冻结保存独立卡片。
原书依据 · 1 处
单元素元组由逗号标识
逗号表达元组的元素结构,单元素元组需要末尾逗号;单独圆括号常只是表达式分组。tuple可将有限可迭代对象物化成元组,字符串会拆为字符序列,不能由“加括号”推断结果是单个元素容器。
单元素元组由逗号标识保存独立卡片。
原书依据 · 1 处
元组拆包
拆包按结构把各项绑定到名称,交换使用右侧先求值。
拆包需匹配数量与嵌套结构
拆包按可迭代对象的项和目标结构绑定名称,嵌套目标还要求对应项能按相同结构展开。变量交换b,a=a,b先取得右侧旧值,再完成左侧绑定,无须先覆盖一个旧值。循环中拆包同样要求每条记录符合预期,不是任意长度输入都可自动适配。
拆包需匹配数量与嵌套结构保存独立卡片。
原书依据 · 1 处
元组方法
count统计相等值出现次数,不返回其位置。
出现次数不同于所在位置
序列count按相等比较统计指定值出现次数,原例2出现四次。计数不是第一个匹配位置,也不区分内容相等但身份不同的对象。对复杂对象需理解其相等比较语义,不能与字典中唯一键数量或集合去重结果混用。
出现次数不同于所在位置保存独立卡片。
原书依据 · 1 处
添加和移除元素
列表增加与删除分位置或值,成员搜索的代价依容器与规模而定。
按位置删除不同于按值删除
pop按位置移除并返回元素,remove查找第一个相等值并移除;同值重复时不会自动删除所有项。append在末尾加一项,insert在位置插入会移动后续引用。选择操作需明确位置和值,及是否需要返回被删内容。
按位置删除不同于按值删除保存独立卡片。
原书依据 · 1 处
容器成员判断需明确查什么
列表in按元素值逐项查找,字典in检查键,集合检查其元素。哈希结构通常有较好的平均查找成本,但不是无条件瞬间完成;键需可哈希且碰撞与实现会影响成本。不能为加快查找就随意丢掉顺序或重复次数。
容器成员判断需明确查什么保存独立卡片。
原书依据 · 1 处
合并列表
extend修改原列表,反复加号拼接产生新容器并重复复制引用。
批量扩展避免反复拼接容器
extend把可迭代对象各项追加到现有列表,+创建新列表并拷入两侧引用;反复前缀加chunk会反复复制已有项,数据多时成本积累。这里复制的是对象引用,不深复制成员。若要把整个chunk作为一个成员,应使用append而非extend。
批量扩展避免反复拼接容器保存独立卡片。
原书依据 · 1 处
排序
列表sort原位改顺序,key函数定义比较值而非次要键保证。
排序键函数定义比较视角
key函数把每项映射为比较用的值,如按字符串长度排序;它并非天然次要键,主次取决于所构造的比较键。list.sort原位修改并不返回排序列表,若需要新列表用sorted。元素可比较的原值不等于所选键都适合业务。
排序键函数定义比较视角保存独立卡片。
二分定位不替代有序性保证
bisect在已排序序列定位插入点,不会先验证输入有序;无序输入也可能给出一个数,却不具有正确排序意义。insort再执行插入,维护列表可能移动后续项,不能把O(log n)查找成本当整个插入操作的成本。
二分定位不替代有序性保证保存独立卡片。
原书依据 · 1 处
切片
序列切片按边界和步长选择,列表切片赋值还可改变长度。
序列切片边界需结合步长
普通序列切片通常含start不含stop,负索引相对末尾,步长决定遍历方向与间隔。项数仅在合法裁剪且步长1等条件下可简单用stop-start,越界、逆序或其他步长不能套这个算式。列表读取切片创建新浅层容器,不能套NumPy基本切片共享数据的规则。
序列切片边界需结合步长保存独立卡片。
原书依据 · 1 处
切片赋值可能改变列表长度
把列表一项范围替换为两项,会改变长度并移动后面位置;它不是固定长度数组那样一律要求相同项数。记录其他位置索引后再插删,原索引可能指向不同对象,需按新列表结构重新确认。
切片赋值可能改变列表长度保存独立卡片。
原书依据 · 1 处
内置的序列函数
内置序列函数分组导言。
enumerate
enumerate把遍历位置与值成对提供,反向字典依赖值唯一。
遍历位置映射需检查值唯一
enumerate逐项给出位置与值,可避免手工计数器遗漏更新。若再建立值到位置字典,重复值会覆盖先前位置,只保留一次绑定;需要全部出现位置时应改用每值位置列表。遍历计数是该次迭代的位置,不自动是外部业务主键。
遍历位置映射需检查值唯一保存独立卡片。
去重排序不能恢复原频数
set去重后sorted得到唯一元素的有序列表,原出现次数和顺序已丢失。它适合只需唯一候选集合的任务,若还需频次或首次出现次序,应分别保留,不能从排序结果还原原始样本。
去重排序不能恢复原频数保存独立卡片。
原书依据 · 1 处
reversed
reversed反向迭代,不原位改变源顺序。
逆序迭代不等于原位反转
reversed提供逆序遍历,list再把结果物化为新列表;源序列没有因此原位反转。与列表reverse修改自身、反序切片创建浅层副本等接口应按副作用和物化需求分别选择,不能仅凭打印顺序相同认定相同操作。
逆序迭代不等于原位反转保存独立卡片。
原书依据 · 1 处
字典
字典按键访问而非位置,更新同键值不等于追加另一个相同键。
字典键存在不同于值存在
字典把可哈希键映射到值,in判断键是否存在,[]读取或设置指定键;同键更新覆盖其值而不保留两份同键记录。del删除键绑定,pop还返回被移除值。字典不是按数字位置访问的列表,即使键恰为整数也不代表第几项。
字典键存在不同于值存在保存独立卡片。
原书依据 · 1 处
字典视图不同于列表或迭代器
Python3的keys/values是动态视图,可据字典变化反映成员,不是原书所称一次性迭代器或已复制列表。现代dict保持插入顺序,但排序是另一操作;若需要独立快照可显式物化,同时注意成员仍可能共享对象。
字典视图不同于列表或迭代器保存独立卡片。
原书依据 · 1 处
从序列类型创建字典
由配对序列建字典需同时检查长度和键唯一性。
配对建映射需核对长度与重复键
dict接收键值对可迭代对象建立映射;若配对由默认zip产生,不等长输入会失去尾项,重复键又会被后一次覆盖。语法简短不代替数据完整性检查,需要保留多个同键值时应另用列表或分组结构。
配对建映射需核对长度与重复键保存独立卡片。
原书依据 · 1 处
默认值
get只返回默认,setdefault与defaultdict可在缺键时建立绑定,副作用不同。
默认读取与默认插入不同
get缺键返回默认但不把键写入;setdefault在缺键时存入默认值并返回已有或新值,defaultdict在下标访问缺键时调用工厂生成并保存值。若只是查询,误用有插入副作用的入口可能扩大字典;已有键值为None也不等于键不存在。
默认读取与默认插入不同保存独立卡片。
原书依据 · 1 处
默认值工厂需传可调用对象
defaultdict接收工厂函数而非预先产生的对象,list工厂让不同缺键各得一个新列表。若工厂总返回同一个共享可变对象,不同键可能相互影响。lambda返回4是常量默认的例子,不代表字典所有缺失查询入口都会调用工厂。
默认值工厂需传可调用对象保存独立卡片。
原书依据 · 1 处
字典键的有效类型
哈希键要求哈希与相等语义稳定,外壳不可变不足以保证。
可哈希不等于外壳不可变
字典键须可哈希,要求可用稳定哈希并与相等比较相容。含列表的元组仍不可哈希,单把外层list换tuple不能修复嵌套不可哈希成员。原书把可哈希简单等同不可变过度概括,某些自定义可变实例也可按身份哈希,不能只看是否可变判断全部类型。
可哈希不等于外壳不可变保存独立卡片。
原书依据 · 1 处
集合
集合保留唯一元素并支持集合关系,不保留频数或排序。
集合差与对称差表达不同范围
集合并集取任一方元素,交集取共同元素,a-b只取a有而b无,对称差取恰在一方的元素。子集/超集检查包含关系,不交集检查无共同元素;这些表达不同筛选范围。集合去重丢失原频数,迭代次序也不能当排序,空集合用set()而非空字典{}。
集合差与对称差表达不同范围保存独立卡片。
原书依据 · 1 处
推导式容器决定保留规则
推导式先按迭代顺序选满足条件的项,再求结果表达式。列表保留顺序与重复,集合只保留唯一结果,字典同键覆盖此前值;表达式相同也不代表容器互换后信息相同。它们通常物化结果,不能因写一行就当惰性流。
推导式容器决定保留规则保存独立卡片。
原书依据 · 1 处
嵌套列表推导式
多个for按循环嵌套顺序执行,是否保留内层容器决定扁平或嵌套结果。
推导式循环顺序决定结果层次
多个for从左到右对应外层到内层循环,可将各组成员平铺进同一结果列表;若结果表达式本身又是列表推导式,就保留每组子列表。筛选条件的边界也需一致,原例“至少两个e”应用>=2而非>2,不能把两种条件说成等价。
推导式循环顺序决定结果层次保存独立卡片。
原书依据 · 1 处
命名空间、作用域,以及局部函数
命名空间与作用域影响绑定可见性,对象生命期不能只按函数结束判断。
局部绑定不同于全局对象修改
函数内通常给名称赋值建立局部绑定;修改通过全局名称取得的可变对象内容,不等于重新绑定全局名称。需要重绑定模块全局名称时才明确global。Python还存在外层函数与内置等查找作用域,不能把原文global/local简化为完整规则。
局部绑定不同于全局对象修改保存独立卡片。
原书依据 · 1 处
函数结束不保证对象立即销毁
内层函数调用外层时创建,但若被返回或其他引用保留,可在外层结束后继续存在;局部对象也可能因返回值或闭包存活。不能依函数退出就断言所有对象立即销毁或资源自动按业务要求释放。闭包捕获与作用域绑定需分开理解。
函数结束不保证对象立即销毁保存独立卡片。
原书依据 · 1 处
返回多个值
多个返回项通常打包为一个元组,命名结果可用字典明确身份。
多项返回仍有单个结果结构
return a,b,c返回一个元组对象,可整体接收或按结构拆包;顺序就是各项身份约定。返回字典则用键名表达含义,仍是一个对象。选择结构要让调用者知道每项业务结果,而不因能拆包就把无关副作用和路由控制混入结果。
多项返回仍有单个结果结构保存独立卡片。
原书依据 · 1 处
清理流水线依赖顺序与输入契约
把strip、特定标点删除与title组成有序函数列表,依次将上一步输出交下一步,使流程可复用。每步需接受前步结果类型,顺序变化可能改变含义;清理不等于证明同名实体真实相同,标点删除也只处理明确列出的字符。
结构图:
flowchart LR
A[原字符串] --> B[移除边缘空白]
B --> C[删除指定标点]
C --> D[转换大小写]
D --> E[规整结果]
清理流水线依赖顺序与输入契约保存独立卡片。
原书依据 · 1 处
匿名函数仍有完整函数语义
lambda创建函数,其单个表达式结果自动返回;不是可放任意语句的代码块。可传给排序key或变换函数,参数和异常语义仍需明确。复杂逻辑宜用具名函数解释职责;匿名不代表没有名称属性,Python函数对象的name对lambda通常为。
匿名函数仍有完整函数语义保存独立卡片。
原书依据 · 1 处
闭包:返回函数的函数
闭包保留所需外层绑定,可为独立函数实例保留状态。
闭包状态随引用继续存活
内层函数引用外层局部绑定,可在外层调用结束后继续使用这些绑定,形成闭包;无需必须由return返回才算闭包。各次工厂调用可形成独立状态,例如seen字典记录该实例见过的键。共享可变状态仍带副作用,需明确函数先查询还是先记录。
闭包状态随引用继续存活保存独立卡片。
原书依据 · 1 处
外层重绑定不同于内部对象修改
闭包可修改捕获列表的内容而不重新绑定外层名称。原书用单项列表计数规避Python2限制,现代Python可用nonlocal声明重绑定外层函数变量。两种方式都要明确状态共享和调用顺序,不能把返回函数看成无状态纯变换。
外层重绑定不同于内部对象修改保存独立卡片。
原书依据 · 1 处
填充宽度是最小宽度不是截断
rjust把短字符串补到至少指定宽度,内容本来更长则不自动截断;%.4f只控制显示的小数位。原例称“始终15位”不适用于大数或长文本,应区分最小宽度、精度和最大长度。
填充宽度是最小宽度不是截断保存独立卡片。
原书依据 · 1 处
扩展调用语法和*args、**kwargs
星号收集剩余实参,调用时解包转发仍需满足目标签名。
参数收集与解包转发职责不同
定义里的*args收集额外位置实参为元组,**kwargs收集额外关键字实参为字典;调用里的星号则把可迭代对象或键映射展开转发。目标函数仍检查参数数量、名称和重复赋值,转发不是绕过签名验证。原书把所有函数内部都说成先接收元组字典只宜作概念示意,不当解释器真实调用实现。
参数收集与解包转发职责不同保存独立卡片。
原书依据 · 1 处
柯里化:部分参数应用
固定部分实参派生专用可调用对象,与严格柯里化概念应区分。
部分应用固定已有函数参数
partial绑定原函数的一部分实参,得到以后再提供其余实参的可调用对象;例如固定x=5后只传y。它帮助配置专用操作,不自动执行原函数。严格的柯里化将多参数函数改成逐个接参的函数链,与本例部分应用相关但不是同一定义,原文术语需分清。
部分应用固定已有函数参数保存独立卡片。
原书依据 · 1 处
生成器
生成器逐次yield并暂停,避免为全部结果立即建立列表。
生成器在消费时推进状态
含yield的函数调用产生生成器对象,函数体一般到请求下一项时才推进,在yield暂停并保留局部状态。消费到末尾后耗尽,重复遍历不会自动重算;若list物化全部结果,省内存优势可能消失。原例打印行在循环内却输出只显示一次,是代码与结果不符,不当逐项执行证据。
生成器在消费时推进状态保存独立卡片。
组合生成需限制重复与进展
找零生成器通过金额减去正面额推进递归,并限制下一面额不大于已选末项,从而不把同一组合的不同顺序重复输出。该保证依赖面额为正、列表不含重复等前提;零或负面额会破坏终止,不能只因能生成就认为任意输入安全。
组合生成需限制重复与进展保存独立卡片。
原书依据 · 1 处
itertools模块
itertools.groupby按连续相同键分段,组合与排列是否计顺序不同。
连续分组不同于全局同键聚合
itertools.groupby只把相邻且键相同的元素分为一组,原例A组在W后又出现,形成第二段A。若要全局按键合并,需先按键排序或另建聚合结构;分组子迭代器共享底层消费进度,需在推进外层前完成本组或物化。不能套pandas groupby非相邻归组语义。
连续分组不同于全局同键聚合保存独立卡片。
原书依据 · 1 处
组合与排列需说明是否计次序
combinations按输入位置取k项而不重复列举项顺序的交换,permutations则区分排列次序。输入值重复时位置不同仍可能产生值看起来相同的结果,不能据函数名推断自动按值去重。生成数量可能迅速增长,惰性生成也不消除完全遍历的工作量。
组合与排列需说明是否计次序保存独立卡片。
原书依据 · 1 处
文件和操作系统
文件模式决定读写副作用,文本编码、行尾和资源生命周期需明确。
文件模式选择决定覆盖风险
open的r用于读,w可截断已有内容,a用于追加;二进制b与文本模式处理对象不同,文本应明确编码与换行约定。打开路径本身不验证内容格式,读入前应先确认来源和模式。旧U通用换行入口不当现代推荐写法。
文件模式选择决定覆盖风险保存独立卡片。
原书依据 · 1 处
逐行清洗需分清行尾与空白
rstrip不带参数会移除所有尾随空白,不只是换行;若尾部空格有业务意义需用更精确规则。len(line)>1也不等同排除所有空白行。writelines逐项写入但不自动添加换行,是否保留源行终止符必须明确。
逐行清洗需分清行尾与空白保存独立卡片。
原书依据 · 1 处
文件刷新不等于完整持久提交
with可在正常离开或异常退出块时关闭其管理的句柄;读取生成器若另open输入,该输入也应被明确管理。flush清理语言运行时缓冲,不等同操作系统fsync或事务提交;文本tell/seek位置也不一概是可随意运算的字节偏移。原表read大小为字节需限定二进制语境。
文件刷新不等于完整持久提交保存独立卡片。
原书依据 · 1 处
跨章综合
贯穿全书的第一条线是“表示与身份”。ndarray按位置与形状计算,pandas按标签对齐,结构化记录又由固定dtype描述字段;它们都在回答数据怎样对应。连接的同键多行、重复时间戳、分组索引和按行标准化表明:外观像矩阵,不代表可以忽略身份直接算。自动对齐减少手工错配,却不替人决定业务键是否唯一、分组是否合理或有效分母是否一致。
第二条线是“信息压缩与条件范围”。均值、分位、排名、去重、分箱、OHLC和图形都保留一部分信息而舍弃另一部分。组均值不含完整分布,排名不含原数值间距,集合不含频数,金额地图不含选民人数。每次变化都应能说明观测单位、选择范围和没有保留什么。原书不少可复用价值恰在这些操作之间的比较,而不只在某个函数名。
第三条线是“缺失与人为补齐”。Unknown标签、NaN/NaT、未匹配连接、升采样空日和组均值填补不能一律当0。沿用最近值是在声明延续假设,均值填补是在估计而非恢复观测;对齐后的加权统计还需让分子分母共享有效掩码。时间标签更密、窗口输出更早或图形更平滑,都不表示新增了独立证据。
第四条线是“时间与可知性”。日历频率不等于固定秒数,时区转换不等于重新解释钟面,标签平移不改变原观测所属区间。统计所属期间也不同于数据已发布可用的时点。第10章的时间规则进入第11章后,直接决定历史比较是否使用未来信息;加一个shift或拿到完整价格文件,不能独自证明回测口径合理。
最后一条线是“便利接口与真实成本”。广播不必复制输入整块,却仍可能产生巨大输出;ravel、reshape和视图要看实际复制条件,memmap不让所有算法免内存,vectorize包装也不自动编译Python循环。交互状态、参数绑定、可变对象和生成器消费进一步解释隐性依赖。优化和代码迁移先保持职责与结果契约,再根据实际版本测量,不能由旧耗时、短代码或历史截图代替证据。
发散与实践
本轮选择两项范围有限的实践。ideas/idea-001-深读广播与共享视图.md以NumPy v2.0.0官方Python入口和既有测试,追踪形状、视图与可写性,首轮源码映射已准备;底层C迭代器和完整项目仍待读。ideas/idea-002-整理统计口径核查表.md使用本轮实际片段建立八项口径初表,再用于后续指定数据任务。
两张实践卡交付的是行动计划与首轮材料,不是完整实践执行。暂不采用旧环境全套安装、逐幅重画、下载个人捐款、构造交易系统或重写数组库:它们不服务当前有限理解目标,且增加无必要的数据和工程工作。原书例子、网络API、原位写文件、数值基准、交易策略与官方测试均未执行。