此笔记位置已失效,请从目录继续阅读。
全书导读
本合集包含《Python高级编程(第2版)》《精通Python爬虫框架Scrapy》《精通Python自然语言处理》。三者分别聚焦语言与工程实践、数据采集与事件驱动框架、文本处理与统计方法。它们不是一本连续章节的著作,以下保留分册、原章号及EPUB顺序,使用唯一spine标识定位。
第一册ISBN978-7-115-46015-8,第二册978-7-115-47420-9,第三册978-7-115-45968-8;合集没有可确认的统一ISBN,故元数据留空。出版信息来自本地版权页与OPF,作者职务按出版时背景理解。
全书主线
这三册共同处理“怎样让一个Python程序持续产生可信结果”,但各自的对象不同。第一册讨论程序本身:数据表示和对象协议决定代码怎样执行,命名、包、部署、版本管理、文档与测试让它能被别人使用和维护,测量、并发与设计模式再帮助调整成本和组织。这里的可靠首先是行为契约、可交付性与可观察性。
第二册把这些能力放进采集流水线。请求取得页面,选择器从页面找字段,Item和管道整理输出,事件驱动机制在等待网络时安排其他工作。随后配置、托管、Scrapyd和实时分析扩大运行范围。扩容引入的关键问题是每项任务处于什么状态、数据如何保持身份、失败怎样被发现和恢复;进程更多、请求更快并不能单独保证结果完整。
第三册转向采集后可能处理的文本。切分先决定计数单位,语言模型估计序列概率,形态和词性提供词级线索,句法、语义与语篇建立不同层次的表示,情感与检索把表示用于具体任务。最后用独立数据和任务适当的指标判断输出。概率高、结构合法、相似度高和现实陈述为真是不同结论,不应互换。
因此可以把三册联系为三个问题:软件如何可维护地运行,数据如何沿流水线流动,任务输出如何被解释和检验。这是读者依据全文组织的联系,不是三位不同著作的作者共同设计的一条必然架构。读者可从一个现实问题进入对应分册,再用其他分册补足依赖;无需先搭起爬虫才有资格学习NLP,也无需为普通脚本采用所有部署组件。
flowchart TD
A[明确任务与行为契约] --> B[选择表示与接口]
B --> C[组织程序与数据流]
C --> D[观察运行和失败]
D --> E[用独立证据评价结果]
E --> F[调整实现或任务假设]
F --> B
图是跨册学习与工程反馈顺序,箭头不表示书中类的调用关系。章节讲解保留实际分册顺序,每张卡有唯一主要位置与原文出处。
Python高级编程(第2版) · 内容提要
第一册提要以Python3.5为背景,介绍语言惯用法及软件工程实践,目标是可靠、可维护的应用。提要称13章,而实际目录与正文为14章,正文阅读按真实spine安排;此处是阅读路线预告,不据性能形容词生成额外技术结论。
Python高级编程(第2版) · 译者简介
译者简介说明张亮负责前六章并技术审读,阿信参与翻译;履历按出版时信息保留,没有展开可独立学习的技术方法。
Python高级编程(第2版) · 作者简介
两位作者的经历涵盖分布式服务、Web框架、打包及社区。graceful、falcon、Mozilla、Zope与Afpy等作为工作和社区背景登记;未由职务或经历推导技术结论,亦不声称职务今天仍相同。
Python高级编程(第2版) · 审稿人简介
审稿人简介记录Facundo Batista的社区、标准库及分布式协作经历和致谢。FLOSS等为背景术语,没有展开相应工程机制,人物信息按出版时语境理解。
Python高级编程(第2版) · 前言
第一册前言将高级开发定位为语言与工程能力的结合,随后给出14章路线、预备知识、目标读者及排版示例。代码下载、勘误和反馈属于出版支持说明,网址与界面按历史记录保留;示例仅展示排版,没有本次运行结果。
Python项目开发除了语言表达,还包含打包、部署、代码管理、文档、测试与性能观察。这些工具和实践决定软件能否持续维护与交付。学习高级语法只是能力的一部分,不能从会写某个表达式就推导出项目可靠;这也是本册先讲语言,再连接工程流程的组织理由。 详见专业开发不止语言语法。
原书依据 · 1 处
Python高级编程(第2版) · 第1章 Python现状
本章以Python3.5时期的版本迁移为入口,先区分语言变化、生态采用与代码兼容,再讨论解释器、环境和开发工具。本章28个单元已全部展开,先从版本与语法差异走向兼容策略,再比较解释器与隔离层次,最后以交互和调试工具建立反馈。旧普及率和工具支持范围不作今日事实。
相同Python源码可在不同系统使用,但只在所需解释器、库与系统能力都可用时成立。平台专用模块或接口会把程序重新绑定到某类环境。跨平台是减少源码重写的能力,不是复制目录就能无条件部署;本书以Python3.5为时代背景,例子也需要核对真实运行条件。 详见跨平台仍依赖运行条件。
PEP404说明不会有官方Python2.8,2.7是2.x最后开发系列;这不表示文档发布时所有2.7维护立刻停止。官方PEP373记录2.7支持在2020年终止。原书以“关闭2.x分支”概括过宽,理解历史迁移压力时应分别记录新功能路线、维护周期和具体项目依赖。 详见开发终止与维护终止有别。
新的应用需求与既有设计缺口会推动语言演进,例如Web并发需求和标准库结构整理。修正旧行为可能打破原有假设,采用速度又受迁移成本影响。不能把“新版本更合理”直接等同团队立刻能迁移,也不能从当时采用缓慢就推断改进本身无价值。 详见语言演进要付兼容成本。
PEP是Python改进提案文档,记录设计、动机与讨论,既能帮助追踪拟议特性,也能解释某些功能为什么未被采纳。被拒绝的提案仍有历史价值。多数日常修复并不都需要PEP,文档公开也不代表变化已经生效;原书把所有变化都绑定发布PEP的说法应收窄到相应提案流程。 详见PEP保存设计与争议依据。
PEP的正式类型是Standards Track、Informational、Process,分别侧重技术标准、信息和流程;原书的通知/标准化/设计是用途概括,不能替代正式分类。阅读时还要看提案状态、目标Python版本与已发布文档,接受不自动等于已有实现,旧设计文档也不保证持续反映后来所有变化。 详见提案类型与状态分别阅读。
2到3的历史转换工具可修改部分语法,却无法证明转换后数据语义、依赖和性能都符合要求。语法通过只排除部分错误,迁移还需实际测试重要行为。原书2to3属于当时工具链,本卡保留其能力边界,不把它当作当前任意Python版本都带有或推荐采用的命令。 详见自动迁移还需行为验证。
庞大系统可以沿组件边界逐步迁移,让新旧实现通过明确接口协作,分摊一次性重写成本。原书以服务和微服务说明这一途径,但拆成服务自身也引入部署、通信与一致性成本,并非升级Python就必须改成微服务。先选择可验证边界,再比较整体迁移与分步方案的总成本。 详见分组件迁移需守住接口。
帮助常用开源库补齐版本兼容性,可以在实际需求中学习差异并回馈协作成果。原书把这种互惠称作“道德债”,这是作者的价值比喻,不是所有使用者必须满足的资格门槛或法律义务。贡献应有明确范围并遵循项目流程;本次只记录学习路线,没有替用户提交或联系他人。 详见回馈社区可成为学习路径。
Python3将print改为函数,异常绑定写为except E as e,移除<>而保留!=。旧写法可能在解析时就失败,应先让整个文件符合目标语法,再判断运行语义。print(“x”)在Python2的某些简单情形也能解析,所以不能据单个括号例子证明整份代码跨版本兼容。 详见迁移先清理不兼容写法。
Python3不再以无前导点的包内导入隐式指向兄弟模块,显式相对导入需要点号;from x import *只允许在模块级代码中。路径规则决定找哪个模块,语句位置规则决定哪里能这样写,不能混成一种错误。标准库如urlparse迁到urllib.parse,还要核对目标版本的真实模块组织。 详见导入位置和路径都有语义。
Python3的sorted和list.sort不再接收旧cmp比较回调,而以key提供每个元素的排序键。key是从单个元素提取可比较值,并不是把接收两个元素的旧比较函数改个参数名即可替换。迁移应确认原排序规则和结果含义,避免仅让调用能解析却改变业务顺序。 详见排序键与比较函数不同。
Python3的/对内置整数返回真除法结果,如1/2预期为0.5;//计算向下取整的商,支持浮点参与时结果也可为浮点,如5.0//2.0为2.0。它不等于一概朝零截断,负数时尤其要区分。以上是规则与教材例子的说明,未将预期写作本次实测。 详见除法要区分比值与向下取整。
import写在函数里,相关导入执行就推迟到调用路径实际到达那里时;启动成功不证明这条路径的依赖可用。测试应覆盖重要运行条件和可选功能,而不是把行覆盖率100%当充分正确性证据。延迟导入可处理启动成本或可选依赖等真实需求,不能照原书一概视为坏设计或断言标准库永远无需使用。 详见延迟导入会推迟错误暴露。
Python3的str表示Unicode文本,bytes表示字节序列。带b前缀的字面量是创建字节的一种方式,并非所有字节值都必须由字面量生成。迁移要核对边界究竟处理字符还是编码后的数据,不能把二者当作同一种字符串随意混用。真正编码与解码细节由本书下一章继续展开。 详见文本与字节须显式区分。
Python3.3恢复u/U字符串前缀,便于同一Unicode意识的源码适配Python2与3,它在Python3中仍产生普通str,不是另一种Unicode子类型。3.0到3.2均不支持这一前缀;原书只提3.0/3.1不是完整版本范围。语法上的兼容减负不自动解决编码、库和行为差异。 详见兼容字面量不改变文本类型。
跨版本支持先声明所承诺的解释器、依赖和环境范围,再测试这些组合,最后实现必要适配。范围给使用方预期,也使维护成本可讨论。只写几个版本判断分支,却没有文档和测试,不能称作已支持全部版本;同样方法还可用于系统库或服务兼容,不局限于Python2/3。 详见兼容范围先于兼容层。
语义版本以公开API为前提:不兼容修改提高主版本,向后兼容新增提高次版本,兼容修复提高修订号,还可附预发布及构建信息。版本号是维护者承诺的信号,不是验证器;0.y.z开发阶段也有不同稳定性边界。不能照原书“只测主版本”略过实际依赖升级,次版和修订也可能有错误或与本项目假设冲突。 详见语义版本传递API变化。
解释器、系统和依赖版本组合相乘,会使测试成本迅速增加。应从所声明范围选出有依据的测试矩阵并说明未覆盖组合,不能以一次主版本测试证明每个组合。约束版本和缩小支持范围都是管理成本的办法,但应对使用方透明,版本规范本身也不能替代行为测试。 详见兼容矩阵需要说明取舍。
from future import feature让支持该特性的旧解释器在当前模块提前采用相应新语义,并非把任意未来功能下载回旧版。division、absolute_import、print_function与unicode_literals处理不同差异,无法顺便统一所有标准库。原书将print_function标为PEP3112有误,应为PEP3105;语法支持仍取决于目标解释器。 详见future语句启用已知语义。
Six把常见Python2/3的类型、导入与对象接口差异包装成辅助API,python-future也以兼容层支持单一代码库跨版本使用。它们可以减少散落的样板分支,但不保证任意依赖或语义都兼容。此处是维护遗留代码的历史工具定位,不据“前景好”评价选择当前新项目依赖。 详见兼容辅助库收拢版本差异。
compat.py把urlparse导入、文本类型判断等差异集中在一个边界模块,让业务代码使用共同入口。它既可补充兼容库,也可容纳依赖包版本差异。集中只是组织方式,不自动证明适配行为一致;仍需覆盖所承诺版本,避免兼容模块变成未经测试的分支堆。 详见兼容模块集中变动边界。
Python语言可以由不同运行时实现,CPython以C实现为主,其他实现会有不同的宿主平台、调度、回收与扩展约束。它们不必支持同一语言版本或全部扩展;选择前先明确项目真正依赖什么。原书“多数落后”的描述是当时状况,不能以语言名相同就假定二进制包和所有实现细节通用。 详见语言规则与解释器实现分开。
替代实现可能为嵌入式、JVM/.NET集成或浏览器环境提供不同路径。比较应先明确运行环境、语言版本和依赖,再看实现是否解决具体问题,而非按“最流行”排名。原书列出的用途不保证任何现成解释器都覆盖它们,实验项目也不自然等同生产可用方案。 详见选择实现要对准约束。
Stackless在修改的CPython中提供轻量执行单元,减少直接把每个任务映射为系统线程的需要。greenlet受相关思想影响,提供协作式切换能力,常与更高层框架配合。它们不是自动利用多核或自动使所有阻塞调用异步的机制;原书“无栈”不能理解为运行过程完全不再需要任何C调用栈。 详见微线程由运行时组织调度。
Jython把Python接到JVM,可在脚本中使用Java类,也可把脚本能力嵌入Java应用。其语言版本、Java类型互操作和原生扩展兼容仍须分别核对;不使用CPython的GIL不等于业务数据自动线程安全。原书C扩展API与Jython3计划属于历史背景,不能用计划替代当前可用能力。 详见JVM承载Python。
IronPython让Python代码与.NET类库及其他.NET语言交互,可作为宿主应用的脚本层。原生CPython扩展兼容与语言版本仍是独立约束,不能据可调用C#就断言NumPy等包同样可用。原书2.7.5、微软员工支持与Silverlight浏览器说法属于历史语境;官网已有3系列发布,旧“尚无3稳定版”不作当前事实。 详见.NET承载Python。
PyPy解释器主要以RPython编写,配合翻译工具链和跟踪JIT,把高层实现转换成可运行系统。RPython是受限的Python子集,不是任意Python源码都能替代底层实现,也不意味着应用可随意在运行中修改解释器。原书“Python完全重写C层”过于笼统,实际应区分解释器、工具链和本机输出。 详见PyPy用受限语言构建解释器。
PyPy的JIT可在适合的长期运行负载中减少执行开销,但基准上的倍数不保证启动、小任务、内存占用或C扩展密集应用同样受益。兼容层与扩展依赖也影响迁移可行性。CPython的引用计数本身是一种内存管理机制,且还有循环GC,不能照原书把“垃圾回收”与引用计数简单对立。 详见解释器加速要看真实负载。
成熟包与共同工具让开发者复用已有能力,减少重复实现的时间与成本;语言语法、表达力或单点速度不是全部选择依据。复用也需要理解依赖、版本、维护和许可等条件,不能从“免费开源”推出集成没有代价。环境与包管理工具的作用,正是让这种复用更可控地进入项目。 详见生态复用降低项目起步成本。
pip安装、固定版本、升级与show分别改变或观察选定环境的包。例如pip install name==version声明具体版本,–upgrade请求更新可用版本;成功安装不说明选中了项目所用解释器。原书pip7演示仅是历史日志,系统包与PyPI包也不是总能互换,本次未执行包安装或升级。 详见安装器操作需对准解释器。
ensurepip利用随解释器提供的组件引导pip,python -m ensurepip不需要联网,也不是去PyPI取得最新版本。发行方可能没有提供这个可选模块,所以原书“总是可以”过强;独立pip项目的发布节奏也不同于CPython。是否可用应按实际发行环境判断,不把教材输出当作本机安装证据。 详见引导安装不等于联网升级。
操作系统服务可能依赖发行版挑选或打补丁的Python包,直接用另一安装器覆盖它们可能破坏服务。项目虚拟环境把包的使用范围分开,也让不同项目选择不同版本。隔离通常只覆盖相应解释器和包,不能顺便统一数据库或系统库;Windows是否需要权限也取决于安装位置,不能一概不需管理员。 详见项目依赖与系统依赖隔离。
virtualenv或venv在选定基础解释器上建立独立包环境。激活脚本主要调整当前shell的命令查找,不是启动另一台机器;直接调用环境中的解释器也可使用它。环境含路径等状态,一般应在目标位置重建,保留项目源码与依赖输入,而不是将整个目录当成可移植软件包。 详见虚拟环境重建优于搬目录。
requirements.txt可含精确版本或版本范围,pip install -r按这些输入解析安装;存在文件不等于完整锁定所有传递依赖。pip freeze反映安装状态,也可能收进与产品无关的测试或临时包。应区分应用实际所需、开发所需与当前环境碰巧存在的包,不能盲目冻结后便声称所有平台可重现。 详见依赖约束与环境快照不同。
venv自Python3.3进入标准库,原书pyvenv命令属于早期入口;现代文档以python -m venv说明创建方式,不能混成所有版本通用语法。POSIX常见bin、Windows常见Scripts及Lib/site-packages,激活脚本还依shell而异;原书Libs与独立deactivate.bat写法不宜直接照搬。 详见标准环境入口有版本差异。
buildout以声明配置组织应用装配和依赖,原书指出2系列不再单独提供系统Python隔离,需要与其他环境工具配合。声明让预期输入可维护,隔离则控制实际可见环境,它们相互补充。若外部安装绕过声明,配置仍可能不完整,不能把采用声明文件当作可重复性已得到证明。 详见声明装配与环境隔离不同。
选择隔离工具应从解释器版本、依赖支持和装配复杂度出发;书中小项目虚拟环境、大项目可能配装配工具,是取舍例子而非按项目规模强制分配。旧virtualenv/venv能力差异与buildout分支状态保留时代背景,不据“默认推荐”跳过当前项目的真实约束。 详见隔离工具按所需范围选择。
Web后端除了Python代码,还可能依赖数据库、HTTP服务及系统库。虚拟环境不统一这些组件,系统级隔离与自动配置可把更多条件带进共同环境,减少靠记忆维持一致。即使版本相同也要考虑配置与外部服务,虚拟化成本不能一概忽略;不同开发系统也不意味着之前的兼容工作全无价值。 详见包环境覆盖不了整个软件栈。
Vagrantfile把provider、基础box、provisioning、共享目录与端口等写进项目配置,便于团队以同一描述创建开发环境。Vagrant是管理入口,不等于自带所有虚拟化软件和镜像;具体provider仍有安装与平台条件。原书“没有任何其他依赖”和VirtualBox随安装器绑定不当成当前保证。 详见环境描述组织创建条件。
vagrant init准备配置,up按配置创建或启动环境,ssh连接匹配的实例。首次下载、基础镜像和provider会影响是否成功;只有模板文件不保证所有信息齐备。配置查找可沿上层目录进行,/vagrant是教材默认共享目录习惯而非不可更改的固定路径;本次没有下载镜像或运行虚拟机。 详见初始化启动连接各有前提。
虚拟机通常带独立客户内核,容器通常在相同宿主内核上隔离进程与用户空间,因此资源成本和能模拟的环境不同。容器不是无条件完全隔离的另一台机器,跨系统运行还可能有额外虚拟机层。两者可以组合,不能仅凭“更轻”就断言所有工作负载更快或更适合容器。 详见容器与虚拟机隔离层不同。
Dockerfile描述构建镜像的步骤,镜像再用于创建运行中的容器。分层与缓存可减少重建的重复工作,但输入变化仍可能使相关步骤失效;数据库数据、网络与外部配置也未必包含在镜像里。共享镜像帮助部署一致,不代表任意机器上得到完全相同行为,更不能把一个正在运行的容器当作全部部署契约。 详见镜像输入不等于运行状态。
Vagrant偏重开发环境组织,容器工具还可连接镜像构建与交付,两者职责有交叉。原书认为只有生产也用容器时开发容器才有意义,这一判断过强:单独为开发提供一致依赖也可能值得。应按团队流程、调试体验、成本与环境差异比较,不因工具类别预先排除合理用途。 详见开发隔离要评估完整流程。
调试器、分析器和环境管理工具可能每天使用,却不进入产品运行代码;它们改进的是开发过程中的观察与反馈。原书把“简单、有趣”作为主观生产力定义,不等于已有客观提升数据。评估工具要看它解决哪项工作及维护成本,不能仅因流行就认定开发效率提高。 详见开发工具影响交付反馈。
PYTHONSTARTUP指向的脚本可在常规交互会话启动时配置补全与历史,但不是所有Python脚本启动都会执行。环境变量必须进入目标进程,shell配置文件选择也依启动方式;Windows可以采用用户级设置,不必一律改全系统。历史文件和readline支持存在环境条件,原书os.environ的HOME假设不当作全平台保证。 详见交互启动脚本有触发范围。
IPython侧重对象内省、系统命令与调试分析;bpython提供补全、高亮与参数提示;ptpython基于prompt_toolkit提供交互界面及可选IPython整合。它们帮助探索代码,不代替保存源码和可重跑测试。原书功能清单与魔法命令按旧版本理解,不能断言每个函数都能获得参数表或所有整合默认启用。 详见增强shell改善交互观察。
python -m pdb script.py让脚本在调试器下运行;pdb.set_trace可在目标路径主动停下,适合没有异常但行为不符的情况。事后调试分析已保留的异常栈,并非必须让整个应用退出才有价值。应按问题发生方式选择入口,而不是只在崩溃后临时堆打印;本次未实际执行调试。 详见调试可在运行中或异常后进入。
pdb可查看栈帧、检查值并单步运行:s进入下一步调用,n通常继续到当前帧下一行,r运行到当前函数返回。help或h查询命令,不能把原书help pdb当通用帮助入口。交互求值和调用函数可能改变程序状态,观察时应区分只读表达式与有副作用操作,也不能把暂停中的执行时序当原程序性能。 详见调试命令区分步进与观察。
Python文档与PEP帮助理解规范及设计,PyPI帮助找到发布包,Awesome-Python与Python Weekly则提供发现项目的线索。目录或通讯更新频繁不代表每个链接、项目或建议永不失效;找到候选后仍需回到官方版本、维护与使用条件。原书推荐是学习入口,不是对当前任意资源质量的背书。 详见资源索引仍需核验适用版本。
原书依据 · 50 处
- 第1章 Python现状 第1章 Python现状 · 查看原书依据
- 第1章 Python现状 1.1 Python的现状与未来 · 查看原书依据
- 第1章 Python现状 1.2 Python升级及其原因 · 查看原书依据
- 第1章 Python现状 1.3 追踪Python最新变化——PEP文档 · 查看原书依据
- 第1章 Python现状 1.3 追踪Python最新变化——PEP文档 · 查看原书依据
- 第1章 Python现状 1.4 当前Python 3的普及程度 · 查看原书依据
- 第1章 Python现状 1.4 当前Python 3的普及程度 · 查看原书依据
- 第1章 Python现状 1.5.1 为什么要关注这些差异 · 查看原书依据
- 第1章 Python现状 1.5.2 主要的语法差异和常见陷阱 · 查看原书依据
- 第1章 Python现状 1.5.2 主要的语法差异和常见陷阱 · 查看原书依据
- 第1章 Python现状 1.5.2 主要的语法差异和常见陷阱 · 查看原书依据
- 第1章 Python现状 1.5.2 主要的语法差异和常见陷阱 · 查看原书依据
- 第1章 Python现状 1.5.2 主要的语法差异和常见陷阱 · 查看原书依据
- 第1章 Python现状 1.5.2 主要的语法差异和常见陷阱 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 · 查看原书依据
- 第1章 Python现状 1.5.2 主要的语法差异和常见陷阱 · 查看原书依据
- 第1章 Python现状 1.5.3 用于保持跨版本兼容性的常用工具和技术 · 查看原书依据
- 第1章 Python现状 1.5.3 用于保持跨版本兼容性的常用工具和技术 · 查看原书依据
- 第1章 Python现状 1.5.3 用于保持跨版本兼容性的常用工具和技术 · 查看原书依据
- 第1章 Python现状 1.5.3 用于保持跨版本兼容性的常用工具和技术 · 查看原书依据
- 第1章 Python现状 1.5.3 用于保持跨版本兼容性的常用工具和技术 · 查看原书依据
- 第1章 Python现状 1.5.3 用于保持跨版本兼容性的常用工具和技术 · 查看原书依据
- 第1章 Python现状 1.6 不只是CPython · 查看原书依据
- 第1章 Python现状 1.6.1 为什么要关注Python实现 · 查看原书依据
- 第1章 Python现状 1.6.2 Stackless Python · 查看原书依据
- 第1章 Python现状 1.6.3 Jython · 查看原书依据
- 第1章 Python现状 1.6.4 IronPython · 查看原书依据
- 第1章 Python现状 1.6.5 PyPy · 查看原书依据
- 第1章 Python现状 1.6.5 PyPy · 查看原书依据
- 第1章 Python现状 1.7 Python开发的现代方法 · 查看原书依据
- 第1章 Python现状 1.8 应用层Python环境隔离 · 查看原书依据
- 第1章 Python现状 1.8 应用层Python环境隔离 · 查看原书依据
- 第1章 Python现状 1.8.1 为什么要隔离 · 查看原书依据
- 第1章 Python现状 1.8.2 常用解决方案 · 查看原书依据
- 第1章 Python现状 1.8.2 常用解决方案 · 查看原书依据
- 第1章 Python现状 1.8.2 常用解决方案 · 查看原书依据
- 第1章 Python现状 1.8.2 常用解决方案 · 查看原书依据
- 第1章 Python现状 1.8.3 选择哪种工具 · 查看原书依据
- 第1章 Python现状 1.9 系统级环境隔离 · 查看原书依据
- 第1章 Python现状 1.9.1 使用Vagrant的虚拟开发环境 · 查看原书依据
- 第1章 Python现状 1.9.1 使用Vagrant的虚拟开发环境 · 查看原书依据
- 第1章 Python现状 1.9.2 容器化与虚拟化的对比 · 查看原书依据
- 第1章 Python现状 1.9.2 容器化与虚拟化的对比 · 查看原书依据
- 第1章 Python现状 1.9.2 容器化与虚拟化的对比 · 查看原书依据
- 第1章 Python现状 1.10 常用的生产力工具 · 查看原书依据
- 第1章 Python现状 1.10.1 自定义Python shell——IPython、bpython、ptpython等 · 查看原书依据
- 第1章 Python现状 1.10.1 自定义Python shell——IPython、bpython、ptpython等 · 查看原书依据
- 第1章 Python现状 1.10.2 交互式调试器 · 查看原书依据
- 第1章 Python现状 1.10.2 交互式调试器 · 查看原书依据
- 第1章 Python现状 1.11 有用的资源 · 查看原书依据
Python高级编程(第2版) · 第2章 语法最佳实践——类级别以下
本章先从序列与映射认识数据表示和操作成本,再进入迭代、装饰与上下文语法。Python3的str是Unicode码位序列,不保证每个索引恰好是用户眼中的一个完整字形;bytes和bytearray迭代得到0到255的整数,只有后者可原处修改。b前缀字面量与可读的打印形式不能改变这一表示区别。 详见文本与字节须显式区分。
算法和架构之外,语法表达与API是否清楚也影响后来能否理解和修改程序。更简短的写法未必更易读,语法看起来整洁也不证明需求已实现。学习习语应服务于表达工作对象与约束,而不是把改成某种流行风格当作质量已经提高的证据。 详见代码写法影响长期维护。
Pythonic习语把常见工作表达得更直接,有时也减少解释器中的重复操作,但性能解释需要结合具体实现与版本。风格共识不等于每条流行说法都真实;评估一个写法时应同时看语义、可读性和实际负载,不能仅因看起来“像Python”就断定更快。 详见习语要联系实现与场景。
bytes不可变,bytearray则可修改元素、追加或删除字节,元素值都在0至255范围。它适合需要逐步构建或更新二进制内容的场景,打印像文本也不改变字节属性。bytearray没有专门的字面量语法;原书inseer是insert的排版错误,示例写法不能据此创造新API。 详见字节数组适合原处修改。
str.encode把文本按指定编码转换为bytes,bytes.decode按编码解释字节;默认UTF-8的便捷入口不证明外部数据就是UTF-8。bytes(text, encoding)需要编码参数,而str(bytes)不指定编码通常得到表示形式,不能当成已正确解码。边界应明确编码与失败策略,避免转换貌似成功却改变信息。 详见编码是文本到字节的契约。
编码或解码时strict在无法处理内容时报告错误,ignore丢弃问题内容,replace用替代符号保留位置线索,xmlcharrefreplace等策略还有适用方向差异。它们并非可无条件互换的参数;选择容错方式就是选择允许怎样的信息损失。原文只列处理入口,不补造成所有编解码器都支持全部策略。 详见错误处理会改变保留的信息。
多个片段可用”“.join(parts)一次组织结果,也可用分隔符连接;固定少量字段则常用format或%更清楚。反复连接不可变序列可能累计复制成本,但CPython对某些+=情形有优化,不能把每种字符串循环都断言为严格平方时间。选择应结合片段数量、来源与可读性,不用微小性能猜测替代测量。 详见批量拼接与少量格式化分开。
编译器可把能够预先计算的常量表达式合成结果,减少运行阶段工作。原书以CPython3.5的字节码窥孔优化和长度阈值20说明实现细节;这不是Python语言规定,其他版本或实现可能采用不同位置与限制。不能为了触发某个旧阈值扭曲代码,也不将静态优化看成实测性能结论。 详见常量折叠不是运行时承诺。
list可增删或替换元素引用,tuple的这些位置在创建后不再改变,适合表达位置有含义的一组数据。元组中引用的可变对象仍可能变化;元组也只有在所有元素可哈希时才可哈希。原书从“元组不可变”直接推出都可哈希过强,例如含列表的元组不因此成为合法字典键。 详见元组固定的是引用位置。
CPython的list保存对象引用的连续数组,按索引访问通常O(1),中间插入/删除通常要移动引用,故O(n);连续尾部追加的摊销成本较低不代表任意位置pop都O(1)。它也不会每次增删都重分配,实际保留一定容量。原书list.delete不是现有列表方法,应区别del语句、remove与pop各自语义。 详见列表按动态数组理解成本。
列表复制、遍历和成员查找通常随元素数n增长;长度与索引访问通常常数级,取长度k的切片还需复制k个引用。extend与重复构造则取决于新增或生成的规模。表中复杂度是相应实现和通常操作的成本模型,用户对象比较可另有成本;切片复制是浅复制,不等于连同元素对象一起复制。 详见列表操作按工作量比较。
列表和字典推导将遍历、过滤及结果表达放在同一处,如[i for i in range(10) if i % 2 == 0]和{n:n**2 for n in range(3)}。短逻辑可因此更清楚,但复杂分支仍可用普通循环。推导式不保证预知最终元素数,也不因少写一行就保证更少错误或所有版本更快。 详见推导式表达构造与筛选。
enumerate(iterable)同时提供当前位置计数和元素,避免另写i+=1维持两份循环状态。这个计数通常从0开始,可指定起点,并不是每个可迭代对象原本具有的稳定下标。对会过滤、跳过或无索引访问的输入,需明确计数代表实际经过的元素序列。 详见枚举让计数跟随迭代。
zip把各输入当前位置组成元组,Python3中按需迭代;默认遇到最短输入结束,较长输入的尾部不会出现在结果中。zip(*rows)可转置规则的序列,但不能恢复先前被截掉的数据,也不保证恢复原容器类型。原书“恢复原状”只在给定等长形状下成立,不能当通用可逆操作。 详见拉链遍历会受最短输入限制。
赋值解包把可迭代输入分配给目标变量,普通目标需要数量匹配,带星号目标收集剩余内容为列表,也可按嵌套形状拆开。它不要求输入一定是list或tuple,但仍可能因数量或嵌套结构不符失败。语法简化了取元素动作,不会替业务判断输入是否满足契约。 详见解包按结构匹配元素。
keys、values、items返回视图而非独立列表,保存视图不会冻结字典内容,之后观察会看到更新。键值视图在相同映射状态下对应,不代表分别迭代期间修改仍安全;增删可能抛错或使结果不完整。需要某时点快照时应明确复制,而不能把原书“顺序完全一致”读成并发或跨修改的配对保证。 详见字典视图会跟随映射变化。
用作字典键或集合元素的对象,须能计算合适且稳定的hash,并保证相等对象有相同hash;相同hash不保证相等。不可变并非所有类型自动可哈希,可变对象也可能采用基于身份的稳定相等/哈希。自定义类改变相等逻辑时必须核对哈希契约,默认对象hash也不能简单说成数值恰等于id。 详见可哈希要求值与相等协调。
不同键可能给出相同散列值,字典不能因此认定是同一个键,还需在冲突处理后比较相等。原书CPython字典用开放定址与探测寻找位置,探测不是向外部链表追加节点。冲突越多通常比较和探测越多,故优秀平均性能依赖合理分布;具体探测细节属于实现,不能强加给所有Python解释器。 详见散列冲突需要继续定位。
散列表在合理散列及负载条件下,查找、修改和删除平均可接近O(1),大量冲突时最坏可到O(n),用户自定义hash与相等计算也另有成本。原书“平摊最坏”表头易混淆平均、摊销与单次最坏分析,应分别说明假设。不能因容器名为dict就保证任何输入和键类型都恒定耗时。 详见平均常数不是最坏保证。
旧CPython字典大量删键后,保留的表容量与空槽可能让遍历成本不只由当前元素个数决定。原书用历史最大元素数提示这一问题,是特定实现与状态的近似描述,不是所有版本的精确公式。是否重建应结合内存、遍历频率和测量,不能每删一个键就无条件重建整个映射。 详见删除后容量未必立刻收缩。
Python3.5时代不应依赖普通dict的插入顺序;CPython3.6先提供实现行为,Python3.7起插入顺序成为语言保证。原书无序例子的某次输出不应推广为今天规则,也不是排序结果。即使有插入顺序,仍需区分按键排序、更新已有键和删除再插入所需的业务含义。 详见字典顺序规则有版本边界。
OrderedDict除保留插入顺序外,还提供move_to_end将指定键移到一端、popitem按指定端移出键值。即使现代dict也保持插入顺序,专门的重排操作仍有独立用途;不能只因两者都“有序”就认定行为与成本完全相同。原书展示的是容器能力,没有自动实现LRU缓存的全部并发和淘汰契约。 详见有序字典还支持重排操作。
set表达不重复的可哈希元素集合,适合成员判断;frozenset固定成员关系,可作为其他集合元素或映射键。集合不是顺序记录,也不保留重复次数;由记录集合相等不能推导每笔记录都出现相同次数。这里需要的是可哈希契约,原书把元素一律说成不可变过强,自定义身份对象也可能合法。 详见集合保留成员而舍弃重复。
set(iterable)、集合推导和非空花括号可构造可变集合,空花括号{}却表示字典,空集合应使用set()。集合推导同样按构造与过滤理解,重复元素会合并。嵌套普通set因不可哈希不能作元素,可按需要使用frozenset,但它仍不保存输入重复或次序。 详见空集合与空字典写法不同。
CPython的set与dict共享散列表设计思想,但set并不是在运行时持有一个“值为空”的普通dict对象,而有自己的表结构与查找优化。平均成员判断和增删成本受散列分布影响,最坏仍可能线性。原书把概念类比当成具体对象结构过于简化,不据此估算精确内存开销。 详见集合有独立散列表实现。
collections补足通用容器:deque便于两端操作,namedtuple让固定位置可按名访问,ChainMap提供多个映射的组合视图,Counter计数,defaultdict按工厂处理缺失值,OrderedDict适合重排。它们解决不同访问需求,不能把所有类当更快dict;本节只给角色入口,第12章再展开使用边界。 详见专门容器按访问需求选择。
可迭代对象能提供迭代器,迭代器自身的iter返回自己,next提供下一项,耗尽时以StopIteration结束。CountDown例在每次推进时递减step,输入4依次得到3、2、1、0;它保存的是消费状态,不是每次重新从4开始。迭代器也不一定是保存全部元素的容器,原书把二者等同过窄。 详见迭代器保存推进中的位置。
带yield的函数调用先产生生成器对象,迭代推进时才执行函数体,遇yield给出值并保存局部执行状态,下次从暂停处继续。斐波纳契例因循环无终止条件而持续产生值,不代表所有生成器都无限。它避免预先存下全部结果,但计算单项的CPU和状态内存仍有成本。 详见生成器暂停后从原位继续。
把生成器相接,可让下游每索取一项就带动上游处理必要数据,避免各阶段都先构造整份中间列表。原书adder(power(elements))演示这一顺序,但power函数只打印并原样yield,没有真正求幂。管道也不是自动并行,过滤可能一次消费多个上游元素,不能泛称每调用一次所有阶段恰处理一个输入。 详见惰性管道由下游需求推进。
tokenize.generate_tokens接收读行函数,逐步解析Python源文本并产出TokenInfo,而不是每行只返回一个独立迭代器。生成过程与底层文件生命周期是两回事:原书open(…).readline隐藏了文件句柄,不能据按需处理就认定文件会及时关闭。应让调用方明确持有和关闭输入,输出类型编号也有版本背景。 详见流式解析仍要管理输入资源。
生成器的yield既向调用方给值,也可接收send传回的值。首次通常用next或send(None)推进到暂停点,之后send(value)使该值成为内部yield表达式的结果,再继续运行到下一次暂停或结束。next相当于发送None,不是单纯重新调用函数;原书psychologist只是字符串分支示例,不是心理诊疗工具。 详见send把值送回暂停表达式。
throw在暂停处注入异常,close通过GeneratorExit请求结束,生成器可在finally清理并正常return或让GeneratorExit传播。关闭过程中再yield可能失败,不能照原书说必须重新抛StopIteration;现代语义中生成器体内逸出的StopIteration会转RuntimeError,正常return才由迭代协议表达耗尽。 详见生成器关闭不靠伪造耗尽。
@decorator应用在函数定义完成时,将函数交给装饰器并把名称重新绑定到返回值;包装函数里的业务动作则在以后调用时发生。返回值未必可调用,语法接受不等于装饰后的对象仍能作为函数使用。原书“不允许lambda”是旧装饰表达式语法背景,Python3.9的PEP614已放宽限制,不能作为永恒规则。 详见装饰是定义时的对象替换。
函数包装器可在原调用前后增加动作,并传递参数与返回值;但简单地在调用后再写一行代码,遇异常时那一行不会自动执行。需要确保清理时应有对应控制结构,不能把“包装”误认为必然安全。对外还需考虑异步、生成器等不同调用契约,本节普通同步示例不证明全部适配。 详见包装器保留返回与异常契约。
DecoratorAsClass在初始化时接收并保存原函数,再通过call转发参数与结果。相比闭包,它可把较复杂配置或状态放在实例中,但不会自动处理方法绑定或并发共享。图中的对象是原书真实类,未添加虚构继承关系;使用实例装饰方法时应另外核对描述符行为。 详见可调用实例可保存装饰状态。
repeat(number)先接收配置并返回actual_decorator,后者接收原函数并返回wrapper,所以本例即使使用默认配置也写@repeat()。调用阶段wrapper按number重复执行并只返回最后一次结果,零次则按代码返回None,中途异常会打断后续次数。这个具体接口需要括号,不表示所有装饰器都不能兼容裸用法。 详见参数化装饰先产生装饰器。
functools.wraps帮助包装函数保留原名称、文档并建立wrapped等内省联系,改善文档与调试体验。它不自动让包装器的实际参数绑定、类型校验与原函数完全相同;工具看到的签名与运行时转发仍需区分。原书输出的函数名末尾多一个点只是教材不一致,未据此声称实际运行如此。 详见元数据转交不改变实际包装。
XML-RPC用HTTP承载XML编码的远程调用,发现接口与执行调用是协议及服务能力。教材装饰器只登记本地函数名、参数和返回类型,并作本地检查,并未实现完整XML-RPC服务器或WSDL。Python不能自动推断所有运行类型,不等于完全无法内省函数签名;远程描述与本地语言签名是不同对象。 详见签名登记不等于RPC服务。
教材检查器先验证个数,再用isinstance逐项检查输入和结果;它删除args首项,假定装饰实例方法而非任意函数,且不接收关键字参数。isinstance还接纳子类,例如bool可视为int,不等于精确类型相同。把tuple/list返回值当多个输出也是本例约定,不能当作所有业务返回结构;检查通过只证明这套简化规则。 详见运行时检查要匹配调用契约。
记忆化把函数参数与结果关联,后续相同输入可复用结果,适合计算昂贵且输出由输入决定的工作。若结果还取决于用户、时间或外部状态,键未包含这些因素就可能错误命中;调用本身有必要副作用时也不能随意跳过。原书示例并未证明所有标注函数都符合这些前提。 详见记忆化依赖稳定输入输出。
教材把函数名、args、kw经pickle序列化再做SHA摘要,目标是用可比较键标识计算。但它没有实际排序关键字参数,函数同名也不等于同一函数或版本;对任意对象还可能序列化失败。摘要不是输入语义等价的自动证明,原书“冻结所有状态以确保满足要求”过强,这个例子不能当完整通用缓存。 详见缓存键必须区分完整计算。
教材缓存按插入时间与duration判断是否过期,再按需重新计算。它没有主动清理全部旧键或容量上限,共享缓存也未协调并发重复计算;墙钟变动还可能影响时间差。原书秒数与命中日志是示例,不证明实际系统内存、延迟或一致性达标。后续选择专用库仍需明确作用域与生命周期。 详见过期时间不等于容量管理。
protect(role)在调用前检查用户是否具备角色,满足才转发,否则抛Unauthorized,展示包装器如何控制访问。教材把user放在进程全局变量中,多个请求可能覆盖对方身份,不能据单次admin示例认定有隔离的鉴权上下文。角色检查也不是完整认证系统;这里未提供可上线的安全实现。 详见访问代理要绑定真实调用者。
synchronized例在调用前acquire,finally中release,使正常返回或异常退出都释放已获得的RLock。所有被同一装饰器使用该全局锁的函数会共享串行边界,未遵守同锁协议的访问仍不受保护。它只保护本次普通函数执行期间的范围,不能单凭@语法就声称任意共享数据都线程安全。 详见锁包装的保护范围由共享锁决定。
with调用管理器的enter,将其返回值交给as,再运行块并调用exit。ContextIllustration的enter未显式返回,因此as值是None;不是管理器对象必然返回自身。若进入阶段失败,同一对象的退出方法不会自动补跑,资源获得失败时的恢复仍由实现负责。 详见上下文配对进入与退出。
块内无异常时exit收到三个None;有异常时收到类型、值与回溯,可清理后返回假值让原异常继续,或返回真值表示抑制。抑制是特定语义选择,不等于错误已经修复。退出自身再失败也会改变传播结果,不能把with理解成任何情况下都保证后续业务成功。 详见退出方法决定异常是否传播。
with A() as a, B() as b等价于嵌套:先进入A再进入B,退出时反向配对。若进入B失败,已进入的A仍按异常退出流程处理,而B没有成功进入便没有相同退出保证。书中文件、锁、条件及信号量支持相应上下文协议,不代表进入Condition会自动等待某个业务条件。 详见多个上下文按嵌套顺序清理。
contextmanager把生成器转换为上下文管理器工厂,yield前准备环境,恰好一次yield交出as值,块结束后恢复,异常也会在该暂停处传回。只记录异常而正常结束会将其视作已处理,需要传播时应重新抛出。确保所有退出路径都清理通常用finally;原书只捕获Exception的示例不能保证更广异常下同样打印。 详见一次yield划分上下文两侧。
closing在退出时调用对象close,suppress只抑制选定异常,redirect_stdout/stderr在块内暂改标准输出目标。三者共享块边界机制,清理、忽略和重定向的效果不同;原书supress拼错应为suppress。标准输出重定向涉及全局流对象,不能当成每个线程或请求天然独立的日志方案。 详见上下文辅助器按副作用选择。
for的else在迭代正常结束时执行,也包括一开始就没有元素;break跳过else。因此搜索循环可把未找到分支放到else,减少额外哨兵变量。return或异常同样可能令控制离开而不执行else,“没有break”只是记忆法,不是任何退出情况的充分条件。原书打印字符串break只是文案,不改变语义。 详见循环else表示正常耗尽。
参数后冒号与返回箭头可标记注解,供类型检查器、IDE、文档或框架读取;Python默认并不据此强制检查实参和返回值。它不是运行参数校验的替代品,也不能说“完全没有语义”。原书把注解主要当试验是时代背景,类型提示已有规范与标准库支持,不把旧普及判断当当前事实。 详见函数注解是可被工具读取的信息。
原书Python3.5通常在函数定义时求值注解表达式,再通过annotations读取;后来出现字符串化和延迟求值模型,不能把同一时机推广到所有Python3。复杂表达式可能带执行效果,不宜为炫技放进注解。教材square片段含1=0等排版问题,不视为可运行例子,更不据显示的100当本机输出。 详见注解求值有版本与执行边界。
原书依据 · 53 处
- 第1章 Python现状 1.5.2 主要的语法差异和常见陷阱 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 第2章 语法最佳实践——类级别以下 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1 Python的内置类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.1 字符串与字节 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.1 字符串与字节 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.1 字符串与字节 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.1 字符串与字节 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.1 字符串与字节 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.1.2 集合类型 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.1 迭代器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.2 yield 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.2 yield 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.2 yield 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.2 yield 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.2 yield 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.3 装饰器 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.4 上下文管理器—— with 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.4 上下文管理器—— with 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.4 上下文管理器—— with 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.4 上下文管理器—— with 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.2.4 上下文管理器—— with 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.3.1 for ... else ... 语句 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.3.2 函数注解 · 查看原书依据
- 第2章 语法最佳实践——类级别以下 2.3.2 函数注解 · 查看原书依据
Python高级编程(第2版) · 第3章 语法最佳实践——类级别以上
上一章围绕值、迭代和可调用对象,本章把这些机制组织为有身份和协议的对象。继承复用父类行为,描述符控制属性访问,方法解析顺序处理多继承查找;它们共同影响一次属性或方法使用到底执行哪段代码。元类和动态构造再把问题推到“类本身怎样生成”。选择机制前先确认要维护的对象契约,避免把复杂程度当作高级程度。
子类化dict或list能复用容器操作,适合新对象确实承诺相应容器行为的场景;仅在内部保存序列,并不自动意味着对象就应该是一种list。自定义不变量还要覆盖继承来的修改入口,不能根据“少写代码”或“更快”就断言继承总是最佳。原书object共同祖先的说法也须限定为Python3等新式模型。 详见继承内置类型先核对契约。
distinctdict在setitem中拒绝把某值交给另一个键,演示局部强化映射约束;但CPython内置dict的初始化、update等入口不保证调用这个覆写,因此不能据两次方括号赋值就证明所有写法都维持值唯一。values成员扫描也有线性成本。下面继承与异常关系取自原例,不补造完整双射容器。 详见覆写赋值不覆盖全部写入。
Folder继承list保存混合元素,name记录名称,dir按缩进遍历:有dir属性的元素继续递归,其余打印为叶子。它展示已有容器行为与领域方法的组合,不是操作真实目录的文件系统API。hasattr只检查属性存在,不保证可调用,也没有给出循环引用处理;这些约束不能由示例树输出自动证明。 详见容器子类可表达递归层次。
super(T, obj)建立属性查找代理,从obj所属类的MRO中T之后继续,可能找到兄弟分支,并非固定调用T声明的直接父类。零参数super在适用方法内由词法定义类与首参数补齐;用self.class替代词法类在更深继承中可能改变起点。显式Base.method(self)则直接指定实现,两种调用策略不能混为一谈。 详见super沿实际MRO继续。
classmethod中的首参数cls代表实际调用类,零参数super会结合定义类和cls建立代理,显式写法可为super(VikingPizza, cls)。原书super(VikingPizza).recommend()只创建未绑定代理,不能当作可工作的推荐方法调用;“零参数等于只给第一个参数”也不正确。继承来的工厂使用cls构造对象,才可能保留子类身份。 详见类方法的super仍需绑定。
Python2同时有旧式与新式类,显式继承object或新式基类进入新式模型,super依赖该模型;Python3只保留新式语义,无基类声明时也隐式继承object。旧代码中删除object可能改变Python2行为,纯Python3代码则不必因此保留冗余。旧式类也有方法解析规则,只是没有相同的mro内省接口。 详见对象模型的版本边界。
多重继承可能让同一祖先出现在多条路径上,MRO将这些关系整理为属性查找的线性次序。原例MyClass、Base1、Base2、CommonBase在新式模型中排为MyClass→Base1→Base2→CommonBase→object。C3不是简单取图中最短距离,也不是直接左深遍历,故不能把示例Base2获选概括成永远挑“最近祖先”。 详见菱形查找靠线性化协调。
C3将父类线性化与直接父类顺序一起合并:候选表头若出现在任一待合并列表的表尾,就先不能选;可选时加入结果并从列表移除,直到完成或拒绝冲突层次。原例推导如下,表尾指除首项外全部,不是最后一项。
| 候选 | 判断 | 加入结果 |
|---|---|---|
| Base1 | 不在其他表尾 | Base1 |
| CommonBase | 仍在Base2列表表尾 | 暂缓 |
| Base2 | 满足表头条件 | Base2 |
| CommonBase、object | 前置约束已清除 | 依次加入 |
这是按原书规则的手工推导,没有运行程序。不能找到可选头时不是随便挑一个,而是层次不满足所需顺序。 详见合并线性化要避开表尾冲突。
类的mro保存当前线性化,mro()可取得相应列表,适合在组合第三方基类前观察实际查找路线。它可帮助定位调用会落在哪个实现,但不是基类代码已遵守协作协议的证明。mro属性只读不意味着继承结构改变时结果永远不变;旧式类没有该接口也不能说完全不存在查找顺序。 详见查找顺序应从真实类读取。
C显式调用A.init和B.init,而A内部又用super沿C→A→B→object继续,于是B在这一实例构造中执行两次。问题根源是局部直达调用与协作链同时负责同一段初始化,不能仅凭每个方法各写一次就认定执行一次。原文输出是教材说明,没有本次本地运行结果。 详见混合调用可能重复初始化。
MRO中的下一实现不一定是编写当前类时想到的直接基类,因此初始化参数必须有共同约定。原书MyClass(arg)向Base1的无参初始化转发便触发不匹配;把所有类都改成*args/**kwargs可吞下参数,但CommonBase直接丢弃余参,错误输入也可能被掩盖。能调用完不是参数已被正确消费的证明,不把万能参数当完整方案。 详见协作初始化需要参数协议。
组合多个基类前,需核对实际MRO、初始化入口、参数传递与每个参与者是否继续协作链。原书“全部用super或全部不用”表达的是避免无约定混用的提醒,不是对所有方法和层次都同一种形式的硬规则;回避一切多重继承也只是其保守建议。选择应围绕替换与协作契约,不因super存在就认定设计危险。 详见多重继承先约定协作责任。
类定义中的某些双下划线名称会按词法类名改写,如secret_value成为_MyClasssecret_value,减少子类意外重名;这不是访问控制锁。单下划线表达非公开约定,标准双端下划线特殊方法不属于同样情况。原书“永远不应使用__”过强,应按是否需要避免继承冲突判断,而不能把名称修饰当安全边界。 详见名称修饰用于避免继承冲突。
描述符放在宿主类的属性位置,通过get(self,obj,owner)读取、set(self,obj,value)赋值、delete(self,obj)删除参与访问管理。原书协议参数把owner与value混淆,删除方法也误写成del,不能照抄。RevealAccess实例成为MyClass.x的管理者,打印操作并读写自身val;它没有实现删除方法,示例并未证明可删除x。 详见描述符把属性访问委托给对象。
默认实例查找先沿类MRO找相应类属性,再区分数据描述符、实例字典、非数据描述符及普通类属性。提供set或delete会使描述符具有数据描述符性质,不要求一定同时实现get和set;有读取钩子时它的读取优先于实例字典。getattr是缺失后的另一层处理,覆写getattribute也可能改变默认路径。 详见属性查找区分描述符优先级。
函数对象提供get而没有set,是非数据描述符;从类经实例访问时可形成绑定方法。实例字典可遮蔽这种类属性,支持局部替换行为,但把普通函数直接放进实例字典并不会自动获得同样的self绑定。猴子补丁需要理解替换的位置与调用契约,而不是只要赋值成功就认定方法可正常使用。 详见函数绑定依赖属性访问位置。
InitOnAccess把昂贵创建推迟到第一次get,结果存于描述符自己的_initialized字段;同一个类属性的管理对象因而供多个实例共享,不能误作每实例缓存。以None判断未初始化还假定真实结果不是None,并未协调并发首次访问。这个例子展示延迟与复用,不保证多线程下只创建一次。 详见延迟初始化先确定缓存层。
原书lazy_property只有get,属于非数据描述符。首次读取时计算结果,再setattr(obj,函数名,value),通常把值写入该实例,从而遮蔽后续的类描述符读取。原文称它是数据描述符、替换类属性都不准确;按类访问obj可能为None,也要另行处理,不能从一次实例演示推出所有访问方式可用。 详见非数据描述符可被缓存值遮蔽。
lazy_class_attribute将计算结果写入cls的同名属性,直接替换该类上原来的描述符,让后续实例共享这个值。它与实例字典遮蔽不同,继承、再次初始化和失效处理都会受影响。原例obj or cls还会把假值实例误当作没有实例;用一次计算替换钩子不等于结果适用于每个运行上下文。 详见类缓存替换会移除访问钩子。
PyOpenGL为Python提供OpenGL接口,教材借着色器编译说明:昂贵资源可延迟到图形上下文准备好后创建,避免导入阶段便依赖尚未就绪的运行环境。GLSL是示例着色器源码语言,不在本节补写图形教程。共享编译结果仍须核对上下文归属与生命周期,不能由类缓存推断跨所有上下文都安全;本次没有编译着色器。 详见图形资源创建依赖上下文。
property将读、写、删动作连接到fget/fset/fdel,并可保存说明文档。Rectangle的width从x2-x1派生,写入width则调整x2,相应height控制y2,使用方可以像字段一样表达几何意图。接口外观相同不代表访问没有计算或副作用,原例也未规定负宽高等业务校验。 详见属性接口可表达派生值。
property(_width_get,…)保存创建时给出的函数对象;子类只重定义同名_width_get,不会自动把已有property的fget换掉。原书失败示例还误用了Rectangle实例,不能据该输出验证MetricRectangle行为。是否动态分派取决于getter内部怎样调用;这是引用绑定问题,不是所有继承属性都无法调用子类逻辑。 详见属性保存的是访问函数引用。
@property建立读取接口,@width.setter等再产生带相应访问器的property对象并重新绑定名称。它使访问器与接口靠近,但本身不改变已捕获函数的继承规则。子类可以有意替换整个属性,或用现有property的getter/setter建立副本;不必像原书保守建议那样每次强制重写所有访问器,应保持读写契约协调。 详见属性装饰语法组合访问动作。
slots为实例预留指定属性存储,可在满足条件时省去每实例dict,减少大量小对象的开销,并拒绝任意新属性。Frozen例仍能反复给ice和cream赋值,所以“冻结”不表示不可变;声明槽也不冻结类对象。实际内存收益与继承、字段和对象数量有关,不能只由少写一个字典就给出固定节省比例。 详见槽限制属性布局而非值变化。
已有基类提供dict时,子类声明槽不会自动移除它;不声明自己slots的派生类通常又获得实例字典。原例Unfrozen继承Frozen后能增加icy,说明槽不是封闭继承层次的全局权限。还可显式安排dict等特殊槽,不能把“用了槽便不可能动态修改”当通用结论。 详见槽的限制要连同继承判断。
元编程把程序本身作为可检查、生成或修改的数据。第一条路径操作函数、类和类型等运行时对象,例如装饰器和创建钩子;第二条路径操作源文本或AST,再交给编译执行。这两类工具影响的阶段与维护成本不同,元类也不能任意改写整门语言的对象模型。 详见元编程可作用于对象或代码。
装饰器通过接收并返回对象,把定义结果交给转换函数;它可以检查原对象后返回修改版,也可以原样返回,并不必然创建新函数。第2章的对象替换语义在这里成为选择元编程工具的依据:若局部变换已够用,就先衡量是否需要更深的类创建控制。 详见装饰器也是元编程工具。
short_repr把新的repr函数赋给传入的类再返回同一类。函数置于类属性位置后能参与实例方法绑定;显式传入类和实例的super可在类定义体外使用。它截断的是父实现的表示字符串,显示前缀随模块等上下文而变,不能把教材中的当固定输出。 详见类装饰可以原地修改类。
parametrized_short_repr用外层参数max_width配置装饰器,内部定义ShortlyRepresented(cls)并把它返回为新绑定。实例的精确类型和类元数据发生变化,但仍是原基类的实例,原书称不再是被装饰类的实例过强。函数wraps并不能不加判断地解决类替换带来的文档与身份问题。 详见返回子类会改变精确类型。
SomeConcreteClass(MixinClass,SomeBaseClass)借多重继承组合可复用行为。混入通常不作为独立业务对象使用,这不等于它绝不能有初始化逻辑;协作初始化、方法名与MRO都需要协调。类装饰器可替代部分增强场景,但原地修改和返回子类也各有身份与维护代价,不能一概消除继承复杂性。 详见混入复用要核对继承契约。
new接收cls并负责返回对象,通常先于init;后者初始化已经得到的实例。若new返回的对象不是cls的实例,就不会按通常路径调用该类的init。原书以其他类概括跳过条件并不严谨,因为返回子类实例仍可能进入初始化;覆写时需明确返回契约。 详见创建对象与初始化对象分开。
InstanceCountingClass在new中给实例编号并增加cls.instances_created,此时init还可能失败,所以它记录的创建步骤不能充当成功初始化数或当前存活数。对子类的cls计数赋值还可能形成各自的类属性;示例也没有并发协调,不能据此承诺跨线程全局唯一编号。 详见创建计数不等于存活数量。
int等不可变基类的数值部分在new创建时确定,init不能事后把这个值改成另一个数。NonZero先判断输入value != 0再转int,因而小于1的非零小数仍可能转换为0;这个例子并未守住名字暗示的不变量。若返回None,也需调用方明确接受它。不可变数值不代表子类不能有其他可变属性。 详见不可变值要在创建时校验。
类对象也有自己的类型,元类参与创建这类对象。RevealingMeta继承type,而RevealingClass是RevealingMeta的实例;RevealingClass的普通实例又由它创建。原文把type称为所有类的基类,混淆了实例关系与继承;自定义元类以及从基类继承元类也说明并非每个类都直接以type为其精确类型。 详见元类关系区别于继承关系。
type(name,bases,namespace)能根据名称、基类元组和属性字典创建类。原例把method函数放进字典,得到的实例便能调用该方法;类对象可以由数据驱动生成。这个简例对应简单class定义,不代表三参数type替代了所有类体执行、命名空间准备及高级基类处理语义。 详见动态造类要提供结构数据。
类定义先准备命名空间、执行类体,再调用元类创建和初始化类对象;之后调用这个类,才由元类call协调该类实例的new与init。RevealingMeta/ RevealingClass的日志旨在区分两层钩子,不是本机实测。元类可影响派生类的创建,普通类装饰器不会因此自动在每个子类定义上重新执行。 详见建类与建实例是两个阶段。
类定义附加的关键字参数会进入命名空间准备和建类调用链,各覆写钩子需要一致地接受、处理或传递。教材Metaclass模板的new没有**kwargs,却接着给出extra=“value”用法,不能由其余钩子接受关键字便推断整个链路可用。也不能把未知参数无条件传到底层而不检查其契约。 详见类关键字须贯通创建钩子。
Python 3用class声明中的metaclass关键字指定元类;Python 2类体内的metaclass写法不应直接当作Python 3等价机制。原书six.with_metaclass服务于跨版本历史代码,Python 2也没有prepare建类钩子。这些差异帮助读懂旧框架,不构成今天新项目继续兼容Python 2的默认要求。 详见元类兼容语法有版本边界。
SerializerMetaclass从attrs取出Field对象,按_creation_counter排序,合并基类_declared_fields,再把登记表写回类数据。它同时承担字段识别与继承合并,不只是让整个类字典有序;原文creation_counter漏了下划线。OrderedMeta用prepare保留声明顺序只能解决其中一部分,且输出中的类名与定义名不一致。 详见字段登记不只是命名空间排序。
元类把统一规则放进一族类的创建过程,适合框架提供更高层接口;若只是控制属性读写或局部增强,property、描述符和类装饰器可能更清楚。多基类的元类不兼容会使定义失败,选用前需考虑已有创建机制。两个类协作本身不足以证明违反单一职责,要看每部分是否承担清楚的责任。 详见元类复杂性要换来明确收益。
metaclass入口可接受某些非type类的可调用对象,结果也不强制一定为类。原书用Mock展示语法接受不等于获得了可用的类型,后续继承与实例化仍依赖实际返回对象的契约。教材StopIteration回溯属于其环境和配置下的输出,不应推广为所有版本Mock在此调用必然相同失败。 详见元类调用结果仍要守契约。
exec执行语句序列,通常返回None;eval求表达式的值;compile按exec、eval或single等模式先生成代码对象,也可用相应标记请求AST。表达式仍可调用函数并产生副作用,eval不是纯计算保证。filename用来标注诊断来源,可以是等虚拟名称,不要求磁盘上存在该文件。 详见执行求值与编译分工不同。
把globals和locals置空,再包裹try/except,并不能使exec或eval成为安全沙箱。它们允许执行输入所表达的Python行为,异常处理也不会撤销已发生的副作用。不可信输入应使用与业务数据格式匹配的解析方式;书中两篇危险性文章作为延伸入口,本次没有复现攻击或执行动态输入。 详见空命名空间不能隔离执行。
AST表示源代码的抽象语法结构,ast.parse或带PyCF_ONLY_AST标记的compile可取得树;变换后再编译,可插入测量逻辑或支持领域语言。图3-5中的MacroPy在原AST与新AST之间应用宏,而常规路径直接编译原AST。这只说明插入位置,不保证任意树修改都能编译或保持原语义。 详见语法树变换介于解析和编译间。
ast.dump输出便于查看节点结构,不是保留源码排版和注释的逆变换。原书所处版本说没有内置逆向函数;Python 3.9起已有ast.unparse,可生成对应树的代码字符串,但不保证与原始源码逐字相同。阅读历史AST节点和字节码示例时,也应核对实际Python版本。 详见语法树输出不等于原文还原。
sys.meta_path接收元路径查找器,查找从sys.modules缓存检查之后继续;sys.path_hooks则放入针对路径项创建查找器的可调用钩子,不能像原文那样简单说往里面添加路径查找器对象。查找器定位模块及加载信息,加载过程再执行相应职责;改动导入行为需要读完整协议,几段示例不足以覆盖缓存与失败语义。 详见导入钩子分清查找层次。
教材Falcon路由器把配置的路由列表转换成代码,再编译并建立查找函数,展示将配置处理移出请求查找路径的思路。它使用falcon.API、resp.body及_router._find等历史接口,不能据此认定当前版本仍在每次add_route时立即重建同一私有函数。没有基准测量时,也不由代码生成直接推出普遍性能优势。 详见配置可编译成专用查找逻辑。
原书通过两次查看路由查找函数code展示旧版实现的生成行为。代码对象地址变化不能单独证明语义正确、性能收益或以后所有版本的生命周期;私有_router路径也不是稳定公共契约。应把输出当作理解历史机制的线索,真实项目仍需检查对应版本源码和行为。 详见字节码变化只证明局部现象。
Hy示例把Lisp形式转换为Python AST,并通过注册后的导入机制把.hy模块接入Python环境,从而复用模块与包。hello示例的反汇编说明它能落在同一虚拟机执行路径;相近字节码不证明全部语言语义相同,书中Hy返回最后表达式值与Python语句后隐式返回的指令也已有区别。教材语法和指令属于其版本。 详见借共享语法树实现语言互操作。
原书依据 · 49 处
- 第3章 语法最佳实践——类级别以上 3.1 子类化内置类型 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.1 子类化内置类型 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.1 子类化内置类型 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2 访问超类中的方法 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2 访问超类中的方法 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2.1 Python 2中的旧式类与 super · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2.2 理解Python的方法解析顺序 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2.2 理解Python的方法解析顺序 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2.2 理解Python的方法解析顺序 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2.3 使用 super 易犯的错误 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2.3 使用 super 易犯的错误 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.2.4 最佳实践 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3 高级属性访问模式 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.1 描述符 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.1 描述符 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.1 描述符 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.1 描述符 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.1 描述符 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.1 描述符 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.1 描述符 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.2 property · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.2 property · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.2 property · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.3 槽 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.3.3 槽 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4 元编程 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.1 装饰器—— 一种元编程方法 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.2 类装饰器 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.2 类装饰器 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.2 类装饰器 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.3 使用 __new__() 方法覆写实例创建过程 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.3 使用 __new__() 方法覆写实例创建过程 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.3 使用 __new__() 方法覆写实例创建过程 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.4 元类 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.4 元类 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.4 元类 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.4 元类 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.4 元类 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.4 元类 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.4 元类 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.4 元类 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.5 一些关于代码生成的提示 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.5 一些关于代码生成的提示 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.5 一些关于代码生成的提示 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.5 一些关于代码生成的提示 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.5 一些关于代码生成的提示 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.5 一些关于代码生成的提示 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.5 一些关于代码生成的提示 · 查看原书依据
- 第3章 语法最佳实践——类级别以上 3.4.5 一些关于代码生成的提示 · 查看原书依据
Python高级编程(第2版) · 第4章 选择好的名称
命名是把实现意图交给后来读代码的人。本章从社区风格走向名字、参数和公共接口,使读者能从调用处判断对象与责任;它承接对象协议,也为后面的包边界、文档和测试提供共同词汇。统一写法降低理解成本,但名称仍需配合真实行为,不能仅凭词形证明接口设计正确。
新项目采用社区熟悉的命名和布局,能减少贡献者重新适应的成本。成熟代码的大规模改风格则会扩大冲突和审查范围;书中建议把纯风格调整放在单独补丁中,便于评估实际行为变化。统一格式服务于协作和可读性,不能代替正确性判断。 详见统一风格降低协作切换成本。
PEP 8留有自由选择的地方,团队可把具体规则写成共享文档。历史项目一次性全改可能成本过高,明确现有边界内的一致规则仍有收益;不能为满足通用风格轻率破坏公共接口。团队规则应可查阅、可解释,避免让每次审查重新决定相同问题。 详见团队约定优先保持局部一致。
大写下划线、首字母大写的类名、小写下划线的函数和变量等惯例,让读者在理解具体实现前识别角色。外形只是约定,不会使变量变成不可修改常量,也不证明某个前缀具有访问控制。应将这些形式和语义名称一起使用,而非只追求大小写合规。 详见命名外形表达元素角色。
模块级常量通常采用大写下划线,完整单词比不透明缩写更能说明用途;底层协议已有名称时,也可保持跨语言对应。集中声明使默认值和标志便于找到,但不意味着整个项目的一切配置、秘密和业务常量都必须放进一个Python文件。大写名称本身不阻止重新绑定。 详见常量名称说明约定与来源。
为每个选项分配不同的单个位后,按位或可合并选项,按位与可判断是否包含某个位。教材用1 << len(OPTIONS)登记BLUE等,并以setdefault复用已有名称的值;重复名字不应创建新身份。这种表示依赖位分配保持一致,不是任意整数的组合方式,跨进程持久化还需稳定定义。 详见位标志用独立位组合选项。
_observers通过前缀表示内部列表,add_observer负责增加,get_observers返回tuple,避免调用方直接改动原列表的成员关系。这个保护只是容器层次:元组中的对象仍可能可变,前缀也不禁止直接访问内部变量。公开接口需要明确允许修改的范围,不能把不可变外壳称为深度不可变。 详见公开视图可限制内部容器修改。
旧库的mixedCase接口可能为兼容而保留。调用、覆写或暴露框架要求的接口时,应遵守其契约;自己的新接口可用团队采用的小写下划线。不能为了统一外形直接改掉使用者依赖的方法名。Zope和Twisted只是原书的历史案例,具体可用名称仍要查对应版本。 详见命名迁移须考虑公共兼容。
双端下划线名称用于Python定义的特殊协议,如add和repr;不应为了突出普通方法而自行创造my_method。参数和property一般用小写下划线,类一般用首字母大写词组。区分语言协议、普通公共接口和内部约定,比把所有名称加上相同标记更清楚。 详见特殊名称保留给协议语义。
is_connected、has_cache使读者直接理解变量所陈述的状态或存在性,条件表达也更自然。名称必须对应实际布尔业务含义;不应仅因结果用在if中,就把所有动作结果强制改成is或has前缀。先判断对象保存的是状态、存在事实还是动作发生的结果。 详见布尔名称表达可判断状态。
connected_users与tables让读者预期多个用户或表,减少把单个对象误当容器的理解成本。复数本身不说明元素顺序、唯一性或容器可变性;这些仍应由接口契约和实际类型表达。映射也可采用复数名称,但需要进一步说明键和值的含义。 详见集合名称提示复数语义。
persons_addresses把人到地址的关系放进名称,比data或mapping更能说明查找目的。好的名字让下标中的键与返回值顺着业务语义读通;若上下文已经给出对象范围,不必重复整个长路径。这里强调映射含义,不代表所有字典都应机械拼接键名和值名。 详见映射名称说清键值关系。
compute(data)几乎没有表达处理内容,squares(numbers)则说明输入与变换。manager、handle、perform等泛词只有在上下文提供明确责任时才有意义,不能靠后缀使职责模糊的代码变清楚。名称困难时也应检查对象是否混合了多种责任,而不是只换一个近义词。 详见名称应揭示具体业务操作。
utils、common等目录名不揭示内容边界,容易不断吸收互不相关的功能。按用途拆出名称明确的小模块,能让依赖和查找更清楚;但名称本身并非设计错误的证明,仍要检查实际内容是否内聚。原书指数增长等修辞不是经过测量的普遍定律。 详见杂物模块会隐藏职责边界。
把os用作局部整数名,会遮蔽同名模块;调试时再import os还可能改变当前绑定,增加理解困难。内置名、模块名和关键字需分别处理,关键字可用or_等尾下划线避让。目标是减少语义冲突,不是为了追求新奇而放弃读者熟悉的领域词。 详见避免遮蔽已有上下文名称。
添加参数时可提供与旧行为兼容的默认值,使原调用继续有效;教材execute增加logger=logging.info便展示这一方式。默认值不自动保证语义兼容,内部调用链、位置参数以及行为变化仍需一起检查。公共签名必须改变时,应安排清楚的弃用和迁移过程,不能只让调用暂时不报错。 详见参数演进保持旧调用有意义。
assert可帮助表达开发期假设,但优化模式可移除断言,因此不应作为必须持续生效的外部输入防护。division例中的int/float类型断言也未处理零除等完整业务条件,不能把它当作完整契约。需要稳定执行的边界校验应显式处理失败;测试覆盖和运行时校验各有作用。 详见断言不能承担必需输入校验。
单元和功能测试验证已知使用场景,模糊测试则以生成的多样输入帮助发现意料外弱点。发现缺陷后修复并补充回归样例,使已知边界逐步积累。测试通过不证明所有输入安全,模糊测试也不限于毫无结构的随机字节;本节提供的是质量改进思路,本次没有执行测试。 详见把发现的缺陷沉淀为回归样例。
fuzzy_thing只挑选认识的kwargs键,拼错键仍可能被默默忽略。固定命名参数能直接表达支持的输入,让调用者和工具更容易发现错误;参数过多时应先检查职责与分组。转发未知签名或实现通用装饰器仍可能需要*args和**kwargs,不能把它们一概禁止。 详见显式参数让错误更早可见。
若函数只是用相同方式遍历若干元素,接收一个序列或可迭代对象往往比无限位置参数更清楚。教材两个sum版本用于比较接口形态,不宜据此遮蔽实际项目的内置sum。选择可迭代接口后,也要说明是否消费一次性迭代器、是否需要重复遍历,而非默认容器一定是列表。 详见同类输入可用序列参数表达。
将同一上下文的值放入请求等对象,可以让该对象管理解析、约束和内部演进,调用函数只依赖清楚接口。它的价值来自内聚的责任,不是把任意长参数表塞入无约束字典。原书log_request两个版本只是逐步增加字段访问,没有给出完整请求类实现,不能据此虚构现成封装。 详见相关参数可形成有责任的对象。
类名说明对象角色,方法名说明动作;SMTP.send比SMTP.smtp_send减少已由命名空间表达的信息。Base、Abstract或具体角色后缀可帮助识别用途,但应和实际抽象契约一致。代码示例中的英文词组是命名思路,不能把带空格的SQL Engine直接作为合法Python标识符。 详见名称利用命名空间减少重复。
模块和包名应简短并体现内容,避免与标准库同名。原书绝对要求模块不带下划线过强:PEP 8允许模块在有助可读性时用下划线,包名则倾向不用。smtp lib等排版也不能直接当导入语句。模块拆分后可在包入口重新导出公共接口,但要检查循环依赖和导入时执行的副作用。 详见模块名称兼顾清晰与导入稳定。
Pylint能检查命名、未使用导入、重复和签名等问题,但评分只是提示,不能直接等同质量。包入口为重新导出而导入等情况需要按接口意图判断。可用pylint –generate-rcfile建立配置起点,再把团队实际采用的规则落实为检查配置;本次未安装或运行Pylint,也未下载书中脚本。 详见静态检查报告要结合项目解释。
原书pep8工具后来更名为pycodestyle,主要检查部分布局风格;它不穷尽PEP 8,也不自动判断语义命名是否恰当。Flake8把风格与Pyflakes等静态检查组合,并可扩展检查。选择工具要按规则范围、配置与解释器兼容性,而非只按报告长短;书中不需配置和任何差异即错误的表述过强。 详见风格工具只覆盖可检查的规则。
原书依据 · 24 处
- 第4章 选择好的名称 4.1.1 为何要遵守PEP 8以及何时遵守PEP 8 · 查看原书依据
- 第4章 选择好的名称 4.1.2 超越PEP 8——团队的风格指南 · 查看原书依据
- 第4章 选择好的名称 4.2 命名风格 · 查看原书依据
- 第4章 选择好的名称 变量 · 查看原书依据
- 第4章 选择好的名称 变量 · 查看原书依据
- 第4章 选择好的名称 变量 · 查看原书依据
- 第4章 选择好的名称 变量 · 查看原书依据
- 第4章 选择好的名称 变量 · 查看原书依据
- 第4章 选择好的名称 4.3.1 用“has”或“is”前缀命名布尔元素 · 查看原书依据
- 第4章 选择好的名称 4.3.2 用复数形式命名集合变量 · 查看原书依据
- 第4章 选择好的名称 4.3.3 用显式名称命名字典 · 查看原书依据
- 第4章 选择好的名称 4.3.4 避免通用名称 · 查看原书依据
- 第4章 选择好的名称 4.3.4 避免通用名称 · 查看原书依据
- 第4章 选择好的名称 4.3.5 避免现有名称 · 查看原书依据
- 第4章 选择好的名称 4.4.1 通过迭代设计构建参数 · 查看原书依据
- 第4章 选择好的名称 4.4.2 信任参数和测试 · 查看原书依据
- 第4章 选择好的名称 4.4.2 信任参数和测试 · 查看原书依据
- 第4章 选择好的名称 4.4.3 小心使用 *args 和 **kwargs 魔法参数 · 查看原书依据
- 第4章 选择好的名称 4.4.3 小心使用 *args 和 **kwargs 魔法参数 · 查看原书依据
- 第4章 选择好的名称 4.4.3 小心使用 *args 和 **kwargs 魔法参数 · 查看原书依据
- 第4章 选择好的名称 4.5 类的名称 · 查看原书依据
- 第4章 选择好的名称 4.6 模块和包的名称 · 查看原书依据
- 第4章 选择好的名称 4.7.1 Pylint · 查看原书依据
- 第4章 选择好的名称 4.7.2 pep8 和 flake8 · 查看原书依据
Python高级编程(第2版) · 第5章 编写一个包
包把代码、依赖、版本和安装所需信息一起交付给使用方。前几章解决源码如何表达,这里开始解决别人如何取得同一个组件;源码包与二进制分发、元数据和入口点分别描述不同交付环节。构建产物不等于部署完成,下一章还要处理配置、服务与运行状态。
把闭源项目或组件变成有元数据的发行包,可以沿用安装和依赖管理机制部署到不同环境;是否公开源码与是否规范打包是两件事。组件拆分有助于复用和独立交付,但仍需识别组件边界和版本约束,不能只按目录数量判断可复用程度。 详见打包也服务于内部部署。
pip负责安装,虚拟环境隔离项目环境,构建工具与后端生成发行物,Twine等负责上传。原书distutils、setuptools、egg、wheel和Warehouse的演变描述属于当时生态;工具选择应回到PyPA维护的打包指南核对。不能把仓库实现尚待替换等历史预测继续当当前状态,也不把后端与上传工具混成同一职责。 详见打包工具要分清角色与年代。
项目名、版本、说明、依赖和包发现等元数据让构建、安装及仓库展示能够协作。原书setup.py通过setup调用提供它们,setup.cfg保存可重复使用的配置。当前也可用pyproject.toml表达项目数据;setup.py仍可作Setuptools配置,但将其直接当命令行工具运行的旧工作流已弃用,应区分文件形式与执行方式。 详见项目元数据构成分发接口。
把构建和分发选项放在项目配置中,能使团队和用户看清实际生成方式,减少依赖个人机器上的临时命令。原书setup.cfg展示命令默认值;quiet只是控制输出,不应因追求安静而隐藏诊断。universal标记也不是自动让代码兼容所有Python版本,必须先满足实际兼容条件。 详见构建配置应由版本库承载。
MANIFEST.in用包含和排除规则补充源发行物文件选择,适用于历史Setuptools工作流。文件在源码目录中不代表它一定进入sdist,进入sdist也不自动证明装好的包会包含运行时数据。教材recursive-include示例还缺少清楚的目录与模式分工,不能只复制便认定资产完整;真实构建后需检查发行物内容。 详见源发行物文件须显式核对。
Trove分类器以分层字符串描述开发阶段、目标环境和受众等信息,帮助用户发现包。维护者应让声明对应真实支持范围,不能由贴上某Python版本或平台标签就推出兼容性已经验证。书中608个分类器是写作时统计,不用作当前数量;旧命令列表与分类器清单也需按所用工具版本查询。 详见分类标签是声明而非验证。
模块内版本与发行元数据若各手写一份容易漂移;可以从选定来源派生另一处。原书VERSION元组拼字符串服务于简单编号,不覆盖所有预发布、后发布和本地版本比较;PEP 440的规则也不能简单用普通字符串或任意元组比较代替。version惯例不等于每个可导入包都必须具备该属性。 详见版本号尽量保持单一来源。
构建时直接import目标包,可能因依赖尚未安装而失败,甚至触发初始化副作用。原书改读VERSION行再eval,虽然避免直接导入,却仍执行了源文本,并假设固定布局和单行格式。它是取元数据的一种历史样板,不是安全通用解析器;版本来源的读取方式应与选用后端的配置能力匹配。 详见构建取版本避免执行无关代码。
项目说明应在仓库页面上正确渲染,保持源码README与发布说明一致可减少维护。原书称PyPI只支持reStructuredText已过时:当前项目元数据可声明Markdown README。其pypandoc转换和回退只是旧环境策略;只捕获ImportError也不覆盖转换程序缺失或执行失败,不能宣称这段代码确保所有安装都成功。 详见说明格式要随元数据显式声明。
项目元数据中的运行依赖说明该组件正常工作所需的直接依赖及兼容范围;requirements文件可描述完整环境,并含pip安装选项。后者不是只属于未打包项目的历史残留。把文件行直接当install_requires读取,可能把索引选项、递归包含等语法误塞进依赖元数据,需要先区分两个接口的含义。 详见项目依赖与环境清单各有用途。
教材reqs按#截断每行并相对os.getcwd打开文件,只适用于很受限的普通需求行,不是完整requirements解析器。运行目录变化会影响定位,注释截断也可能破坏合法内容;发布元数据不宜依赖调用者恰好在项目根目录。明确来源与支持语法比盲目追求自动复用一份文本更可靠。 详见依赖读取须明确格式与路径。
入口点以组、名称与可导入对象引用描述扩展,消费者按约定发现并加载对象。原书distutils.commands展示构建命令扩展,但现代通用入口点不只属于Setuptools,也不意味着安装后自动运行任意插件。对象引用通常用module:attribute形式表达,教材my.command.module.Class不能不分模块和属性便当通用正确写法。 详见入口点用元数据公开扩展对象。
源码工作目录中能import,不证明发行物已包含全部代码、资源和依赖声明。发布前在隔离环境安装并检查实际包,有助于尽早发现打包问题;这应包括最终发行物,而不只验证源树可编辑安装。原书安装命令用于说明流程,本次没有安装、卸载或发布任何包。 详见发布前验证真实安装结果。
普通安装把项目构建结果接入环境,可编辑安装则让开发源改动更容易被使用。现代常用python -m pip install –editable .替代setup.py develop,具体机制不必就是单个符号链接。Python源码修改通常可直接体现,但元数据、入口点或本地扩展变化可能仍需重装或重建,不能由可编辑就推断所有变化都自动生效。 详见开发安装与普通安装证据不同。
pip uninstall通常依赖安装记录识别应删除内容,不能像原书那样泛称可卸载任何Python包。手工复制、系统包管理器和旧安装方式可能有不同边界。使用隔离环境并确认正在操作的解释器有助于避免误改其他项目;本次只整理教材机制,不执行卸载。 详见卸载也应核对环境与记录。
命名空间包让acme.sql和acme.templating分别维护源码、版本和发行包,同时继续从acme层级导入。发行包边界与导入包层级因而不必一一对应;它不是自动安装所有子组件的元包,也不会自动解决两个组件依赖冲突。普通包也不绝对禁止独立开发,重点是明确共享前缀的合并协议。 详见共享导入前缀可独立分发。
Python 3.3起的PEP 420允许多个路径部分共同提供命名空间。acme目录省去init.py,而子包sql或templating仍可用它定义普通包;参与组件必须一致,不能随意混入抢占前缀的普通包。仅在任意位置新建无初始化文件目录,并不保证它已在导入搜索范围内且被正确发现。 详见隐式命名空间需一致布局。
原书显式列出acme.templating,因当时find_packages不发现隐式命名空间。当前Setuptools有find_namespace_packages及相应配置能力,不能把历史限制写成永远必须手列。项目实际构建后仍应检查被包含的包,自动发现不是任意源树布局都正确的保证。 详见包发现规则要匹配布局。
旧工程可能通过namespace_packages和pkg_resources.declare_namespace声明共享前缀;这属于历史Setuptools机制,不能再标为面向未来的默认方案。PyPA文档记载pkg_resources已在Setuptools 82.0.0移除。维护时先确定所有参与组件的机制和工具版本,再协调迁移,不能只改一个init.py便假定其他组件继续可导入。 详见旧命名空间不能随意混搭。
把构建和上传分开,可以在发布前检查实际将交付的文件,而不用上传时重新生成不可核对的版本。教材Twine相对setup.py upload的价值在于职责分离和安全传输;当前不应继续采用直接运行setup.py构建/上传的旧命令。PyPI也不要求或支持先用twine register注册包,这与原书流程不同。 详见先构建验证再上传同一产物。
.pypirc可配置Twine等上传工具的仓库与认证信息,明文password字段有泄露风险,可选择工具支持的凭证存储方式。它不是所有安装和发布工具共同读取的唯一配置,pip不能由书中泛称就推断会读取同一文件。上传与下载索引、测试仓库与正式仓库也要分清,旧www.python.org/pypi地址不作当前上传目标。 详见仓库地址与凭证按工具核对。
sdist携带构建项目所需的源材料;包含本地扩展时,安装方可能仍需编译器、头文件与构建依赖。源代码可分发不等于任意机器都能安装,也不能把sdist简单说成只有Python源文件。检查声明与归档内容、实际构建环境及版本号,才有依据判断交付是否完整。 详见源发行物把构建责任留给环境。
原书build_py、build_clib、build_ext与build_scripts分别处理Python模块、本地库、扩展和脚本,说明一次构建可有不同工具链。命令与内部实现属于历史后端流程,不是每个现代项目都必须直接逐项调用。脚本解释器指令应为#!,原文!#顺序错误;头文件与编译器也必须匹配目标解释器和平台。 详见构建阶段按不同产物分工。
wheel可让安装方复用预构建结果,尤其减少本地扩展现场编译负担,但仍须匹配Python实现/版本、ABI与平台。原书Linux没有平台wheel的结论已过时,现有manylinux和musllinux等标签。兼容标签是选择依据,不自动修复错误构建或未打包的系统依赖;不能把某机生成的二进制泛称到处可用。 详见预构建轮包受兼容标签约束。
wheel安装通常不需要运行源码包的setup.py构建步骤,缩短安装路径并帮助缓存。它仍包含将来可能运行的Python或本地代码,不能把避免安装期构建误解为包已安全或不会执行任何代码。纯Python项目也可以交付wheel,不必遵从原书只选sdist的过强建议;本次没有构建或安装发行物。 详见轮包免构建不等于执行可信。
#!/usr/bin/env python在支持的启动路径中通过env查找解释器,不把Python或应用依赖一起分发。目标上是否有env、哪个python被解析、用户怎样启动都影响结果。原书操作系统普遍预装Python与Windows绝无shebang支持的绝对说法不能泛化到今天;这里只保留它与捆绑运行时交付的区别。 详见脚本指令仍依赖目标运行环境。
将解释器、项目和所需依赖一起分发,可以降低最终用户安装语言环境的负担,适合GUI等直接启动场景。它增加的是交付便利,不自动提供源代码保密。工具、平台、分发大小和维护成本仍需权衡,不能把独立程序称为Windows上唯一合理的方式。 详见独立程序主要改善使用体验。
独立程序工具需要收集运行时所需的模块、库和数据;项目早期就试建能尽快暴露动态导入或资源缺失。PyInstaller能自动分析很多依赖,但不能据成功生成可执行文件就认定任意运行路径齐全,必要时需补hidden imports、数据和钩子。原书最先进、支持全部列举平台的评价属于当时版本。 详见冻结打包要尽早验证依赖。
教材PyInstaller和cx_Freeze要求在相应目标系统中构建,提示运行时、架构和本地扩展必须匹配。应按目标平台组织构建与实际运行验证,不把一次构建等同跨平台产物。Vagrant或虚拟机只是准备环境的方法之一,也不能保证任意主机都能虚拟出任意目标操作系统。 详见目标平台决定构建和验证矩阵。
PyInstaller默认目录模式把可执行文件与解释器库等依赖放在一起,教材dist/myscript中的DLL也是产物的一部分。只拷贝exe可能导致目标端缺依赖;应交付并测试完整发行物。–onefile改变打包形式,把收集内容封装到单个启动文件,不表示程序因此完全独立于操作系统条件。 详见目录发行物必须整体交付。
PyInstaller生成的.spec记录分析、数据、本地库、隐藏导入和可执行文件等构建设置,复杂项目可维护它并按该文件重建。它是可执行的Python构建配置,应与源码一起管理和理解。书中具体字段与文件树属于旧版,不能不核对版本就声称所有命令行开关和内部字段一一固定对应。 详见构建规格保存可重复的选择。
原书比较PyInstaller、cx_Freeze及分别面向Windows和macOS的py2exe/py2app,主要在构建配置、平台和产物形式上取舍。安装困难、文档缺失等是写作时评价,不作为当前质量结论。混合setup样板中app等参数也需按具体工具契约核对;替换工具后必须重新验证资源和启动行为,不能只改工具名。 详见冻结工具选型要看实际适配。
冻结产物仍可能暴露字节码和可恢复逻辑;删文档、混淆或修改解释器能增加逆向成本,也增加构建维护和排障成本。原书描述提取、解释字节码和重建源码是概念过程,不是所有工具的固定步骤;混淆也不能保证结果没有价值。不向用户分发敏感逻辑可改变暴露面,但服务端交付仍需自身安全保障。 详见冻结与混淆都不构成保密保证。
原书依据 · 33 处
- 第5章 编写一个包 5.1 创建一个包 · 查看原书依据
- 第5章 编写一个包 5.1.1 Python打包工具的混乱状态 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.2 项目配置 · 查看原书依据
- 第5章 编写一个包 5.1.3 自定义 setup 命令 · 查看原书依据
- 第5章 编写一个包 5.1.4 在开发期间使用包 · 查看原书依据
- 第5章 编写一个包 5.1.4 在开发期间使用包 · 查看原书依据
- 第5章 编写一个包 5.1.4 在开发期间使用包 · 查看原书依据
- 第5章 编写一个包 5.2.1 为什么有用 · 查看原书依据
- 第5章 编写一个包 5.2.2 PEP 420——隐式命名空间包 · 查看原书依据
- 第5章 编写一个包 5.2.2 PEP 420——隐式命名空间包 · 查看原书依据
- 第5章 编写一个包 5.2.3 以前Python版本中的命名空间包 · 查看原书依据
- 第5章 编写一个包 5.3.1 PyPI——Python包索引 · 查看原书依据
- 第5章 编写一个包 5.3.1 PyPI——Python包索引 · 查看原书依据
- 第5章 编写一个包 5.3.2 源代码包与构建包 · 查看原书依据
- 第5章 编写一个包 5.3.2 源代码包与构建包 · 查看原书依据
- 第5章 编写一个包 5.3.2 源代码包与构建包 · 查看原书依据
- 第5章 编写一个包 5.3.2 源代码包与构建包 · 查看原书依据
- 第5章 编写一个包 5.4 独立可执行文件 · 查看原书依据
- 第5章 编写一个包 5.4.1 独立可执行文件何时有用 · 查看原书依据
- 第5章 编写一个包 5.4.2 常用工具 · 查看原书依据
- 第5章 编写一个包 5.4.2 常用工具 · 查看原书依据
- 第5章 编写一个包 5.4.2 常用工具 · 查看原书依据
- 第5章 编写一个包 5.4.2 常用工具 · 查看原书依据
- 第5章 编写一个包 5.4.2 常用工具 · 查看原书依据
- 第5章 编写一个包 5.4.3 可执行包中Python代码的安全性 · 查看原书依据
Python高级编程(第2版) · 第6章 部署代码
部署让已构建的软件在指定环境中成为可用服务。它连接包的交付物、配置和依赖,再管理进程、日志与发布切换。发布路径切换可以缩小代码替换窗口,但数据变更和外部依赖未必能随代码一起回退,因此需要分别定义成功信号、观察办法和失败处置。
部署不只是运送代码,配置、服务依赖、进程生命周期和观测能力都影响用户实际获得的行为。把这些约定写清并自动化,有助于新成员接手和开发运维协作。原书把DevOps概括为特定部署职位过窄;这里保留跨职责理解运行环境的主张,不把每名开发者都应有生产权限当要求。 详见运行环境也是产品的一部分。
十二要素从代码库、依赖、配置、后端资源、构建发布运行、进程、端口、并发、易处理性、环境接近、日志和管理任务等方面检查服务设计。它强调可重复交付、无状态进程与清楚的运行边界,适合软件服务语境;不是任何桌面应用的强制模板,也不应只为了符合口号而牺牲可工作的系统。 详见十二要素提供部署检查视角。
远程执行工具把多台机器上的命令变成可重复步骤,配置管理则更关注环境期望状态,两者可组合。把手工命令搬进脚本并不会自动得到幂等、回滚或多主机一致性,需要明确失败后已做了什么、何时可重试。原书两次后就自动化是经验提示,不是无需评估成本的定律。 详见部署自动化要保留失败语义。
Fabric通过SSH组织远程命令,教材fabric.api、全局env和@task属于旧接口。当前官方资料已展示Connection等接口和Python 3支持,因此原书Fabric尚无Python 3正式版、Fabric 2很难发布等判断只作历史背景。实际使用前应按版本迁移脚本,并理解远端shell与引用规则,而不是照抄旧fabfile。 详见远程执行示例要核对版本。
教材为每个版本创建虚拟环境,再以临时符号链接替换current,使进程管理配置引用统一入口。同一文件系统支持的原子重命名可避免读到半个链接更新,但不等于安装、数据库和多主机部署整体原子。ln/mv的-T等选项依赖目标工具,固定next名称也未协调并发部署;失败清理与状态检查仍须另行设计。 详见版本目录切换只改变路径入口。
fab deploy把构建上传、创建环境、安装、切链接和重启连起来,展示自动化骨架而非完整发布协议。原例还含旧setup.py上传、未加密私库地址、拼接shell路径及兼容性问题;未验证版本安装成功和服务就绪就切换也不能宣称安全。应按实际返回和健康状态决定后续,本次没有连接主机或执行部署。 详见一条部署命令不证明流程可靠。
私有索引可分发不公开的组件,复用包元数据与安装机制;镜像或缓存则减少部分上游下载依赖。自己托管并不自动保证可用和安全,服务本身也要维护。教材pip install –update不是正确升级选项,应区别–upgrade与固定版本部署;每次任意升级最新版本也不等于可重复发布。 详见私有包索引承担内部交付边界。
vendoring把外部库源码放进项目,可能用于控制特定兼容关系,但也把更新、漏洞修复、许可证与重复副本协调责任带进项目。它不能替代依赖管理的全部职责。原书requests、six等目录位置属于其时版本,不能从历史例子推出当前同名项目仍保留相同内嵌结构。 详见内嵌依赖需要自行承担维护。
完整镜像准备较广的上游内容,按需缓存只保留已请求的发行物,通常成本较低;上游中断时,未缓存的新依赖仍可能无法获取。原书devpi定期自动下载所有新版和状态完全一致的说法不能作保证,缓存策略、所需具体文件和元数据需逐项确认。仓库容量是动态事实,不用数百GB旧估计做规划。 详见镜像与按需缓存覆盖面不同。
教材说在.pypirc配置index-url即可控制下载,混淆了上传仓库配置与pip安装索引。应使用pip自身支持的–index-url或配置接口,并明确私有与公开来源的选择。额外索引不是天然优先的可信私库通道,安装来源及名称冲突需要核对,不能只换URL便认定供应链已受控。 详见索引设置应归属实际安装工具。
前端编译、压缩、本地化与静态资产预处理可在受控构建环境完成,再交付产物,减少线上CPU/内存争用、额外工具链和每台机器重复工作。需要现场执行的配置与数据库迁移则应识别出来,不能把所有步骤强行塞进构建;生成结果是否入库也是工程决策,不是语言规定。 详见构建重活尽量离开服务主机。
原书覆写build追加消息和SCSS编译,体现把预处理纳入受控构建的思路。样板却在build_scss与build_sass、sass与scss目录及项目拼写间不一致,并在依赖尚未取得前就尝试导入Django。不能由列出cmdclass和setup_requires推断可直接构建成功;现代后端接入和构建依赖要按所用工具重做验证。 详见自定义构建步骤须验证接入点。
教材解压sdist后看到.mo与.css,说明构建结果应进入可交付文件,而不是只留在临时目录。它不证明wheel或安装后也包含相同资源,更不证明模板查找和服务运行正确。需要按实际交付物检查包含规则和加载位置,书中目录树只是示例证据,本次没有构建验证。 详见归档内容和安装结果要分别查。
把Django manage.py的核心操作放进main,再用console_scripts登记,可让已安装项目以稳定命令运行迁移等管理任务。入口点只负责找到调用对象,实际配置模块、依赖和命令参数仍需正确。教材runserver是管理命令示例,不能将其直接推广为生产服务部署方式。 详见管理命令可通过统一入口暴露。
前端编译器、翻译工具和依赖版本不同,会让两人从相同代码生成的发行物不同。把构建交给明确环境的持续交付流程有助于控制这种差异,并把测试结果绑定到将发布的产物。采用Jenkins或Buildbot不自动保证所有门禁实际执行,应保存环境与产物对应证据;构建运行分离也不等于自动实现无状态进程。 详见同一源码仍可能产生不同包。
目录选择应结合系统要求、运行用户、权限和维护方式,并在基础设施中保持可解释的一致性。把约定写成相关成员都知道且可访问的文档,能减少临时猜测。原书未给出通用安装路径,不补造唯一路径;作者遇到不一致发行版的经验也不能当忽视系统规范的充分理由。 详见部署路径约定需要共享可查。
新版本建立新虚拟环境,而不是原地覆盖旧环境,有助于把代码和依赖保持为可识别版本,并保留旧环境供故障时切回。这样不会自动回退数据库、外部消息或持久化数据,旧环境也需有兼容策略和保留期限。版本目录变化还会影响进程重载路径,应把切换与加载机制一起验证。 详见每版环境保留清楚的回退边界。
长期服务需要跟踪状态、按策略重启、收集输出、设置环境和运行身份,不能只靠一直连着的SSH会话。Supervisor、Circus或系统服务管理能力需要按部署环境选择,不能把nohup等工具的存在当完整服务治理。原书Supervisor无法运行Python 3的结论已过时;实际选型仍需读对应版本文档。 详见服务生命周期交给进程管理。
Circus watcher用cmd指定Gunicorn入口,numprocesses控制其管理的进程数;Gunicorn还可能自行管理worker,两层数量不能简单混同。start/status等命令帮助控制生命周期,但active状态不证明依赖可用或应用已经能处理请求,需要应用层就绪证据。书中2016日志是演示,不是本次服务运行结果。 详见进程活着不等于服务已就绪。
为不同服务使用独立、权限受限的账户,可限制一个进程受控后影响其他应用和文件的范围。原书用户空间与非超级用户的用词不精确:root进程也通常运行在用户空间;真正关注的是权限和身份边界。nobody也不是所有应用共享的最佳身份,专用账户配合必要资源权限更清楚。 详见运行身份应按应用收敛权限。
反向代理可承担TLS终止、静态资源、虚拟主机、缓冲、缓存或负载分配,让应用在内部端口或套接字上提供服务。每项能力依赖实际配置,不能由位于代理之后就认定全链路已安全或性能必然提升;跨机器的代理到应用链路也应按威胁与网络条件决定保护方式。 详见反向代理集中处理接入职责。
同步worker被慢客户端长时间占据时,可用处理能力下降;可缓冲接入的代理能分担部分风险。原书把Gunicorn一概说成不能处理慢客户端过宽,应结合worker类型、代理是否缓冲、流式响应及超时配置评估。非特权端口界线也不是0—1000,通常讨论低于1024且受系统策略和能力配置影响,未必必须让整个应用以root运行。 详见慢连接风险取决于工作模式。
服务收到终止请求后停止接收新工作,并在约定时间内处理已有请求再退出,可减少直接中断。超时、不可恢复错误或外部强杀仍可能终止处理中任务,因此不能承诺所有等待请求必定完成。若全部实例同时退出,新请求仍无处处理,优雅关闭需要和替代容量及接入切换配合。 详见优雅退出给在途请求收尾机会。
Gunicorn HUP让master重读配置、建立新worker并优雅停止旧worker,应用未预加载时也会重新加载代码;不能笼统说任何配置都能更新应用。切current符号链接不保证既有master的解释器、导入路径和依赖自动切到新环境。应验证具体加载位置与超时策略,不把发信号成功当零停机交付证明。 详见重载要确认实际代码与解释器。
系统CPU、内存与流量帮助发现资源瓶颈,访问状态与进程错误呈现请求故障,业务指标则反映用户实际结果。只看其中一层可能漏掉进程健康但业务已失败等情况。监控要对应需要回答的问题,不能因工具默认生成许多图就认定产品已得到充分观测。 详见观测同时覆盖资源和用户结果。
堆栈只能说明某次执行到了哪里,版本、请求背景和错误历史有助于理解何种负载或输入触发问题。错误聚合工具可保存并搜索上下文,仍需控制敏感字段与采集范围;未上报事件不表示没有故障。Web框架把异常变成5xx也不意味着整个进程一定退出。 详见错误上下文帮助定位触发条件。
教材raven.Client、captureException、WSGI包装和logging handler展示错误采集的几种接入层,实际消息行为可能受多层处理影响。Raven已被Sentry-Python替代并归档,不应把旧DSN含secret的形式或示例调用当当前SDK必需配置。迁移时核对自动捕获、重复上报和数据清洗,本次未申请账号或发送错误数据。 详见错误采集接口要按代际接入。
自行运行错误平台可满足数据边界需求,但需要算上存储、升级、容量、人员和灾难时错误洪峰;免费源码不等于免费服务。监控平台自身失效时,错误历史也可能不完整。选择托管或自建应依据组织约束与承载能力,不能用工具常见或鲁棒的评价代替容量验证。 详见自托管监控仍有运行成本。
Munin主机端收集各节点经插件提供的指标并展示趋势,适合对系统与常见服务进行观测;自定义业务事件可能还需应用暴露或中间聚合。教材把节点发送写成单一推送方向过于简化,具体采集协议和组件版本需核对。默认插件覆盖不能证明业务关键事件已被采集。 详见主机指标与业务指标入口不同。
StatsD接收计数器、计时器等事件,再送往存储和展示系统;应用可用简单客户端记录事件。基于UDP意味着发送端较轻,却没有逐条送达确认,不能把这种统计指标当严格审计台账。计时单位、采样、聚合窗口和丢包都影响解释,教材320示例指毫秒,未在本机发包。 详见低开销指标传输不保证送达。
原书StatsD、Graphite和Grafana组合把事件聚合、时间序列存储与交互展示分开,能灵活定义业务图,但组件越多,配置和故障定位工作也越多。Carbon、Whisper和Graphite Web是教材具体链路,并非Grafana只能配Graphite。采用默认主机图作辅助有价值,但不能当已设计好全部业务告警。 详见采集存储与展示各需运维。
把日志看成事件流,可把应用产生信息与环境的收集、路由、保留分开;输出到stdout也不意味着必定落盘,外部进程可直接转交采集器。事件可以用于调试、审计、统计甚至产品处理链。标准输出本身不保证未缓冲、跨进程总顺序或持久化,需明确实际收集契约。 详见日志是事件而不只是文件。
重命名日志文件不会自动让已打开的写入描述符转向新文件,写入进程需要适当重开或采用其他轮转方案。copytruncate复制后原地清空以保留描述符,但复制与截断之间有丢失新事件的窗口,不能说它天然更可靠;重开信号也要匹配实际进程。轮转压缩是保留管理,不等于已经能检索分析。 详见轮转策略须协调写入描述符。
Logstash或Fluentd可采集并解析事件,Elasticsearch可索引和聚合,Kibana可查询展示;跨节点集中入口有助于把事件关联起来。这是原书的一组组合,不代表后端几乎只能选Elasticsearch。当前Logstash文件输入已能按配置处理重命名等轮转,教材必须依赖copytruncate的结论不应继续照搬。 详见集中日志分开采集索引查询。
结构化事件减少后端反复解析自由文本的歧义;Fluentd可从tail、UDP、TCP、Unix套接字、HTTP等入口接收。绕过磁盘可减少部分I/O,但内存缓冲、网络中断、重试和背压会改变丢失与重复边界;TCP也不自动等于端到端持久送达。日志可能由采集器转运stdout,复杂度收益应按实际负载评估。 详见结构化传输须权衡缓冲与丢失。
原书依据 · 35 处
- 第6章 部署代码 6.1 十二要素应用 · 查看原书依据
- 第6章 部署代码 6.1 十二要素应用 · 查看原书依据
- 第6章 部署代码 6.2 用Fabric进行自动化部署 · 查看原书依据
- 第6章 部署代码 6.2 用Fabric进行自动化部署 · 查看原书依据
- 第6章 部署代码 6.2 用Fabric进行自动化部署 · 查看原书依据
- 第6章 部署代码 6.2 用Fabric进行自动化部署 · 查看原书依据
- 第6章 部署代码 6.3 你自己的包索引或索引镜像 · 查看原书依据
- 第6章 部署代码 6.3 你自己的包索引或索引镜像 · 查看原书依据
- 第6章 部署代码 6.3.1 PyPI镜像 · 查看原书依据
- 第6章 部署代码 6.3.1 PyPI镜像 · 查看原书依据
- 第6章 部署代码 6.3.2 使用包进行部署 · 查看原书依据
- 第6章 部署代码 6.3.2 使用包进行部署 · 查看原书依据
- 第6章 部署代码 6.3.2 使用包进行部署 · 查看原书依据
- 第6章 部署代码 6.3.2 使用包进行部署 · 查看原书依据
- 第6章 部署代码 6.3.2 使用包进行部署 · 查看原书依据
- 第6章 部署代码 6.4.1 文件系统层次结构 · 查看原书依据
- 第6章 部署代码 6.4.2 隔离 · 查看原书依据
- 第6章 部署代码 6.4.3 使用进程管理工具 · 查看原书依据
- 第6章 部署代码 6.4.3 使用进程管理工具 · 查看原书依据
- 第6章 部署代码 6.4.4 应该在用户空间运行应用代码 · 查看原书依据
- 第6章 部署代码 6.4.5 使用HTTP反向代理 · 查看原书依据
- 第6章 部署代码 6.4.5 使用HTTP反向代理 · 查看原书依据
- 第6章 部署代码 6.4.6 优雅地重新加载进程 · 查看原书依据
- 第6章 部署代码 6.4.6 优雅地重新加载进程 · 查看原书依据
- 第6章 部署代码 6.5 代码检测与监控 · 查看原书依据
- 第6章 部署代码 6.5.1 记录错误——sentry/raven · 查看原书依据
- 第6章 部署代码 6.5.1 记录错误——sentry/raven · 查看原书依据
- 第6章 部署代码 6.5.1 记录错误——sentry/raven · 查看原书依据
- 第6章 部署代码 6.5.2 监控系统与应用指标 · 查看原书依据
- 第6章 部署代码 6.5.2 监控系统与应用指标 · 查看原书依据
- 第6章 部署代码 6.5.2 监控系统与应用指标 · 查看原书依据
- 第6章 部署代码 6.5.3 处理应用日志 · 查看原书依据
- 第6章 部署代码 6.5.3 处理应用日志 · 查看原书依据
- 第6章 部署代码 6.5.3 处理应用日志 · 查看原书依据
- 第6章 部署代码 6.5.3 处理应用日志 · 查看原书依据
Python高级编程(第2版) · 第7章 使用其他语言开发Python扩展
扩展把Python调用接到其他语言实现,可解决已有库接入或特定计算成本问题。边界两侧的类型、内存所有权、异常和线程约束都要对齐;CPython C API、Cython、ctypes和CFFI提供的边界与构建方式各不相同。性能收益需要后面的测量方法确认,不能由“用C写”直接推定。
Hy等工具可让其他语法接入Python执行环境,共享字节码或AST也不代表语言语义全部相同。原书据此称它完全是同一语言、Python不编译都过强;通常CPython会先编译为字节码。是否受GIL、类型和优化限制还取决于具体实现与构建,不能把教材时代常规CPython的情况说成永恒语言规定。 详见共享虚拟机不等于同一语言。
本地代码的计算函数不会自动成为Python可调用对象,需要把参数、结果、异常和生命周期接入对应接口。手写Python/C API能帮助理解这层粘合,也增加样板与维护责任;Cython等源到源工具可生成部分接口。普通共享库经FFI使用与原生Python扩展是不同接入层,不应只按是否用了C判断。 详见扩展接口连接两种对象世界。
扩展用Python.h声明C API,并将源文件、编译选项与链接依赖交给构建后端。书中Pythoh.h是拼写错误,开发头文件包名和安装位置也随发行版/版本变化。源码发行只是把编译移到安装侧,不代表不需要编译器;已生成的扩展还需匹配解释器、架构与库依赖。 详见头文件和构建目标须相匹配。
C API源码可在新版本编译,不等于旧扩展二进制可直接加载;常规ABI涉及Python小版本、平台和构建选项。Limited API与Stable ABI能在指定兼容范围内减少重编译,但需按目标最低版本和实际使用API构建,不能笼统说只要用了子集就适用于任意3.2以上环境。稳定ABI也不使不同操作系统的二进制互通。 详见源码兼容与二进制兼容分开。
Python/C API主要服务CPython生态,替代实现可能通过兼容层支持部分扩展。原书把PyPI混写进实现列表,应与PyPy区分;当前PyPy有cpyext支持,不能继续声称只有Stackless能处理扩展。兼容程度和性能仍应按具体库验证,能运行某个扩展不代表所有CPython内部假设都通用。 详见扩展支持取决于解释器实现。
先用合适算法和数据结构解决问题,再根据实际性能证据决定是否把关键段移到本地代码。教材RTB广告竞价说明业务时限可能推动优化,但50—100ms等数值只是当时案例,不是当前通用协议保证。把循环改为C不保证端到端更快,调用转换和维护成本也要算入。 详见移植热点之前先验证瓶颈。
成熟的本地库可能包含长期积累的算法和实现经验,接口包装能让Python复用它,而不必重新实现全部逻辑。是否采用手写扩展仍取决于接口边界、数据转换、许可和维护能力;库用C/C++编写只是集成条件之一,不是质量与兼容性保证。 详见绑定现有库避免重复移植。
第三方只提供二进制库时,可用自定义扩展包装,也可用ctypes或CFFI描述接口后调用。后者减少手写Python/C API样板,但仍必须有可调用导出符号、正确ABI与参数定义。并非任何语言生成的动态库都能不经适配直接使用,C兼容接口和运行时依赖是关键条件。 详见动态库接入也可走外部接口。
当核心自定义结构的操作与布局成为瓶颈时,本地实现可能减少Python对象和解释器开销。内置dict/set已有优化不意味着自写C结构就一定更快;需要核对访问模式、内存、错误处理和Python协议兼容。扩展的价值来自具体需求,不是仅因可以自定义就增加一层技术栈。 详见本地数据类型需证明实际收益。
本章Python与C版本在n时返回1,而后面的Cython版本返回n,因此两者计算的序列起点已经不同。递归实现意在展示接口,不是高效算法,不能用它的输出或编译形式证明真实场景加速。比较实现应先对齐基例、输入范围和结果,再评估调用与计算开销。 详见教学基准必须先对齐函数定义。
METH_VARARGS包装函数接收self及args对象,PyArg_ParseTuple按格式把参数写入C变量;”l”表示long并要求传入对应变量地址,成功返回1、失败返回0并设置异常。Py_BuildValue则把本地结果包装成Python对象。原文把解析失败称NULL不精确,后续样板遗漏&n也不能直接复制。 详见参数解析连接对象与本地值。
参数可转换成long,不表示再转unsigned int仍保留含义。负数或超出目标范围的正数可能变成巨大或截断后的值,递归斐波那契会出现不可接受计算量或栈风险;long long结果也有有限范围,C有符号溢出不是Python任意精度整数。只拒绝负数的补丁没有覆盖全部上界与计算资源条件。 详见转换成功还需校验业务范围。
PyMethodDef把公开名称、C函数指针、调用标志和文档字符串联系起来,以空名称哨兵结束数组。函数指针强制转换不改变真实函数签名,标志与实现必须协调。模块定义再引用这个方法表,使装载后的模块公开相应Python调用接口,而不是解释器直接猜测任意C函数。 详见方法表描述调用接口和文档。
PyInit_fibonacci是加载器寻找的初始化符号,简单示例返回PyModule_Create的结果;它不是再次嵌入启动解释器的场合,早期样板额外Py_Initialize不应当必需步骤。名字对应m_name而非原文误写的m_base。m_size=-1代表依赖全局状态并不支持子解释器,不是所有简单模块都可无条件采用的安全默认。 详见模块入口与模块状态各有契约。
METH_VARARGS接收位置参数元组;与METH_KEYWORDS组合时实现接收self、args和kwargs。METH_KEYWORDS不能像书中说的那样独立使用。METH_NOARGS仍采用双参数C签名但第二参为空,METH_O直接给出单个对象;调用约定和方法绑定标志应分别理解,不能用“不与任何标志组合”概括所有情形。 详见调用标志不能任意拼接。
C扩展用错误指示值与线程状态中的异常信息协作;出错时先设置或保留异常,再按接口返回失败标志,调用者检查后传播并清理自己持有的资源。并非所有int函数都以-1失败,参数解析返回0,其他API也要各查契约。只有已真正处理的错误才清除,不能为继续执行随意PyErr_Clear。 详见异常状态和失败返回须一致。
对持有GIL的常规CPython,纯本地计算可用Py_BEGIN_ALLOW_THREADS和Py_END_ALLOW_THREADS暂离Python线程状态并恢复,让其他线程有机会运行。区间内不能随意操作Python对象或API,异常和结果包装应在适当状态下处理。释放锁不自动加速单线程,也不把所调用的本地库变为线程安全。 详见释放锁的区间须隔离对象访问。
教材的GIL说明面向当时常规CPython;从3.13起另有可禁用GIL的自由线程构建,扩展还须声明并满足相应支持条件。不能把无GIL当作移除所有线程状态、对象生命周期和同步责任,也不能据纯C函数存在便声称扩展已支持自由线程。本章没有实现或验证这种迁移。 详见锁机制要按解释器构建判断。
新引用把一份释放责任交给接收方,借用引用通常不新增这份责任,窃取引用则把责任交给被调用方。Py_BuildValue结果直接返回时责任交给Python调用方;self和args等借用值不能随意DECREF。新引用也不必是刚新建的对象,应按每个API契约理解,而不是只凭指针是不是同一个判断所有权。 详见引用所有权决定谁负责释放。
bug先借用list[0],再替换list[1];旧元素释放可能执行del并修改列表,使原借用对象失去存活依据。no_bug通过INCREF/DECREF在使用期间持有强引用,展示跨重入保护。它仍省略GetItem、FromLong、SetItem和打印的失败检查,不能称完整安全实现;这类崩溃也不应指望Python try/except兜底。 详见借用引用跨重入要保持存活。
Cython可把Python风格代码生成C并构建扩展,减少手写C API;cythonize展示与构建工具的集成。普通Python源码、生成C和可选纯Python回退是不同分发策略,需要构建配置实际实现。原书列表第一项把有Cython误写成无Cython,样板也没有实现全部回退分支,不能由文字描述就认定三种安装路径都可用。 详见生成接口仍需对齐构建依赖。
教材用环境变量控制是否从.pyx重新生成C,但extras_require键是cython,安装例却写with-cython,名称不一致。extras表达安装特性不保证在评估构建脚本前就取得Cython,隔离构建依赖还要由后端接口声明。已有生成C时也要管理它与源码的对应版本,不能只靠切后缀避免漂移。 详见运行可选依赖不等于构建就绪。
Cython参数unsigned int可在Python入口拒绝不能转换的负数或过大值,但也改变了任意精度Python整数的输入契约。返回long long的本地递归仍有结果溢出和计算量问题;参数类型安全不等于函数整体数学正确。兼容性应按每个边界确认,不笼统说普通Python与编译版本永远无行为差异。 详见静态本地类型同时收窄数值域。
把递归核心移到cdef fibonacci_cc,可让内部步骤以C类型和本地调用表达,再由Python入口包装结果。这说明应找清边界转换发生在哪,而不是仅看函数参数写了类型。具体生成代码与优化随Cython版本变化,原书每次递归必定走完整Python包装的描述不能当所有版本保证,也没有实测加速倍数。 详见本地调用减少重复对象转换。
函数声明nogil表示可在未持GIL时调用,本身不释放锁;with nogil才建立对应区间。教材先在区间内算result,却又return fibonacci_cc(n),重复计算并未返回已算结果;前一个未标nogil的声明也不能直接假定可在区间内调用。还需按版本明确异常检查和重新获取锁的成本,不能只加关键词便声称并行安全。 详见可无锁调用与释放锁须分开。
扩展让团队同时维护Python对象语义、本地内存、工具链和边界协议,问题定位可能跨越多层调试器。技术选型应将人员经验、持续维护和贡献门槛计入成本,不能只比较热循环速度。原书语言流行度排名和“很少程序员会C”的观察属于作者背景,不作当前人才市场事实。 详见混合语言增加交接与调试成本。
错误引用与指针操作可能泄漏内存,或直接使解释器进程崩溃,不能保证转成可捕获的Python异常。Valgrind等外部工具属于不同的调试工作流,静态类型检查也不能证明内存安全。本次仅分析机制与样板缺口,没有编译、触发崩溃或宣称内存测试通过。 详见本地内存错误可越过异常机制。
ctypes和CFFI可用Python层声明连接本地库,省去很多手写引用管理;某些模式不需编译专用扩展,另一些仍有编译步骤。原书称ctypes始终可用也过强,它是可能随发行构建缺失的标准库可选模块。调用者仍需掌握C类型、ABI、资源所有权与库生命周期,减少样板并不移除越界和进程崩溃风险。 详见外部调用减少样板却保留风险。
ctypes.CDLL面向常规C调用,在调用期间通常释放GIL;PyDLL保留GIL并检查Python错误指示,服务于直接调用Python API的特定情形。Windows加载器还区分调用约定与错误语义,不能只按文件后缀选择。find_library帮助定位但可能失败,得到库路径也不证明库版本和依赖与应用契约一致。 详见加载方式决定调用约定与锁。
ctypes不声明restype时通常假定返回C int,指针或更宽返回值因此可能被错误解释;argtypes也应按真实原型声明,size_t不能只因Python侧是int就省略ABI核对。c_int等包装类型与数组元素宽度有关,Python浮点映射到c_float后显示舍入并非自动错误。源代码表不能代替目标库头文件与平台定义。 详见外部函数原型应显式对齐。
CFUNCTYPE用返回和参数类型创建可被C调用的Python包装,cdecl与stdcall回调需匹配具体接口,而非仅看加载器名称。C若保存回调指针,Python侧必须让对应包装对象持续存活;同步qsort临时传参的示例不能推广为异步注册也安全。异常穿越本地回调边界也需专门处理,不能只认为Python函数能调用就足够。 详见回调要兼顾类型和存活时间。
qsort比较器以负、零、正表达小于、相等、大于;教材a[0]-b[0]对演示中的0—4可用,但对C int全范围可能在回调结果转换时越界或改变符号。可按大小比较产生-1/0/1,并保持一致顺序关系。数组原地变化和调用日志用于展示回调,不代表比较顺序固定或qsort必须采用某一具体算法。 详见比较回调应返回稳定的符号。
CFFI用cdef声明qsort原型,以dlopen取得库,用new创建数组、cast解释元素指针,再把Python比较器包装为回调。它把类型说明集中为C样式声明,不自动验证所有运行库契约。dlopen(None)依赖平台符号可见性,不能保证任意系统都有所需qsort;示例回调还省略了原型的const,不能由“更精确”推断声明已经完全一致。 详见声明式外部接口仍要守住边界。
CFFI既有运行时ABI调用,也有借编译器的API模式,因此不是永远零编译的工具。原书ffi.callback属于旧式回调,当前文档在out-of-line API模式建议extern Python;采用何种方式仍须匹配部署条件。回调cdata拥有相应资源,C代码可能再调用时要保持其存活,不能因为定义过Python函数就任由包装对象被回收。 详见外部接口模式影响构建和回调。
原书依据 · 34 处
- 第7章 使用其他语言开发Python扩展 第7章 使用其他语言开发Python扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.1 使用C或者C++编写扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 C或者C++扩展的工作原理 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 C或者C++扩展的工作原理 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 C或者C++扩展的工作原理 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.2.1 提高关键代码段的性能 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.2.2 集成现有的使用不同语言编写的代码 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.2.3 集成第三方动态库 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.2.4 创建自定义数据类型 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3 编写扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.1 纯C扩展 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.2 Cython · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.2 Cython · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.2 Cython · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.2 Cython · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.3.2 Cython · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.4.1 额外的复杂性 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.4.2 调试 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.5 无扩展的动态库接口 · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.5.1 ctypes · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.5.1 ctypes · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.5.1 ctypes · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.5.1 ctypes · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.5.2 CFFI · 查看原书依据
- 第7章 使用其他语言开发Python扩展 7.5.2 CFFI · 查看原书依据
Python高级编程(第2版) · 第8章 管理代码
版本控制记录可追踪的修订,分支组织同时推进的工作,合并把不同修改重新协调起来。集中与分布式架构对本地历史和远端协作的安排不同;持续集成再把共同检查接入提交过程。这里建立的是变更与协作的基础,后续文档和测试仍需由团队维护,提交成功本身不证明行为正确。
集中式版本控制以服务端保存共享修订,开发者在本地修改后提交,其他人更新以接收变化。图8-1至8-3展示过期工作副本、合并和分支回流;分支允许未完成工作分开推进,而不是必须等功能完全结束才保存。原书把分支必然噩梦和中央架构只因惰性存活的说法属于评价,不作架构事实。 详见集中仓库协调共享历史。
Joe提交后Pamela需更新并整合自己的更改,版本工具可能自动完成文本合并,也可能需要人工处理。即使文件能无冲突合并,两个修改仍可能在业务行为上不兼容;分支减少相互干扰并不消除最后集成验证。原书图8-3箭头表达分支变化回到主线,不能把修订7完成理解成已经验证最终行为。 详见无文本冲突不代表集成正确。
DVCS让开发者拥有可独立提交的仓库,再按团队规则推送或拉取变化。已提交的本地历史可离线查询与修改,不必等公共服务恢复后一次提交大块工作。分布式不保证所有数据都有远端备份,未提交、未推送或被忽略内容仍有各自保留边界,不能只因有仓库就视作完整备份。 详见本地历史让离线工作可留痕。
DVCS的仓库之间交换提交与对象,不只是复制最新文件。原书把所有修订标识概括为仅本地编号过宽,Git提交可用内容相关的对象标识跨仓库引用,标签则为选定对象提供人可读名称。团队仍应明确哪些人能接纳变化、何处是约定的权威上游;所谓不需要主服务器不等于禁止设置共享中心。 详见共享提交需稳定标识和权限。
教材不稳定、稳定和发布仓库把贡献、审查与正式交付分开,也可用受保护分支等方式实现相近责任。关键是变化由谁验证与接纳,及发布依据能否追溯;不是仓库越多就治理越好。内核受信任维护者链是原书例子,不表示必须给每个组织复制同一拓扑。 详见接纳策略可由仓库或分支表达。
离线提交、分支成本、权限、文件类型、现有流程与工具适配共同影响选型。原书偏好DVCS,但文件锁对难以合并的二进制资产可能有用途,不能一概当反模式;集中式也不能只因架构不同就推断所有项目效率必低。保留作者的适用理由,同时把激烈措辞与可核验机制分开。 详见版本控制选择看协作约束。
熟悉工具的人员、培训资料和集成生态可降低接入成本,这就是书中为Git辩护的网络效应理由。它不证明某工具功能对所有项目最好,流行度和其他工具排名也会变化。原书CPython仍用Mercurial并猜测迁移的段落属于历史背景,不应照写成当前项目托管状态;学习成本需结合团队实际评估。 详见工具生态影响团队采用成本。
Git flow用develop推进新工作、feature隔离特性、release准备发行,再将正式版本合入主线并打标签;hotfix从正式线修复并回流开发线。多条线的价值在于支持不同成熟度与维护版本,成本是分支协调和遗漏回流风险。它是分支模型而非Git本身强制标准,也不是部署自动安全的保证。 详见多发布线需要明确回流规则。
GitHub flow把变化放到短期分支,通过PR讨论、检查和审查后合回主线,降低长期并行发布线的复杂度。主线可部署是团队要维持的约定,不是分支名自动提供的性质;标签与版本发布仍可结合使用。原书图8-6的快进和立即部署是示例选择,既不强制特定合并方式,也不排斥带版本号的项目。 详见主线可部署依赖验证门禁。
需要维护多个公开版本的产品与频繁交付单一服务,可能需要不同分支策略。Git flow作者在2020反思中也提示持续交付可选择更简单流程;不能把模型当万能药。合并提交、快进等操作影响历史呈现与回退,应按审查和追溯需要选择,不必把所有争论都归为毫无可判依据的个人偏好。 详见分支复杂度应匹配发布需求。
CI在代码变化后自动执行约定检查,记录针对某个修订、环境和配置的结果,降低依赖个人记得运行测试的风险。通过只证明检查覆盖的行为,不能宣称完全没有未知错误;Python构建还可能包含打包、扩展和资产步骤,不能把构建与测试在所有项目中等同。CI也不以采用DVCS为成立条件。 详见持续集成把反馈绑定到修订。
特性分支通过检查,不保证和最新主线合并后仍通过。CI可先验证拟合并结果,再接纳同一结果;如果等待期间目标分支改变,应重新确认组合版本,不能将旧检查结论迁移到新提交。变基是重新组织提交的方法之一,不会自动解决所有文本和语义冲突。 详见检查合并结果而非仅分支头。
逐提交执行检查有利于尽早定位回归,只有一批末端结果则可能增加追查成本。全量长测需要算上排队、并行资源与反馈速度,不能仅以硬件便宜为由无限扩容。可按风险分层安排快速必需检查和完整验证,但应明确哪些提交与组合已经得到何种证据,避免跳过被误称通过。 详见测试频率需兼顾定位与容量。
Python版本、操作系统、数据库与后端版本形成多维测试组合,Tox等工具可组织多个解释器环境。声明支持某组合应有对应证据,任一必需组合失败不能由其他组合通过掩盖。组合爆炸时可有据取舍,但需明确未验证范围;Django1.9.3的三个解释器是原书历史例,不作当前支持列表。 详见支持矩阵要对应真实承诺。
持续交付追求在需要时能可靠地发布,依赖CI、自动化部署和可辨识的候选版本。人工验收或授权可以保留在流程中,此时准备验收与准备生产发布要分清。按钮由人触发也不妨碍部署步骤自动执行;不能把自动化存在当实际门禁已满足或所有版本随时都可发布的证明。 详见持续交付保留发布决策点。
持续部署将满足既定条件的变更自动部署到生产,区别于持续交付中保留的人工发布决定。它需要可靠的验证和上线策略,并非比其他流程更完美或适合所有项目;合入主线也只有在流程明确规定时才意味着触发生产。采用名称不会免除监控、故障处置与回退设计。 详见持续部署自动接纳发布结果。
Jenkins截图显示失败/跳过测试详情、趋势和可下载工件,说明构建状态可进一步展开为证据。JUnit等结构化报告能帮助定位,归档产物则保存可交付文件;不能从下载链接或漂亮图表推出测试实际成功,截图8-8甚至包含失败和跳过。配置要确保报告与当前修订及产物对应,而不是拿上次成功结果替代。 详见测试报告与产物承载不同证据。
Jenkins可通过插件连接源码、测试报告和其他能力,扩展性让不同项目采用所需功能,也带来版本兼容与升级协调责任。工具用Java实现并不意味着它只适合Java项目,原书此处强评价不作技术限制。关键插件是否可维护,应与核心升级和安全修复一起考虑,而非只看插件数量。 详见插件扩展同时带来维护依赖。
Buildbot示例以主控协调变化和构建,执行节点运行一系列步骤并返回退出状态和输出,可按需要分布到多台机器。构建器配置、一次构建和执行机器是不同概念,不能混为一台所谓构建器。退出码与日志是基本证据,仍需任务正确传播失败;瀑布视图只展示历史,不自行证明覆盖完整。 详见调度与执行节点职责分开。
教材Travis与GitLab的比较涉及定价、托管范围、runner、操作系统和隔离方式,这些条件会随产品版本变化。可保留配置入库、环境控制与运维成本等比较维度,不能继续把2016免费政策、仅GitHub限制或默认runner行为当今日选型结论。虚拟机或容器干净也不保证所有缓存和外部服务状态隔离。 详见托管方案要核对当期边界。
构建条件过多会让团队难以判断哪些改动被检查、为什么跳过,规则应清楚并能解释成本。书中测试一切总是测试随后也允许分层延后慢测试,不能抽成不容取舍的绝对口号。对明确无关的低风险改动安排恰当检查,与悄悄绕开必要验证是不同情况,队列调度本身也不是反模式。 详见流水线规则应服务于反馈。
构建慢可能来自步骤耗时、资源排队或外部依赖,先观察瓶颈再决定优化、并行或分层验证。快速单测与静态分析可先反馈,耗时验收仍要在适当发布门槛完成。长测不自动证明系统必须拆成独立服务,增加分布式边界也有成本;应按可独立责任和实际收益决定模块化。 详见缩短等待先定位反馈瓶颈。
如果全局任务突然增加PEP 8检查,维护旧0.x分支时可能因新规则而失败。把构建入口、步骤和规则尽量放进对应源码版本,可让旧分支使用适合自己的定义并接受审查。Jenkinsfile支持将流水线纳入版本控制,因此原书网页配置的风险是使用方式问题,不是Jenkins只能把定义放在外部。 详见构建定义应随代码版本演进。
venv隔离部分Python包,不隔离数据库、缓存、文件、系统库和外部服务。并行构建共享这些状态可能相互污染,必须按资源命名、重置和执行边界设计隔离。每次新建虚拟机或容器能减少部分残留,但仍须核对外挂存储、缓存和服务,不能从环境刚创建就推出完全等价生产且毫无历史状态。 详见依赖隔离不等于环境隔离。
原书依据 · 24 处
- 第8章 管理代码 8.1.1 集中式系统 · 查看原书依据
- 第8章 管理代码 8.1.1 集中式系统 · 查看原书依据
- 第8章 管理代码 8.1.2 分布式系统 · 查看原书依据
- 第8章 管理代码 8.1.2 分布式系统 · 查看原书依据
- 第8章 管理代码 8.1.2 分布式系统 · 查看原书依据
- 第8章 管理代码 8.1.3 集中式还是分布式 · 查看原书依据
- 第8章 管理代码 8.1.4 尽可能使用Git · 查看原书依据
- 第8章 管理代码 8.1.5 Git工作流程与GitHub工作流程 · 查看原书依据
- 第8章 管理代码 8.1.5 Git工作流程与GitHub工作流程 · 查看原书依据
- 第8章 管理代码 8.1.5 Git工作流程与GitHub工作流程 · 查看原书依据
- 第8章 管理代码 8.2.1 持续集成 · 查看原书依据
- 第8章 管理代码 8.2.1 持续集成 · 查看原书依据
- 第8章 管理代码 8.2.1 持续集成 · 查看原书依据
- 第8章 管理代码 8.2.1 持续集成 · 查看原书依据
- 第8章 管理代码 8.2.2 持续交付 · 查看原书依据
- 第8章 管理代码 8.2.3 持续部署 · 查看原书依据
- 第8章 管理代码 8.2.4 常用的持续集成工具 · 查看原书依据
- 第8章 管理代码 8.2.4 常用的持续集成工具 · 查看原书依据
- 第8章 管理代码 8.2.4 常用的持续集成工具 · 查看原书依据
- 第8章 管理代码 8.2.4 常用的持续集成工具 · 查看原书依据
- 第8章 管理代码 8.2.5 选择正确的工具和常见的陷阱 · 查看原书依据
- 第8章 管理代码 8.2.5 选择正确的工具和常见的陷阱 · 查看原书依据
- 第8章 管理代码 8.2.5 选择正确的工具和常见的陷阱 · 查看原书依据
- 第8章 管理代码 8.2.5 选择正确的工具和常见的陷阱 · 查看原书依据
Python高级编程(第2版) · 第9章 文档化你的项目
文档帮助不同读者取得使用、维护或决策所需的信息。教程教人完成起步任务,参考手册支持查找,设计说明解释选择及边界;它们不是互相替代的同一种长文。将文档与版本和测试联动,可以减少实现变化后解释滞后;自动提取API只覆盖接口的一部分,还需要人工组织使用场景和理由。
把文档留到项目尾声集中补写,容易因时间不足而仓促过时。像维护代码模块一样维护文档,明确何时新增、修改和验证,使功能变化与解释同步进入开发过程。文档在同一仓库只是必要协作手段之一,不会自动让描述保持准确,也不意味着每次改动都要补写没有读者需求的长文。 详见文档更新应进入开发周期。
写初稿时先把想说明的事实、理由和步骤写清,减少每两句话就改措辞的上下文切换;随后回读,重组、纠错和删冗余。临时想到的旁支可另记以免打断当前主题。写作与整理各占一半是原书的时间分配建议,不是每种任务都应严格遵循的比例,更不意味着初稿中的错误可直接发布。 详见先展开内容再整理表达。
同一产品的开发者要找API,管理员可能要找配置操作,架构读者关注边界与部署关系。以读者任务决定每篇文本的前提、深度和入口,可避免一本说明同时塞满所有层级。每文一种读者是聚焦启发,不是禁止多类读者阅读;关键是主任务清楚,并把其他需求引向合适文档。 详见先确定读者要完成什么。
技术说明用直接的句子和围绕一个主意的段落,让术语、步骤和因果关系容易追踪,删除没有帮助的反复和装饰。两行一句、每段三四句是原书风格建议,应随语言与展示宽度调整。Seth Godin句子平均13词的轶事不构成畅销原因的因果证据,也不应据此统一文档的机械字数。 详见简单表达减少理解负担。
按主题和任务组织章节,避免让架构总览埋在API细节中。用读者可能搜索的短语检验标题,目录才能帮助定位而不只是罗列写作顺序。信息齐全不代表可找到,文档应同时安排层级、入口和交叉引用,让不同问题有明确落点。 详见标题应回应实际查找问题。
parse示例用RSS地址和有意义的字段,让读者看到函数接受什么、返回怎样的迭代结果,比foo/bar更能传达用途。示例应足够完整且说明前提,不能因看似能复制就保证外部URL仍可访问或输出固定。通用语法演示仍可用简短占位符,目标是减少无意义噪声而非禁止一切抽象名称。 详见现实示例同时说明输入与输出。
小型工具可能只需说明配置与运行的README,而不是先建立一整套空的文档目录。轻量且充分意味着足以让目标读者完成任务,需包含必要前提和边界,不等于越短越好。ianitor案例只是原书当时的单文档示例,不能由管理员角色推断今后没有其他维护需求。 详见文档份量由真实任务决定。
重复出现的结构让读者知道到哪里找前提、正文和参考,作者也可从脚手架开始而不用每次重新设计。模板应对应文档类型和真实任务,不能要求每个栏目都填无用内容;形式一致服务于快速定位,不能替代准确事实。原书用维基百科作比方,不表示所有页面布局从来相同。 详见稳定模板减少阅读适应成本。
reStructuredText用可读源文本描述层级、强调、代码和链接,再由Docutils等工具生成HTML或其他输出。维护源文件有助于版本控制与多格式发布,但输出是否正确仍取决于语法、转换器和构建配置。教材rst2html.py和安装命令展示当时工具入口,本次没有安装或运行转换。 详见纯文本标记分离内容与呈现。
reST用标点装饰线识别章节,某种样式在同一文档中应保持对应层级;上划线加下划线与单下划线也属于不同样式。原书列出的=、-等顺序是习惯,不是解析器统一规定的级别表。装饰线须符合实际标题长度与语法,图9-1只展示示例的渲染层次。 详见标题装饰要保持层级一致。
reST无序列表适合并列项,枚举列表表达有序步骤,#.可让工具连续编号,定义列表把术语和缩进说明对应起来。语法仍依赖空行、缩进和上下文,不是给每行加同一符号即可。图9-2展示三种输出,选择应由内容关系决定而非视觉偏好。 详见列表语法表达不同信息关系。
reST用单星号强调、双星号强强调、双反引号表示行内字面量;带尾下划线的引用用于链接解析。不要把单反引号解释文本、代码字面量和链接标记混为一种样式。渲染器通常把强调显示为斜体、强强调为粗体,核心是结构语义而不是强行保证每个输出格式外观一样。 详见行内标记区分语义与字面量。
reST的::引出文字块,内容通常与段落以空行分隔并保持缩进。紧接段落的::可留下一个可见冒号,前面有空格时可去掉标记;图9-3展示代码与正文分离。原书把任何缺空行都绝对说成不渲染过宽,应按具体上下文验证;展示代码不会自动执行或验证结果。 详见代码文字块依赖边界与缩进。
reST命名外链把正文引用和.. _name: URL目标对应,含空格的短语引用用反引号而非普通单引号;教材链接示例的引号排版不能直接当准确语法。显式内部目标和章节隐式目标可供回跳,需避免名称冲突。把目标集中在末尾便于维护,但仍应验证实际链接可解析。 详见引用名称要与目标声明对应。
设计文档解释结构与选择,用法文档帮助使用功能,操作文档指导部署、升级和管理。先判断目的,再决定结构和深度,避免把需要运行步骤的读者引到类图。一个任务可引用别类文档,不必把所有背景重复写入;分类是组织工具,不是禁止跨类关联。 详见文档类型对应不同使用目的。
设计文档可含摘要、读者、目标、结构图和参考,使读者理解这一份设计负责解释什么及依据何在。作者和标签可帮助正式设计讨论,但要随团队需要选择。三四页是限制范围的启发,复杂设计可分解成概览与专题,不应为页数删掉必要约束或风险。 详见轻量设计文档说明范围与依据。
配方围绕一个明确问题,给出读者、前提、解决步骤和参考;教程带领读者逐步掌握较完整功能,可串联多份配方。两者都需说明起点和预期结果,不应把API条目堆起来便叫教程。版本库能保存修改历史,但文档面向哪个软件版本仍须清楚,不能因不手写日期就丢掉适用边界。 详见配方与教程解决不同阅读任务。
从docstring内省生成模块说明能贴近对象接口,却未必知道读者关心什么或怎样串起跨模块任务。独立说明文件可提供更完整结构,但需进入更新流程;两种形式可结合,不能单按文档占代码50%就判断优劣。pydoc、Epydoc和Plone只是原书例子,不把自动提取等同内容已完整。 详见接口文档需要人工安排重点。
安装部署、升级管理、FAQ以及贡献和求助渠道,帮助实际运行者完成软件生命周期中的任务。它们可复用教程式结构,并补足环境前提、权限和故障判断等相关信息;应按项目实际写明,不能由列出几个标题就认定操作知识已经交付。 详见操作文档覆盖运行与求助路径。
标签对大集合检索有价值,在几份小文档中可能只是负担;固定作者字段还可能让维护者误以为只有原作者能修改。版本历史可反映多人贡献,正式提案则可能仍需明确责任人。要区分署名、决策责任和更新权限,避免模板在无意中阻碍协作。 详见模板元数据按实际需要取舍。
作者需要在版本库中找到并维护唯一源文件,读者需要按问题浏览、搜索和沿链接前进。docs/source下的设计、用法、操作目录服务维护,生成网站可在其上提供另一层导航;两者不必机械一一对应。索引若依赖手工列表容易漏更,可自动生成部分内容,但读者逻辑仍需人工设计。 详见源文档结构和阅读导航可分开。
Sphinx的toctree按相对源文档名组织子文档,支持深度和glob等选项,并参与前后页导航;它不同于reST contents只列当前文档标题。通配符能减少手工漏列,也可能带入不该公开的内容,应控制范围与排序。只生成目录不保证每个任务都有合适说明。 详见目录树表达跨文档关系。
Sphinx模块指令可登记模块身份,index增加检索条目,:mod:等角色引用相应对象,帮助读者从不同入口找到同一说明。它们属于Sphinx扩展语义,不能假定所有Docutils输出都识别;index的单项、多项写法也要按语法确认,不能把示例折行丢失后的文本当正确条目结构。 详见索引和交叉引用需注册语义。
autodoc从可导入对象的docstring提取说明,doctest构建器则运行文档中的示例检查结果,原书末尾把前者说成自动提取doctest混淆了职责。autodoc可能导入模块并触发导入副作用,构建环境和依赖需安排;启用提取也不意味着代码示例已经测试或文档完全正确。 详见提取说明与执行示例分工不同。
源文档已更新不代表读者正在看的生成站点同步更新;可将构建和静态发布纳入持续交付,让页面对应明确修订与适用软件版本。make html只是教材构建入口,成功构建不证明叙述和链接都对。Read the Docs是原书托管例,免费政策、集成范围与实际配置应另查,不用历史点击步骤作现行保证。 详见文档发布应追溯到对应源码。
功能改动时同步更新相关说明,再用doctest等工具检查选定示例,可减少示例与实现漂移。测试只覆盖实际执行的片段及断言,不能保证概念解释、前提、运维步骤和未测场景都准确。文档留在仓库以及构建成功各提供不同证据,最终仍需检查读者能否完成目标任务;本次没有运行示例测试。 详见示例测试是文档准确性的部分证据。
原书依据 · 26 处
- 第9章 文档化你的项目 第9章 文档化你的项目 · 查看原书依据
- 第9章 文档化你的项目 9.1.1 两步写作 · 查看原书依据
- 第9章 文档化你的项目 9.1.2 定位读者 · 查看原书依据
- 第9章 文档化你的项目 9.1.3 使用简单的风格 · 查看原书依据
- 第9章 文档化你的项目 9.1.4 限制信息范围 · 查看原书依据
- 第9章 文档化你的项目 9.1.5 使用现实中的代码示例 · 查看原书依据
- 第9章 文档化你的项目 9.1.6 使用轻量且充分的方法 · 查看原书依据
- 第9章 文档化你的项目 9.1.7 使用模板 · 查看原书依据
- 第9章 文档化你的项目 9.2 reStructuredText入门 · 查看原书依据
- 第9章 文档化你的项目 9.2.1 章节结构 · 查看原书依据
- 第9章 文档化你的项目 9.2.2 列表 · 查看原书依据
- 第9章 文档化你的项目 9.2.3 行内标记 · 查看原书依据
- 第9章 文档化你的项目 9.2.4 文字块 · 查看原书依据
- 第9章 文档化你的项目 9.2.5 链接 · 查看原书依据
- 第9章 文档化你的项目 构建文档集 · 查看原书依据
- 第9章 文档化你的项目 构建文档集 · 查看原书依据
- 第9章 文档化你的项目 构建文档集 · 查看原书依据
- 第9章 文档化你的项目 构建文档集 · 查看原书依据
- 第9章 文档化你的项目 构建文档集 · 查看原书依据
- 第9章 文档化你的项目 9.4 构建自己的文档集 · 查看原书依据
- 第9章 文档化你的项目 9.4.1 构建格局 · 查看原书依据
- 第9章 文档化你的项目 9.4.1 构建格局 · 查看原书依据
- 第9章 文档化你的项目 9.4.1 构建格局 · 查看原书依据
- 第9章 文档化你的项目 9.4.1 构建格局 · 查看原书依据
- 第9章 文档化你的项目 9.4.2 文档构建与持续集成 · 查看原书依据
- 第9章 文档化你的项目 9.5 小结 · 查看原书依据
Python高级编程(第2版) · 第10章 测试驱动开发
测试用明确输入、动作和断言观察程序是否符合某个预期。单元测试缩小检查对象,集成或其他层次测试观察组合行为,替身隔离依赖但也可能掩盖真实接口差异。测试驱动的短循环让行为先被表达,再推动实现和重构;测试数量、覆盖率与业务正确性仍回答不同问题。
动态执行中的类型错误只是测试关注的一部分,更重要的是逻辑、业务条件和对需求的误解。语法可解析、静态分析通过、测试运行成功提供的证据各不相同。原书Python缺少静态类型的说法需按当时运行模型理解,现代注解和静态工具可补充检查,但不能取代行为验证或保证未执行路径正确。 详见测试需要检查行为而非只看语法。
TDD先为新增行为编写会失败的测试,再用最小实现使它通过,最后在测试保护下重构。先看到相关失败有助于判断测试是否真的约束了需求,而非一开始就无条件通过。它促使接口可测,却不是唯一能产生可测代码的方法,也不能由遵循顺序推断软件没有未知错误。 详见先失败再实现再重构。
is_prime初版对小于2的输入不进入循环,因而错误返回True;新增1和负数用例推动补齐定义域处理。枚举少量例子仍未说明非整数、超大输入或资源限制等契约,也未优化试除算法。测试应来自需求和数学含义,不是为追随当前实现而挑选总能通过的值;书中输出不是本次执行。 详见边界用例暴露隐含输入契约。
把发现的缺陷转成自动用例,可在以后改动时尽早发现已知行为被破坏。局部检查让开发者快速反馈,CI可承担更完整环境和套件,二者需要可重复运行的入口。测试库增长不代表全部功能已覆盖,失败也需排查测试与环境变化,不能把每次失败都直接等同产品回归。 详见回归样例保存已知行为约束。
先写调用例子会迫使作者考虑名称、参数和返回结果是否适合使用者,也可暴露类或函数责任过大。这样的测试可作为底层行为文档,但测试本身也会过时、遗漏断言或与错误实现同步妥协;原书测试不会失效只会失败的表述过强。可读示例有价值,不取代设计说明和使用前提。 详见使用样例帮助设计公共接口。
单元测试聚焦一个有意义的责任,尽量隔离不相关外部因素;集成测试验证组件、层或服务间真实交互。一个单元未必是最短函数,集成也未必每次启动整个分布式系统。需要明确哪些依赖是真实的、哪些被替代,才知道通过结果能支持什么结论,而不只看测试文件名。 详见测试层级按验证边界划分。
验收通常按需求检查用户目标,功能测试可用API等接口验证一项功能,不一定模拟每次鼠标点击。二者与集成测试的边界依组织约定而异,原书开头将功能与验收并称、随后又区分,不宜当普适术语标准。选择浏览器、HTTP或直接组件入口时,要说明因此没有覆盖的交互层。 详见验收和功能测试关注可见目标。
负载测试观察在指定需求强度下的行为,是性能测试的一类;结果应连同负载模型、环境和正确性解释。原书说它们不提供成功失败结果过宽,若有明确时延或资源要求即可判是否满足门槛。没有可比较条件的单次测量也不能归因到代码优化,速度快但输出错误不算满足业务目标。 详见性能测量可形成明确验收门槛。
风格告警、复杂度、文档数量与静态分析可以提示问题并建立部分门禁,但不能把总体质量压成单个数字。指标下降或上升需要对应真实维护成本和行为风险,机械禁止任何数值变差可能阻碍必要改动。测试和度量帮助判断,不应代替对责任、可读性与正确性的解释。 详见质量指标需要放回设计语境。
unittest以TestCase中的测试方法表达行为,TestSuite聚合用例,运行器发现并执行它们。python -m unittest可作为发现入口,具体模块仍需可导入且符合选择规则;测试总数通常是用例数量,不等于assert次数。书中makeSuite和setup develop是历史用法,现代项目不必复制这些样板才能组织测试。 详见用例套件和运行器分开组织。
doctest重放交互式输入并比较输出,适合把用户可读示例变为可执行约束。复杂夹具和底层失败组合可能使说明难读,适合放入常规测试。只有实际被发现执行的示例才有测试证据,输出匹配也不保证整篇文档正确,不能笼统声称文档例子永远最新。 详见文档示例测试重在可读可重复。
原书对unittest批评主要涉及样板、筛选和夹具组织,可用于理解替代框架的动机。当前unittest已有类级/模块级夹具及-k等选择能力,不能继续说只能在每个测试级别准备状态或必须自行写脚本过滤。共享夹具仍有状态污染与调用顺序边界,是否采用要看实际套件需求。 详见测试框架限制要按版本判断。
nose和pytest演示通过命名约定发现普通函数,减少TestCase样板;找到并运行函数不代表它验证了任何业务行为。书中仅print的test_ok能够通过,恰好说明测试运行器不会自动补上断言。nose前缀正则和旧setup.py test集成是历史背景,不能将其当新项目的默认操作方案。 详见发现规则不等于有效断言。
pytest按文件、函数与类约定收集测试,可配置规则;原书把大小写等同函数或类类型的解释不准确。名称参与筛选,但对象不会仅因首字母大写就变成类,也不会因小写类名就必然被当普通函数执行。遇到漏测应查看实际收集结果、配置与导入状态,而非只看命名貌似正确。 详见收集约定要明确对象种类。
pytest.fixture定义有名资源,测试用参数声明依赖,可组合准备数据而不在每个用例复制初始化代码。夹具的作用域和共享状态仍需选择;数据夹具被注入不意味着其中每个值都已实际验证。教材test_is_prime_false声明negative_numbers,却第二次仍循环non_prime_numbers,因此没有执行负数断言。 详见夹具显式声明测试所需状态。
skipif按条件避免执行不适用的用例,应给出原因并确认该条件确实代表环境边界。原例遗漏sys导入,skipwindows与skip_windows名称还不一致,不能直接视为可运行样板。跳过不是通过,平台支持承诺仍需在适用环境验证,而不是用条件屏蔽未知失败。 详见跳过条件需要可追溯理由。
xfail通常会尝试运行测试并标注已知失败,skip则不执行;是否遇到意外通过就使套件失败取决于strict等配置,并非原书所说默认总是失败。xfail也可配置run=False,故总会执行同样过强。已知问题应有原因与处置路径,不能用标记把新回归长期隐去。 详见预期失败与跳过不是同一状态。
将测试分到多个worker可缩短部分耗时,但并行能力取决于相应插件、任务可拆分性和资源配置,不是pytest本体对任意可SSH主机自动提供的保证。网络、共享状态、聚合失败和重试策略都会影响结果。选择测试运行器还是CI集群按职责组合,不能因任务长就一概认定某个工具无用。 详见并行测试仍需调度和隔离。
语句覆盖显示配置范围内的可执行语句是否被走到,分支覆盖进一步检查可能的跳转去向。100%语句覆盖不说明每个条件组合和业务结果都已验证,分支覆盖也不穷尽全部路径。报告需连同测量范围与排除规则解释;图10-1的100%只属于教材这次采集,不是本次测试结论。 详见覆盖率测的是执行机会。
先以coverage run驱动所需测试,再生成终端或HTML报告,可以查看未覆盖位置;使用-m可按模块入口运行,避免把某个脚本路径当唯一方式。是否包含测试文件、漏导入代码和子进程等会影响分母和证据,报告出现100%不能代替确认该测的源都被纳入。本次没有运行覆盖采集。 详见覆盖报告先确认采集范围。
mailer.send通过SMTP构造、sendmail和quit与外部协作。FakeSMTP只需提供这几项接口,鸭子类型不要求继承真实类;空类失败说明协议仍要完整。它返回{}能隔离网络,但原测试只断言返回值,未检查收件人、主题或正文,不能据此说邮件内容正确或真实送达。 详见替身只模拟当前验证所需协议。
为外部API只实现当前需要的行为能让测试快且可重复,但替身也可能接受真实接口拒绝的输入,或漏掉故障和状态条件。需要明确它支持的协议,并用合适的集成或契约证据核对真实边界。单元测试没有外部副作用是可控范围的追求,不意味着真实系统交互可以永不验证。 详见替身和真实服务可能逐渐偏离。
临时替换模块属性可以隔离网络和外部行为,测试结束后必须恢复,避免顺序依赖。pytest monkeypatch或patch上下文帮助管理这份责任;手写yield夹具也要考虑建立资源过程中失败的清理。原书yield_fixture是历史接口,当前普通fixture可用yield安排前后步骤,不必沿用旧装饰器。 详见补丁要随作用域恢复。
SMTP类被替换的Mock负责被调用,return_value指向实例替身,后者sendmail.return_value再决定发送结果。配置这一层次能避免把构造器调用与实例行为混淆。默认Mock的返回对象通常首次生成后复用,不是每次访问都自动新建独立对象;仅构建两层替身还未验证调用参数与清理行为。 详见构造器替身和实例替身分层。
Mock可自动提供子属性,方便快速搭建替身,也可能让不存在的方法拼写不报错。可借spec等机制约束可用接口,再检查必要的调用与结果,避免“任意消息都能回应”削弱测试。自动属性与返回值并不保证所有访问无异常,私有规则、显式配置和side_effect仍可产生失败。 详见自动生成属性可能掩盖拼写错。
patch在指定作用域替换目标,并在结束后恢复。mailer以import smtplib后查找SMTP,教材修补smtplib.SMTP能影响该路径;若代码先from smtplib import SMTP,可能需要修补mailer中的绑定。判断目标要从被测代码实际查找位置出发,不能只从类最初定义在哪决定。 详见补丁应替换代码查找的名字。
Tox envlist和条件依赖可以组合Python/Django版本,排除不支持的搭配;CI再准备操作系统或服务版本。教材userena列出20个兼容组合加1个覆盖环境,而不是6乘5全量笛卡尔积;旧downloadcache和版本清单属于当时配置。解释器环境与系统服务分层准备,有助于让本地与CI复用测试入口。 详见环境矩阵应表达可行依赖组合。
ianitor例让CI矩阵提供Python/Consul版本,准备服务后交给tox执行用例,减少把全部逻辑绑在某个CI提供方。迁移仍需核对系统包、启动方式、权限与网络,不能说只换平台就总能复用。3乘4个组合加风格/覆盖共14是教材定义,不是现行Consul兼容承诺;旧下载和启动脚本未执行。 详见环境准备与测试入口分层复用。
在说明何时与如何使用功能的文字中加入可执行示例,可以把读者视角与TDD结合。文中DDD指文档驱动开发,别与其他同名缩写混淆。可发布示例应足够独立可读,复杂夹具和边界组合可放常规测试;通过片段不等于整篇文档及时准确。 详见文档驱动开发仍要维护叙事。
Atomisator样例依赖外部test_dir和sample.xml,还使用Python 2的imap、res.next等写法;键列表与后续date访问也未自洽,末尾类型输出不完整。它说明怎样用叙事串起示例,不是当前环境可直接运行的完整测试。发布时须交代资源、版本与设置,不能用省略号隐藏未满足前提。 详见可执行文档也需要适用前提。
原书依据 · 30 处
- 第10章 测试驱动开发 第10章 测试驱动开发 · 查看原书依据
- 第10章 测试驱动开发 10.1.1 测试开发的原则 · 查看原书依据
- 第10章 测试驱动开发 10.1.1 测试开发的原则 · 查看原书依据
- 第10章 测试驱动开发 10.1.1 测试开发的原则 · 查看原书依据
- 第10章 测试驱动开发 10.1.1 测试开发的原则 · 查看原书依据
- 第10章 测试驱动开发 10.1.2 什么样的测试 · 查看原书依据
- 第10章 测试驱动开发 10.1.2 什么样的测试 · 查看原书依据
- 第10章 测试驱动开发 10.1.2 什么样的测试 · 查看原书依据
- 第10章 测试驱动开发 10.1.2 什么样的测试 · 查看原书依据
- 第10章 测试驱动开发 10.1.3 达式Python标准测试工具 · 查看原书依据
- 第10章 测试驱动开发 10.1.3 达式Python标准测试工具 · 查看原书依据
- 第10章 测试驱动开发 10.2.1 unittest陷阱 · 查看原书依据
- 第10章 测试驱动开发 10.2.2 unittest的替代品 · 查看原书依据
- 第10章 测试驱动开发 10.2.2 unittest的替代品 · 查看原书依据
- 第10章 测试驱动开发 10.2.2 unittest的替代品 · 查看原书依据
- 第10章 测试驱动开发 10.2.2 unittest的替代品 · 查看原书依据
- 第10章 测试驱动开发 10.2.2 unittest的替代品 · 查看原书依据
- 第10章 测试驱动开发 10.2.2 unittest的替代品 · 查看原书依据
- 第10章 测试驱动开发 10.2.3 测试覆盖率 · 查看原书依据
- 第10章 测试驱动开发 10.2.3 测试覆盖率 · 查看原书依据
- 第10章 测试驱动开发 10.2.4 仿真与模拟 · 查看原书依据
- 第10章 测试驱动开发 10.2.4 仿真与模拟 · 查看原书依据
- 第10章 测试驱动开发 10.2.4 仿真与模拟 · 查看原书依据
- 第10章 测试驱动开发 10.2.4 仿真与模拟 · 查看原书依据
- 第10章 测试驱动开发 10.2.4 仿真与模拟 · 查看原书依据
- 第10章 测试驱动开发 10.2.4 仿真与模拟 · 查看原书依据
- 第10章 测试驱动开发 10.2.5 测试环境与依赖兼容性 · 查看原书依据
- 第10章 测试驱动开发 10.2.5 测试环境与依赖兼容性 · 查看原书依据
- 第10章 测试驱动开发 10.2.6 文档驱动开发 · 查看原书依据
- 第10章 测试驱动开发 10.2.6 文档驱动开发 · 查看原书依据
Python高级编程(第2版) · 第11章 优化——一般原则与分析技术
优化首先需要知道什么资源和场景重要。计时与分析器帮助定位时间、调用或内存消耗,代表性输入和可重复比较避免把噪声当收益。本章提供取证办法,下一章讨论算法、缓存和资源等改进手段;要先保存正确行为与基线,再决定值得改变的部分。
性能优化应保护程序的正确性与可测试契约,先消除明显重复与不合适算法,再用证据决定缓存、外部库或本地扩展。原书不要提前做某事是避免盲目优化的提示,不是禁止设计阶段考虑时延约束。专用库可能同时让实现更简单;代码更短或更Python化本身不保证更快。 详见先建立正确行为再调优。
确定谁感到慢、慢在哪个场景、可接受边界以及改善成本,避免把开发者日常不便误当用户最重要的问题。启动时间例说明优先级要有使用场景,但不代表启动性能永远不重要:扩缩容或故障恢复也可能受它影响。测得更快之后仍需判断是否改善了选定用户目标。 详见优化目标应对应实际使用者。
若继续追求少量提速会让逻辑难懂、难改,应比较重新设计、复用库或清楚封装等替代方式。原书90%与10%是取舍示意,不是实测定律或统一停手阈值。记录为何采用复杂实现及收益条件,有助于以后判断是否仍值得保留。 详见速度收益需要支付维护成本。
用户看到慢,原因可能在应用计算,也可能在数据库、LDAP、其他服务或它们之间的网络。结合组件交互图与每段测量定位,避免只优化本地函数却没有减少真正等待。先排查外部因素是调查路径,不是预先断言第三方有错;测试规模与真实流量/数据也需对应。 详见先沿交互链路定位等待。
内存紧张引发交换或其他回收行为时,延迟可能明显增大;大量文件可考虑分块或流式处理以控制工作集。交换并非所有系统必然的唯一结果,也不能只凭CPU忙就认定是内存不足。磁盘重试、容量和应用重试可能放大等待,应分别观察资源与调用行为。 详见资源压力要与工作集一起分析。
垂直扩容改进单机资源,水平扩容增加节点但需要应用能分担负载和协调状态。原书先称水平总是更好,随后也承认分布式维护成本和单机方案经济性;应保留这个条件而不是只摘前句。硬件价格与供给会变,不能用必然越来越便宜代替当前成本和容量评估。 详见扩容方式按系统约束取舍。
保存具有代表性的输入、调用序列和目标时延,可在优化后继续检查性能回退。time.time墙钟差值会受时钟调整等因素影响,间隔测量可考虑适合的单调高精度计时器。固定10秒门槛还要对应硬件、负载、预热和波动,不能由一次断言通过证明性能在所有机器上满足要求。 详见速度回归场景需说明测量条件。
确定性剖析按调用事件记账,采样剖析从样本推断热点,两者各有开销与观测偏差;不能笼统说采样不影响程序或必然不准确。先看完整场景中的贡献,再缩小到相关段落,避免脱离调用频率比较局部耗时。剖析用于找热点,公平基准测试还要控制测量方法。 详见剖析先找贡献再解释原因。
pstats的tottime排除子调用,cumtime包含被调函数时间,ncalls给出次数;排序前要明确想找什么。教材heavy累计耗时大,而实际大部分时间在sleep,不能把这个等待演示解释成CPU计算瓶颈。父子累计值有重叠,不能把调用树所有百分比相加作为独立总成本。 详见自身耗时区别于含子调用耗时。
高次数函数可能由于循环中的重复工作而占大部分总时间,降低调用次数可能比只改一次调用更有价值。长耗时调用不自动适合缓存:结果是否可复用、依赖是否变化、内存与失效成本都需核对。统计提示调查方向,不直接提供可以机械套用的优化处方。 详见调用频率与重复计算分别处理。
cProfile可收集运行统计,pstats可按时间排序并查看调用者/被调者,gprof2dot配Graphviz将统计关系可视化。图11-1帮助沿调用链定位时间归属,却不代替工作负载、版本与采样/计时条件说明。文件来自某次运行,工具接口和内置模块名称按对应Python版本核对,本次未运行采集或绘图。 详见统计文件和调用图保存上下文。
原书装饰器调用profiler.runcall后未返回其结果,改变被包装函数的返回语义,也没有保留元数据或清理统计临时文件。mktemp只生成未占用名称,随后创建存在竞态,不能作为稳妥临时文件模板。局部剖析应考虑成功、异常和清理路径,不能为观察性能而悄悄改变业务行为。 详见剖析包装也要保持函数契约。
Timer.timeit(number=5)返回执行指定次数的总秒数,不会像教材混排输出那样自动打印大量loops报告。字符串语句中的main还需在计时命名空间可见,前面只导入light不能证明示例有效。当前timeit默认perf_counter,原书time.time/time.clock的描述是旧接口背景;本次未执行此计时。 详见计时接口要区分总时长与单次。
把map迭代器放在timeit setup里,只建立一次;第一次拼接消费后,后续重复可能测到空迭代器,造成虚假的极小耗时。改用可重复遍历的数据或每轮重新建立等价输入,才能比较相同工作。累加字符串还要重置输出状态,不能让被测工作随迭代增长或消失。 详见重复测量要检查数据是否耗尽。
重复测量能看到噪声、预热、频率与缓存等影响,但简单平均不总是更接近目标。微基准最低耗时可帮助估计较少外部干扰时的执行下界,实际服务则可能关注分位延迟和长尾。应先定义问题再选择统计摘要,并保留结果分布,不能将一次最快值当线上体验保证。 详见计时统计取决于所问问题。
用pystone吞吐乘目标耗时得到等价操作量,可减少部分机器速度差异,但基准与目标的CPU、内存、缓存和I/O特征未必成比例。因此不能保证同一阈值在任意机器公平,也不普遍优于明确环境下的秒数门槛。test.pystone属于特定Python分发环境中的工具,原书数值不是本机基准。 详见基准归一化不是通用性能尺度。
解释器释放对象后可能保留分配器内存供后续复用,因此进程RSS不下降不直接证明泄漏。还要区分实际存活对象、分配器保留、映射和本地库等来源,观察相同负载下趋势。字符串或小整数共享是实现细节,不能把变量数量直接当独立分配数量。 详见对象释放不等于常驻内存下降。
sys.getsizeof等接口可给直接归属对象的大小,并不自动递归计算它引用的全部图;原书说永远无法知道任何对象占用大小过强。深度计量还要处理共享对象与循环,避免重复加总。操作系统进程内存、Python对象浅大小和对象图保留大小是不同问题,需要选择对应工具。 详见对象大小要先定义计量范围。
argument={}在函数定义时形成默认对象,后续省略参数的调用复用它;返回它后,调用方修改也会影响下一次默认调用。以None作哨兵并在函数内新建字典可获得每次独立默认容器。目标是按契约管理共享状态,不是所有参数都必须不可变;显式传入对象时是否复制仍需另定。 详见可变默认参数会延续先前状态。
无界缓存、长期全局登记和未结束线程可能让不再需要的对象保持可达,Python层常见问题是意外保留引用。也有本地扩展漏释放,但不能由内存上涨直接认定多数问题都在C端。先选代表操作比较对象/进程趋势,再沿保留链定位责任,避免凭工具名字或作者经验作结论。 详见内存增长先找对象保留路径。
objgraph能按类型统计GC跟踪对象并生成引用图,配合Graphviz可查看保留关系。它不统计所有内存或所有简单值,get_leaking_objects返回候选也不证明它们一定是缺陷。工具支持版本表和原书完美可用评价都属于当时环境,实际应用应核对解释器及扩展对象的可观测范围。 详见对象统计只覆盖工具可见部分。
show_refs观察目标持有什么,show_backrefs观察谁持有目标,后者常帮助找到对象不能释放的保留链。x为空列表,y含x、[x]和dict(x=x)的例子显示多条路径共享同一x,不能把每个箭头误作独立对象。诊断用的局部变量、帧和图工具本身也可能增加引用,图不是未受观察影响的全进程快照。 详见正向图与反向图回答不同问题。
两个列表互相引用,在外部不再可达时引用计数本身仍非零,循环收集器可补充发现并回收。带del的循环在旧版有特殊限制,PEP 442自3.4改进安全终结;这不意味着任何最终化代码都没有复活或资源问题。del变量只是删除相应绑定,不等于立即销毁其曾引用的所有对象。 详见循环垃圾依可达性与终结处理。
gc.collect返回本次发现的已收集与不可收集对象数量,gc.garbage只保存特定不可收集对象或受调试标记保留的对象。教材把前者打印为prior、后者当全部残留数,并不精确;两次旧Python输出也不能证明任意版本固定计数。图11-5展示旧终结循环的保留路径,应保留版本及调试条件。 详见收集统计应按接口含义解释。
怀疑扩展时,可把相关API操作隔离并重复,观察对象/进程内存是否持续增长,再借Valgrind等本地工具定位。先排除缓存或预热导致的增长,不能只看到几轮上升便补一个DECREF;所有权判断错误可能导致提前释放。Python可见对象统计无法覆盖本地分配的全部来源,本次没有运行泄漏试验。 详见本地泄漏先做最小重复定位。
依赖服务自身正常时,链路配置、拥塞、重传等仍可能增加调用时间。抓包、设备指标和带宽估计分别提供不同视角,不能仅凭低带宽推断每次请求时延原因。原书ntop、Wireshark、net-snmp与Pathrate是工具入口,旧平台限制不作当前推荐事实;部署端和网络端证据需要对应同一场景。 详见网络测量需区分时延和容量。
原书依据 · 26 处
- 第11章 优化——一般原则与分析技术 11.1.1 首先要能工作 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.1.2 从用户的角度考虑 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.1.3 保持代码的可读性和可维护性 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.2.1 找到另外的罪魁祸首 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.2.2 扩展硬件 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.2.2 扩展硬件 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.2.3 编写速度测试 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.1 分析CPU使用情况 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.2 分析内存使用 · 查看原书依据
- 第11章 优化——一般原则与分析技术 11.3.3 分析网络使用情况 · 查看原书依据
Python高级编程(第2版) · 第12章 优化——一些强大的技术
优化技术通过减少重复工作、改变数据结构或利用更合适的执行机制来降低成本。缓存保存结果也引入失效与内存问题,外部调用、数据库或磁盘等待可能使单纯加速Python语句收效有限。每次修改都应回到前章的测量与测试,瓶颈转移后重新提出假设,而不是持续放大最初方案。
在正确行为有测试保护的基础上,测量当前场景瓶颈,尝试修改,再比较结果;没有收益或引入问题时撤销。瓶颈可能随改进转移,应重新观察而非不断优化原热点。教材optimize是过程伪代码,函数名和assert不代表真实架构或所有bug已被自动证明不存在。 详见优化迭代需要可撤销的假设。
小部分代码即使局部提速很多,对整体贡献也可能很小。用CPU、内存、I/O和网络等视角检查场景,才能判断下一步投入。原书每个性能问题通常只有一个瓶颈不是普遍保证;可能有多个资源约束或随负载变化的限制,隔离组件后仍要回到端到端验证。 详见优化收益受端到端贡献约束。
McCabe圈复杂度关注控制流中的线性独立路径,帮助理解分支和测试难度,不直接度量运行时间。一个简单循环也可因输入大而耗时,许多分支也可能各自很快。原书把它说成客观判断性能的度量过强;区间分类是启发,不应把数值替代剖析结果或认定高分必慢。 详见圈复杂度不是耗时指标。
大O给出随输入规模增长的渐近上界,最坏、平均或均摊是分析对象的不同选择,不由符号本身强制决定。忽略低阶与常数有助于理解增长,但不能据此直接回答小输入哪段代码最快。表中O(n log n)误标为对数,应与O(log n)区分,输入规模也需明确如何计量。 详见增长阶与分析情形应分开。
动态数组追加偶尔需要迁移已有元素,单次最坏可达线性,但过度分配使一串追加的平均到每次成本为常数阶,即均摊O(1)。这不同于对随机输入分布取平均。字典平均查找常数也不表示所有键、哈希计算和极端碰撞都无成本,应明确实现与操作假设。 详见均摊分析看一串操作成本。
100n²与5n³在正n小于20时后者操作数更少,n=20持平,更大时前者增长更缓。例子说明渐近阶更好不自动胜过所有现实规模;操作成本和内存行为也需相同或有据比较。先了解输入范围与分布,再用代表数据验证,不能只按复杂度标签排序决定实现。 详见实际输入范围影响实现选择。
bisect返回保持排序的插入点,不自动保证目标已存在,示例还需边界与相等检查。对有序静态数据的多次查询可减少比较;为一次查询排序不一定值得,插入列表仍需移动元素,不因定位是对数阶就变成整体对数插入。排序还改变位置含义,不能把排后索引当原列表索引。 详见二分查找要计算维护有序的代价。
逐项检查结果列表是否已有值可能形成平方级工作,哈希集合可在常见假设下减少重复查找。代价是要求可哈希元素,并失去原序列顺序和重复次数等信息;若这些参与业务含义,不能直接用set替换。集合和字典都用哈希技术不表示内部实现完全相同,也不是每次成员查询绝对常数时间。 详见集合去重要保留需求中的信息。
反复调用的计算若与循环变量及会变化状态无关,可移到循环外减少工作量。外提前要确认异常时机、副作用和状态依赖,否则少算一次也可能改变结果。嵌套循环值得特别检查,但“尽可能全移出去”不是不需证明语义的机械变换。 详见循环外提须保持行为等价。
deque擅长两端追加和弹出,而列表中间随机索引更合适。原书由双向链表推断中部插入也必然更快不成立,deque在中间索引和定位仍有线性代价。根据真实操作比例选择容器,教材几组timeit只展示其环境下的特定操作,不能承诺任何版本与规模的固定倍数。 详见双端优化不代表任意位置都快。
deque可作为单线程队列基础;线程间生产消费还需要等待、通知、容量和任务完成等协作语义。queue等专用接口可以提供相应能力,不能由某个append/pop操作受保护就推断一组复合操作原子。选择按业务协议而非只比较一次入队耗时,避免把数据容器当完整并发方案。 详见容器原语不等于通信协议。
defaultdict在下标缺失时调用无参工厂,将生成值存入映射;int工厂使首次计数从0开始。get等其他访问不因此自动调用工厂,语义要按实际操作判断。它减少重复初始化代码,不表示任何查询都创建值,也不能把工厂异常静默当正常默认值。 详见默认工厂只在特定缺失访问触发。
教材比较setdefault与d[“x”]的循环,在首次访问后键已存在,后续主要测命中路径,不能据此宣称缺失工厂普遍更快。setdefault存在键时也不必重新写值;常数阶同样可能有不同常数成本。O(1)并不是所有复杂度概念中“再无更低”的绝对下界,先明确被测操作与模型。 详见微基准要区分首次缺失和命中。
namedtuple工厂生成tuple子类,Customer的firstname/lastname使字段含义比纯数字下标清楚,同时保留序列使用方式。字段绑定不可改不等于成员对象深不可变,内存与属性访问收益也取决于具体比较对象。字典平均与最坏复杂度要分开,不能由“均摊最坏O(n)”混写就推断所有字典访问不可用。 详见命名记录兼顾字段语义与序列。
对难以在时限内精确求解的优化问题,可评估足够好且及时的结果,但需由用户目标决定允许放宽什么。启发式通常不自动提供质量证明,近似算法的保证依问题条件与算法而定。原书TSP结果仅差2%—5%的说法不构成普遍保证,也不能由NP-hard推出所有实例必然难解。 详见精确程度是需要明确的契约。
模拟退火、遗传算法、禁忌搜索、蚁群和进化计算提供可适配不同问题的搜索策略,避免每次从零设计搜索过程。它们仍需编码状态、目标和约束、选择参数并评估结果;通用框架不意味着随便套用就会更优。原书只列出入口,本卡不补造未展开的实现和成功率。 详见元启发式提供搜索框架。
将邮件准备与提交移交后台队列,可让HTTP响应不必等待全部外部处理,释放请求worker;系统仍需向用户表达受理状态与后续结果。SMTP接受本身也不等于最终送达,但不能因此省略确认任务已可靠受理。图12-1⁄12-2只说明等待位置变化,不证明总耗时更短或任务不会丢失。 详见异步受理区别于工作已完成。
队列可缓冲瞬时故障并跨机器分配工作,也引入重复投递、排队延迟、日志关联和服务维护成本。重新排队不是对任何副作用都安全,处理器需识别重复并按业务设计幂等或补偿。Celery与RQ是原书工具入口,选择前要确认实际任务与消息语义;本次没有启动队列或发送消息。 详见后台重试需要处理重复执行。
概率型结构只回答设计好的问题,在误差模型与适用条件下减少存储或处理成本。不能笼统说回答要么正确要么近似就忽略误差方向和概率条件;应说明允许怎样的错误、是否需回源确认。AMQ与Bloom过滤器仅是原书提名,不补成已经适用于任何数据库的完整方案。 详见概率结构用精度换取资源。
HyperLogLog估计不同元素数量,不保存可供逐项取回的原集合,也不提供普通集合的成员查询接口。Redis文档的最多约12KB和0.81%标准误差描述该实现的空间精度,标准误差不是每次估计的最大误差保证。若业务要返回元素、精确计费或查成员,不能只因省内存就直接替换。 详见基数估计不能代替可枚举集合。
计算或外部读取昂贵且结果可重用时,缓存可减少重复工作;读取、编码和维护缓存的总成本也须低于所节省成本。确定性要考虑所有有效输入与版本,副作用调用不因返回值相同就适合跳过。带外部状态的数据则需定义可接受陈旧度,而不是见到慢函数就长期保存结果。 详见缓存必须复用仍然有效的结果。
Fibonacci调用树重复计算相同参数,缓存后可在常见单位操作模型下把递归求解从指数数量调用降到线性数量子问题。图12-3⁄12-4展示已计算与命中的区别,仍有递归深度和大整数运算成本;本章基例为1/1,应和第7章Cython的0/1区分。记忆化不保证任意递归都线性,也不依赖先算较大分支才成立。 详见记忆化合并重复子问题。
教材memoize只支持一个可作字典键的参数,闭包保存结果且无容量上限,不是通用缓存框架。它不保留函数元数据,也未协调并发首次计算;相同参数只计算一次的结论限于示例顺序执行和相应缓存存活期间。缓存结果若可变,复用同一对象也会改变调用方对新对象的预期。 详见缓存包装需要参数与容量契约。
lru_cache按最近使用和maxsize管理条目,None允许无界增长,不提供按年龄到期。参数需可哈希,typed=True可区分直接参数类型;typed=False也不保证任意不同类型总共用条目。内部结构线程安全不表示同键并发只算一次,容量、命中情况及对象引用保留均应结合实际负载判断。 详见最近使用策略与时效策略不同。
数据库、文件或API状态会改变,按TTL使用过去结果意味着在窗口内可能看到陈旧状态。期限是业务可接受陈旧度的一种策略,不会自动保证跨组件强一致;数据变更、权限和版本边界也可能需要使缓存失效。判断收益须包括命中率、回源、刷新与出错策略,不能仅比较一次get和一次重算。 详见到期时间不证明数据仍新鲜。
多个进程共用Redis或Memcached可减少各自缓存副本和失效管理分散,仍不自动解决源数据更新、竞态或网络故障。进程内缓存也并非罕见或必然错误,应按访问局部性、容量和一致性目标选层次。专用服务增加通信和运维成本,不能只因用户并发就认定它是唯一最佳方案。 详见共享缓存减少副本但非自动一致。
Memcached的set/get/delete围绕键值管理,客户端连接后设expire演示失效时间。值还可能被驱逐或服务不可用,不能把设过值当永久存储保证;miss后需要明确如何重算或处理失败。原书pymemcached与实际import pymemcache拼写不一致,客户端版本和编码契约也需核对,本次未连接缓存服务。 详见缓存接口需要定义未命中行为。
Memcached保存字节数据,复杂Python对象要经客户端编码和解码,原书JSON序列器用flags区分原字符串与JSON。JSON往返不保留任意类、元组或非字符串键等全部Python语义,字符串与bytes也需明确;未知flags应按协议处理。多个客户端或版本共用缓存时,格式演进和兼容比只写两个转换函数更重要。 详见序列化格式与标志共同组成协议。
函数名和参数的简单拼接可能歧义或跨模块冲突,复杂映射和对象需要稳定、明确的编码。按该原则推导,查询参数、数据源和权限上下文等若会影响结果,也需进入键或隔离边界,不能只用SQL文本代替调用身份。键设计要保证相同身份可复用、不同身份不误共享,并考虑版本和长度限制。 详见缓存键应覆盖结果的有效身份。
对较长的稳定编码算摘要可满足缓存键长度等限制,但编码本身若丢失关键上下文,散列无法修复。摘要计算有成本,有限长度也不能数学保证永不碰撞;应按错误影响选择算法与必要校验。它不是对输入加密,也不能由采用MD5或SHA名称就声称键唯一且安全。 详见散列缩短键不消除语义冲突。
原书依据 · 30 处
- 第12章 优化——一些强大的技术 第12章 优化——一些强大的技术 · 查看原书依据
- 第12章 优化——一些强大的技术 12.1 降低复杂度 · 查看原书依据
- 第12章 优化——一些强大的技术 12.1.1 循环复杂度 · 查看原书依据
- 第12章 优化——一些强大的技术 12.1.2 大O记法 · 查看原书依据
- 第12章 优化——一些强大的技术 12.1.2 大O记法 · 查看原书依据
- 第12章 优化——一些强大的技术 12.1.2 大O记法 · 查看原书依据
- 第12章 优化——一些强大的技术 在列表中搜索 · 查看原书依据
- 第12章 优化——一些强大的技术 在列表中搜索 · 查看原书依据
- 第12章 优化——一些强大的技术 在列表中搜索 · 查看原书依据
- 第12章 优化——一些强大的技术 12.3.1 deque · 查看原书依据
- 第12章 优化——一些强大的技术 12.3.1 deque · 查看原书依据
- 第12章 优化——一些强大的技术 12.3.2 defaultdict · 查看原书依据
- 第12章 优化——一些强大的技术 12.3.2 defaultdict · 查看原书依据
- 第12章 优化——一些强大的技术 12.3.3 namedtuple · 查看原书依据
- 第12章 优化——一些强大的技术 12.4.1 使用启发式和近似算法 · 查看原书依据
- 第12章 优化——一些强大的技术 12.4.1 使用启发式和近似算法 · 查看原书依据
- 第12章 优化——一些强大的技术 12.4.2 使用任务队列和延迟处理 · 查看原书依据
- 第12章 优化——一些强大的技术 12.4.2 使用任务队列和延迟处理 · 查看原书依据
- 第12章 优化——一些强大的技术 12.4.3 使用概率型数据结构 · 查看原书依据
- 第12章 优化——一些强大的技术 12.4.3 使用概率型数据结构 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5 缓存 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.1 确定性缓存 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.1 确定性缓存 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.1 确定性缓存 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.2 非确定性缓存 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.3 缓存服务 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.3 缓存服务 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.3 缓存服务 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.3 缓存服务 · 查看原书依据
- 第12章 优化——一些强大的技术 12.5.3 缓存服务 · 查看原书依据
Python高级编程(第2版) · 第13章 并发
并发安排多个工作在时间上交错推进,并行才是同时执行。线程、进程与事件循环把工作、等待和隔离放在不同位置,因此有不同的共享状态、通信和失败边界。后面Scrapy的反应器是事件驱动路线的具体应用;它能在I/O等待期间推进别的工作,却不能自动替CPU密集计算增加执行资源。
并发让多个任务在一段时间内共同推进;并行描述多个执行在同一时刻发生。单线程事件循环也可并发等待I/O。Lamport论文用事件间的因果偏序定义并发,不能由此推成所有并发程序都没有顺序依赖。原书将论文标为1976年且标题用Systems,正式发表为1978年CACM,标题末尾是a Distributed System。此次仅核对出版信息及并发定义,没有阅读全文。 详见并发与并行是两个维度。
避免界面或新请求被长任务挡住,与缩短全部工作完成时间是不同目标。并发可以把外部等待重叠,多核并行则可能提高CPU计算吞吐;调度、通信和共享状态也带来开销。先说明目标是响应延迟、吞吐还是总耗时,再选择模型,不能只凭任务数增加就断定更快。 详见响应速度与处理能力分开衡量。
线程共享进程内对象,读取状态后更新的一组操作可能因交错而失去前提。锁应保护需要共同成立的不变量,而非假设某行Python代码看似简单就必然原子。多核并行收益取决于解释器、工作内容和同步成本;单核上的I/O重叠仍可能改善响应。 详见共享内存要求复合操作同步。
RLock允许持锁线程再次获取同一把锁,且每次获取都须配对释放。它解决同线程重入这一类自我等待,不会自动打破线程甲持A等B、线程乙持B等A的循环等待。原书把可重入锁紧接在此死锁例后容易误导;跨锁顺序和资源依赖仍需设计。 详见可重入不能解开交叉等待。
常规带GIL的CPython中,纯Python CPU计算不能仅靠增加线程获得多核字节码并行;等待I/O或扩展释放GIL时则可能重叠工作。不能推成任何I/O调用都会释放锁或任何第三方扩展都能并行。书中GIL将永远保留的预测已经过时,已有自由线程构建,具体支持条件见本书第7章相关卡。 详见线程收益受解释器与调用限制。
把文件复制或图像处理移到后台,可让主线程继续刷新进度和响应操作。这首先改善交互可用性,不能据此证明任务本身更快;取消也需要工作逻辑配合。界面线程规则由具体框架决定,不应把任何后台执行都当作可以直接修改界面。 详见后台任务先服务交互体验。
线程可把外部转换程序和数据库等待重叠,但把结果存进数据库并不会自动使全部线程相互独立。数据库事务只保护其定义的操作,进程内对象、任务状态和跨资源副作用仍可能共享。原书据共享存储推导不需锁定过强,应逐项识别实际共享对象和一致性边界。 详见数据库不替代线程协作协议。
Thread的target和args指定工作,start启动,join等待线程结束;join本身不把工作函数异常重新抛给调用者。对每个输入建一个线程适合解释基本机制,大输入会放大资源消耗。地理编码例的2.79秒等是原书环境输出,本机没有发请求或运行计时,也未核验全局客户端线程安全。 详见启动与等待不负责传播异常。
固定worker数限制同时执行的线程,但先把全部输入塞入无界Queue,结果又等全部完成后才消费,仍可占用大量内存。若输入持续流入,还需容量和生产消费协议。教材空队列时退出的worker只服务预先装好的有限任务,不能直接当长期在线池。 详见线程数有界不等于积压有界。
queue.empty()与随后get之间可有其他线程抢走任务,因而不能把空检查当同步保证。示例通过非阻塞get捕获Empty才真正处理此竞争;静态生产已结束时据此退出有其边界。持续生产场景需要明确结束信号,而不是见到瞬时无任务就结束服务。 详见空检查不是出队的原子前提。
工作队列和结果队列是两条通信通道,不是collections.deque意义的双端容器。示例在主线程等待worker后统一打印结果,按完成/入队顺序收集,不保留输入顺序。print并非不能在线程中调用;真正需处理的是输出交错、缓冲、阻塞和所需的顺序保证。 详见结果收集要明确输出顺序。
Queue.join等待未完成任务计数归零,每次成功get后无论业务成功或失败都应正确配对task_done。把task_done放在finally可避免普通业务异常漏记而永久等待,但不会让卡住的网络调用自动结束,也不代表任务成功。示例只在进程内协调,没有持久投递保证。 详见每次取任务都要结清计数。
worker把异常对象放进结果队列,可让主线程有机会统一报告;示例遇到第一个异常就raise,后续结果和异常尚未统一处理。完成所有join不表示全部工作成功。需要区分任务结果、错误与停止策略,教材没有给出超时、取消和多错误汇总的完整协议。 详见错误通道仍需定义汇总策略。
Throttle按经过时间补充令牌,消费时扣减,令牌上限限制闲置后积累的突发量。本例将容量设成rate且从零开始,这是具体策略,不是所有令牌桶的定义;它也不等价于严格滚动窗口或每天额度。一个实例只能协调共享它的这些线程,无法自动约束其他进程或客户端。 详见令牌桶同时限制速率和突发。
Throttle的tokens、last和扣减决策由同一把Lock保护,避免多个线程同时观察足额后重复发放。锁保护的是共同状态转移,不能只给最后赋值加锁。书中实现仍受墙上时钟变化、整数截断和参数有效性影响,rate非正或申请超过容量可能无法进展。 详见限流状态必须共同更新。
while not throttle.consume(): pass反复争锁和读取时间,占用CPU,却没有完成请求工作。实际等待策略还应考虑休眠或通知、超时及取消;原书没有完成这些设计。外部接口当时的每秒和每日限额只是历史条件,本例也未协调每日额度,不能据此认定符合当前服务政策。 详见忙等会把等待变成计算负载。
多个独立解释器进程可在常规GIL构建下并行进行CPU工作,代价是创建、通信和数据传递。独立地址空间减少偶然共享对象,但文件、数据库、锁和进程通信仍可能形成冲突或死锁。书中唯一内置多核方案是版本背景判断,不能当成对当前Python所有构建的永久结论。 详见进程隔离减少共享但仍有成本。
fork在父进程返回子PID,在子进程返回0,两者从同一位置继续。示例原先列表中的父PID被继承,之后各自追加自身PID,互不更新对方私有Python列表。复制语义不等于立即完整复制全部物理内存,也不等于已打开文件等外部资源完全独立;fork不是Windows通用接口。 详见派生后的对象不是同一份可变状态。
Process的target、args、start和join与Thread相近,但启动方式由平台、版本和配置决定,不可把所有POSIX进程都理解成fork。可重新导入主模块的启动方式需要正确的main入口保护,相关对象也需满足传递要求。示例的随机打印次序不是固定启动次序保证。 详见相似启动接口不保证相同机制。
multiprocessing.Queue把对象序列化后经进程通信传递,接收端得到重建值,不自动共享原对象身份。它与queue.Queue并非完整相同接口,前者没有task_done和join,需任务完成计数时应区分JoinableQueue。可序列化性、资源占用和发送接收生命周期都属于通信设计。 详见进程队列传递序列化后的值。
Pipe端点发送和接收对象时需约定协议;示例用if instance判断继续,会把0、空串等合法假值也当结束,而不只是None。父进程先发送全部数据再启动接收子进程,在数据量大到管道缓冲装不下时可能阻塞。关闭不用端点与检测EOF也需明确,教材未给出通用流协议。 详见管道结束标记要避开合法数据。
Value和Array提供共享ctypes存储及相应同步能力,但取出旧值再写回新值是一组操作,不能仅凭单次访问有锁就推断整体原子。应按不变量保护完整更新,且识别存储类型和进程间共享范围。它们与经Queue发送的对象副本是不同共享机制。 详见共享数值不使复合更新原子。
Pool.map以固定worker执行并按输入顺序返回结果,结果获取也可能抛出工作异常。示例的阻塞map完成后才离开with,因此结果已就绪;但Pool上下文退出实际调用terminate,不能据此说with会优雅等完所有未完成异步任务。池容量也不自动提供网络限速和请求超时。 详见池映射与池退出语义分开理解。
multiprocessing.dummy.Pool使用线程提供类似池接口,减少调用处改动,但共享对象、GIL、序列化和失败隔离语义不同。选择线程还是进程应按真实任务及依赖约束验证,不是只把import改掉就证明等价。示例共享API客户端是否线程安全仍是未核实前提。 详见接口兼容不能抹平执行差异。
greenlets、协程和tasklets都可表达应用内协作,但实现、调度及I/O接入方式不能视作同一种。Twisted、Tornado、Eventlet和Stackless在本节是历史工具入口,原书的社区活跃度与未来替代预测不作当前选型证据。重点是明确控制何时交还,而非按名字判断兼容。 详见协作模型有共同思想和不同实现。
单线程事件循环中的任务在明确的挂起点合作推进;操作系统仍会调度整个线程。普通阻塞文件或网络调用不会只因位于协程中就自动交还控制,await也只有在所等待操作需要挂起时才让别的任务运行。一个长时间不挂起的计算仍能挡住同循环其他任务。 详见异步等待需要真正交还控制。
调用async def函数得到协程对象,函数体尚未因此运行。可以在协程中await它,也可通过Task等途径调度;连续await两次通常是顺序等待,不因加了await就并行。事件循环负责推进等待和就绪工作,未被消费的协程对象不是已经开始执行的后台任务。 详见调用协程不等于调度任务。
time.sleep在事件循环线程中阻塞该线程;await asyncio.sleep使当前任务挂起,让同一循环处理其他就绪任务。教材无await的print_number并不能展示等待重叠,打印顺序也不是并发正确性的证据;随机时长的书面计时不是本机测量或固定性能承诺。 详见睡眠方式决定谁被阻塞。
教材向asyncio.wait传原始协程列表,是旧版写法;Python 3.11起该调用不允许直接传协程对象,应先有符合接口的Task或Future。等待结果是done和pending集合,不是把任意生成器当Future;超时返回也不自动取消未完成任务。程序入口可参考asyncio.run,不能假定循环外get_event_loop始终可用。 详见旧等待代码需要核对版本契约。
原书用Python 3.4的asyncio.coroutine装饰器和yield from解释3.5之前的生成器式协程;印成asyncio.couroutine是拼写错误。这是历史兼容背景,旧装饰器路径已经不属于当前受支持接口,不应把旧移植包方案直接推荐给现在的项目。迁移需按目标版本选择原生async/await。 详见历史协程语法不能照抄到新版。
requests式同步HTTP调用不会因包在async def里就变成异步I/O。aiohttp的请求上下文和响应JSON读取提供可等待接口,才允许等待期间处理其他任务。同步依赖也可借执行器桥接,书中全或无的说法过强;关键是不要让阻塞操作占住事件循环线程。 详见异步接口必须贯穿实际等待。
ClientSession复用连接资源,但应在运行中的异步上下文创建并可靠关闭。书中模块级创建、只在正常尾部手工close的旧写法,不能保证异常和取消时清理。使用async with明确所有权与生命周期,同时复用合适范围的会话,避免每次请求都创建会话的额外开销。 详见会话生命周期应覆盖异常路径。
地理编码示例读取results[0]并打印,只说明网络调用如何接入协程。实际还需处理HTTP和业务状态、空结果、超时、并发与配额,拼错地名也可能匹配意料外地点。无await的一段任务代码不会被同循环另一任务主动插入,但打印仍可能阻塞;跨await共享状态也未自动安全。 详见并发请求仍需验证返回语义。
Executor抽象把任务提交接口与具体线程或进程执行分开,submit返回concurrent.futures.Future。ThreadPoolExecutor和ProcessPoolExecutor是书中两种实现,并非对现在所有实现的穷举;选择仍需考虑工作负载和共享要求。相同接口减少调用耦合,不保证同样的隔离和性能。 详见执行器把提交与执行解耦。
concurrent.futures.Future.result在尚未完成时可阻塞,并可能抛出任务异常、取消或等待超时;不能保证最终一定成功返回值。asyncio.Future有不同契约,result不是同步阻塞等待的替代。二者名称相近不代表可直接互换,异步代码应使用受支持的包装或桥接接口。 详见两种未来对象不能直接混用。
loop.run_in_executor把同步函数交给执行器并返回可await的asyncio.Future,executor=None通常使用默认线程池。外部函数本身仍是阻塞工作,只是移到其他线程或进程;取消等待不代表运行中的线程函数已经停止。线程数、超时和关闭责任仍需明确,不能采用书中CPU数乘5作跨版本默认保证。 详见执行器桥接保住事件循环响应。
Executor.map返回可迭代结果,按输入顺序取值,任务异常可在取对应结果时抛出。书中用for消费,不能由用法近似就把它说成和Pool.map返回完整列表完全相同;慢的前序项还会影响结果何时可见。上下文管理负责执行器关闭,清理资源不代表所有任务业务成功。 详见映射返回值要按接口消费。
原书依据 · 37 处
- 第13章 并发 13.1 为什么需要并发 · 查看原书依据
- 第13章 并发 13.1 为什么需要并发 · 查看原书依据
- 第13章 并发 13.2.1 什么是多线程 · 查看原书依据
- 第13章 并发 13.2.1 什么是多线程 · 查看原书依据
- 第13章 并发 13.2.2 Python如何处理多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.2.3 何时应该使用多线程 · 查看原书依据
- 第13章 并发 13.3 多进程 · 查看原书依据
- 第13章 并发 13.3 多进程 · 查看原书依据
- 第13章 并发 内置的 multiprocessing 模块 · 查看原书依据
- 第13章 并发 内置的 multiprocessing 模块 · 查看原书依据
- 第13章 并发 内置的 multiprocessing 模块 · 查看原书依据
- 第13章 并发 内置的 multiprocessing 模块 · 查看原书依据
- 第13章 并发 内置的 multiprocessing 模块 · 查看原书依据
- 第13章 并发 内置的 multiprocessing 模块 · 查看原书依据
- 第13章 并发 13.4 异步编程 · 查看原书依据
- 第13章 并发 13.4.1 协同多任务与异步I/O · 查看原书依据
- 第13章 并发 13.4.2 Python中的 async 和 await 关键字 · 查看原书依据
- 第13章 并发 13.4.2 Python中的 async 和 await 关键字 · 查看原书依据
- 第13章 并发 13.4.2 Python中的 async 和 await 关键字 · 查看原书依据
- 第13章 并发 13.4.3 老Python版本中的 asyncio · 查看原书依据
- 第13章 并发 13.4.4 异步编程实例 · 查看原书依据
- 第13章 并发 13.4.4 异步编程实例 · 查看原书依据
- 第13章 并发 13.4.4 异步编程实例 · 查看原书依据
- 第13章 并发 13.4.5 使用 futures 将异步代码同步化 · 查看原书依据
- 第13章 并发 13.4.5 使用 futures 将异步代码同步化 · 查看原书依据
- 第13章 并发 13.4.5 使用 futures 将异步代码同步化 · 查看原书依据
- 第13章 并发 13.4.5 使用 futures 将异步代码同步化 · 查看原书依据
Python高级编程(第2版) · 第14章 有用的设计模式
设计模式为反复出现的对象协作问题提供命名与结构。创建、组合和行为分工可帮助讨论设计,但Python的模块、可调用对象和动态协议已能直接表达一些其他语言需要额外类层次的结构。模式应由具体责任与变化点引入,并用前面的可读性、测试和成本要求检验,不是项目必须收集的装饰。
设计模式总结反复出现的设计问题和协作结构,创建型关注对象生成,结构型关注组合,行为型关注责任和交互。Python已有类、模块、可调用对象等机制,不能为对应GoF名称而照搬其他语言的层级。书中挑选若干例子不是对其他模式没有价值的证明,重点是识别问题再选择表达。 详见模式要按语言机制重新表达。
单例限制某个定义范围内实例数量,不自动提供线程安全或跨进程唯一性。把数据库连接器或文档ID分配器做成进程内单例,不能证明没有其他进程和外部客户端与数据库交互,更不能单靠它保证全局ID唯一。原书这些例子只说明局部共享入口的动机。 详见单例的唯一范围需要说清楚。
书中new读取cls._instance,子类可继承已写在基类上的缓存,于是先创建基类再创建子类会拿到基类对象;相反顺序可能各有实例。问题来自缓存属性查找和赋值的层级,而非对象ID比较失灵。依赖实例创建顺序的类型结果会破坏调用前提,不宜把此实现当可安全继承的通用单例。 详见实例缓存继承会改变创建结果。
元类call以具体cls为键保存实例,可避免书中父子类共用一个_instance的顺序问题,但检查再创建仍未包含并发同步。Borg则让不同实例共用dict,共享状态而非保证同一对象;继承和属性访问定制仍影响行为。两种方案都不应笼统声称自动解决全部单例风险。 详见按类缓存与共享状态是两种方案。
常规import按模块名通过sys.modules复用模块,因此模块级变量加函数常足以提供共享入口,省去单例继承技巧。该范围受解释器、模块身份和加载生命周期限制,不能推导跨进程唯一或永不重建。选择它仍需明确初始化、资源关闭和调用责任;不是模块中的状态天然免于并发问题。 详见模块共享入口有明确生命周期。
DublinCoreAdapter把文件名转换成供DublinCoreInfo.summary下标访问的title、creator和languages;消费者依赖这些行为而不是具体dict类型。示例title来自去扩展名的文件名、languages固定en、缺字段返回Unknown,并没有实际解析文档元数据,不能把它当完整都柏林核心提取器。StringIO则示范文本可以呈现文件式读写接口。 详见适配器转换调用方所需接口。
zope.interface用Interface、Attribute和方法声明契约,以implementer声明类实现接口。verifyClass检查类的方法等可检查条件,verifyObject还检查实例属性;Circle虽有area/perimeter却缺width,故实例验证失败。验证通过也不证明面积公式、边界或全部行为语义正确。I是前缀而非原书所写后缀,接口方法不写实例self。 详见显式接口检查不证明行为正确。
接收者按实际需要的方法和属性工作,可让不同类互换,而不必枚举每种具体类型。只是同名方法并不足以保证参数、结果和语义满足要求,接口适配也要补齐这些行为。原书把静态类型语言说成几乎不可行过强,其自己随后列举的接口机制正是另一种依赖契约的方式。 详见鸭子类型也依赖行为契约。
ABCMeta与abstractmethod阻止缺少所需抽象方法实现的显式子类实例化;DummyPushable实现push可创建,IncompletePushable缺它则抛TypeError。抽象方法不必没有实现,也不会自动检查覆盖方法的完整签名和业务语义。书中声称展示继承ABC的替代写法却重复元类版本,真正替代是继承ABC。 详见抽象方法保护显式继承的完整性。
Pushable.subclasshook沿候选MRO查找push名称,返回True让无继承关系的类也被视作兼容,无法判定时返回NotImplemented交回默认机制。此例不核对签名、可调用性或行为,不意味着识别成功就获得基类方法实现。类型关系的认可与代码复用、实现检查应分开理解。 详见结构识别钩子不是行为证明。
type(x)==list排除列表子类;isinstance能接纳子类,但枚举list/tuple/range仍可能排除符合所需能力的自定义对象。选择接口或ABC可表达实际需求,但并非所有精确类型检查都无意义。要先确定调用契约,避免为泛化而接受缺少必要语义的对象。 详见类型门槛应对应实际能力。
函数注解表达开发者预期,Python运行时不自动强制其类型。ensure_interface只是一个自定义检查器,仅处理注解对象是ABCMeta实例的参数,不是任意typing表达式的完整验证器。书中没有值得推荐的类型检查工具是历史判断,不代表现在必须自行造工具;IRectange拼写也与已定义类不一致。 详见注解与强制检查需要分开设计。
教材ensure_interface在wrapped末尾调用function(*args, **kwargs)却没有return其结果,因而被包装函数即使返回有用值,调用者也只会得到None。draw_rectangle只打印所以没有暴露这一差异。把验证加在函数外层时,原调用的返回值和异常契约仍需保留,wraps维护元数据不替代结果传递。 详见包装检查不能丢失调用结果。
inspect.signature.bind把传入参数映射到形参,bound.arguments默认仅含显式绑定的值,故示例循环不会检查未传的默认参数。若设计要求检查默认值需有意识使用apply_defaults,变长参数等也需专门解释。示例还未校验返回注解,不应把局部检查器说成所有调用的完整类型保障。 详见绑定实参不自动补齐默认值。
IRectangle用抽象width/height和area/perimeter表达只需矩形能力的约束。原书abstractproperty已弃用,可用property配合abstractmethod表达;具体子类仍需提供对应属性。只在类字典中查到名称,无法证明属性读取总成功或面积周长符合矩形语义,所谓接口验证要限定实际检查范围。 详见抽象属性也要按现代接口表达。
Container、Iterable、Callable、Hashable和Sized描述成员测试、迭代、调用、哈希和长度能力。Hashable不是对象本身为哈希表;有些通过getitem实现旧序列迭代的对象也不会被Iterable检查识别,真实判断可迭代需尝试iter。复杂接口不能只靠几个同名方法就断定,优先复用标准ABC而非无条件重写。 详见集合接口识别存在语义边界。
Client经Proxy访问Subject,代理可控制何时加载内容、缓存或访问远程资源。Url在构造时已调用urlopen建立请求,headers可在显式read正文前使用,并非完全没有网络请求或任何底层预读。主体读取还会消耗流且需可靠关闭,教材没有close接口,不能当完整资源包装。 详见代理保留资源句柄并推迟工作。
同一文档在多个位置呈现,可由代理保存访问数、权限等位置属性,并指向共同主体内容,减少复制及内容版本同步。共享指向只解决相应的内容身份问题,不自动保证权限正确、外部更新及时可见或所有副本强一致。Last-Modified只是示例使用的响应信息,不能假定每个资源都有该字段。 详见共享主体与位置状态可以分离。
外观把常用的子系统协作组织成简单高层API,让使用者不必了解每一步底层调用。Python包级函数即可表达,不一定增加类;Requests是原书示例。入口应围绕实际使用反馈迭代,简化也可能带来开销和抽象边界,不能只凭封装层数判断好坏。 详见外观从使用反馈提炼高层入口。
Event用register/unregister维护观察者,notify构造携带subject的事件并逐个调用观察者。新索引等特性可订阅创建/修改/删除事件,而不把索引调用散布在每个业务函数。但这依赖所有相关改变都触发约定事件;不是注册一次就能捕获绕过通知路径的写入。此例是同步调用,不是持久消息系统。 详见事件通知把扩展与主体解耦。
Event._observers是类级可变列表,子类未另建列表时继承同一对象,向一个事件子类注册就可能影响其他子类通知。示例只展示WriteEvent,未验证多事件隔离;不能由使用cls就推断每个子类天然各有订阅表。需要按实际期望明确每类事件的注册表归属。 详见继承注册表会混合事件订阅。
示例直接遍历观察者列表,某个回调抛异常会中断后续通知,回调注册或注销也可能改变正在遍历的列表。它还持有观察者引用,何时注销属于生命周期责任。书中将它定位为说明性实现,事件顺序、载荷与这些边界需明确,不能直接宣称可靠广播或线程安全。 详见通知循环需要定义失败与变更。
VisitableList和VisitableDict的accept分别委派visitor.visit_list/visit_dict,Printer集中提供打印算法。这样同一数据可接入不同算法,容器不必塞进所有操作;具体访问入口和支持类型仍需约定。图14-3为一般访问入口,代码使用命名visit方法而非图上的统一call,两者是抽象与具体实现层次。 详见访问者把算法移出数据容器。
visit函数拼接visited.class.name得到visit_TYPE方法,省去每个容器的accept改动。它按精确名称寻找,不能自动按继承关系回退,不同模块同名类也可能冲突;没有visit_tuple时按例抛AttributeError。ast.NodeVisitor是相关入口,但当前Python已有match结构模式匹配,书中没有类似匹配机制属于历史背景。 详见按类型名分派有明确扩展代价。
os.walk给出目录root与其文件名列表,示例按扩展名找处理函数,却只把file传给它;实际打开文件通常还需root与file组成完整路径,否则不同目录同名文件会混淆。hasattr也不证明属性可调用,示例没有返回语句所以walker为None。原书只打印文件名,不代表完整文件读取管线。 详见目录遍历必须保留文件位置。
Indexer.process依次规范化、拆分、去停用词、词干处理、统计频率;BasicIndexer补齐后两项,图中FastIndexer改写全部步骤,LocalIndexer进一步依赖外部数据。固定骨架让不同实现共享处理顺序,但子类应满足各步骤的输入输出前提,不能把继承本身当作里氏替换成立的证明。 详见模板固定流程并开放变化步骤。
BasicIndexer只按空白拆词,删除有限英文停用词,并用rstrip去掉末尾连续的指定元音字符。这不是删除固定后缀,更不是可靠词形还原;标点和所有语言的分词也未处理。Counter能统计这条示例管线产生的结果,不能由输出像词频表就认定语言学处理正确。 详见示例文本管线不是真实词干算法。
模板思想可用可调用对象或参数委派某些步骤,不一定用子类重写。sorted以及min/max的key参数让调用者提供比较键,体现稳定算法使用可替换计算。这里是同一设计思想的轻量表达,不应声称任何带key参数的函数都具有与Indexer相同的类层次。 详见变化步骤也可通过函数参数注入。
原书依据 · 28 处
- 第14章 有用的设计模式 第14章 有用的设计模式 · 查看原书依据
- 第14章 有用的设计模式 单例 · 查看原书依据
- 第14章 有用的设计模式 单例 · 查看原书依据
- 第14章 有用的设计模式 单例 · 查看原书依据
- 第14章 有用的设计模式 单例 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.1 适配器 · 查看原书依据
- 第14章 有用的设计模式 14.2.2 代理 · 查看原书依据
- 第14章 有用的设计模式 14.2.2 代理 · 查看原书依据
- 第14章 有用的设计模式 14.2.3 外观 · 查看原书依据
- 第14章 有用的设计模式 14.3.1 观察者 · 查看原书依据
- 第14章 有用的设计模式 14.3.1 观察者 · 查看原书依据
- 第14章 有用的设计模式 14.3.1 观察者 · 查看原书依据
- 第14章 有用的设计模式 14.3.2 访问者 · 查看原书依据
- 第14章 有用的设计模式 14.3.2 访问者 · 查看原书依据
- 第14章 有用的设计模式 14.3.2 访问者 · 查看原书依据
- 第14章 有用的设计模式 14.3.3 模板 · 查看原书依据
- 第14章 有用的设计模式 14.3.3 模板 · 查看原书依据
- 第14章 有用的设计模式 14.3.3 模板 · 查看原书依据
Python高级编程(第2版) · 欢迎来到异步社区!
本项是异步社区的出版与运营介绍,涵盖图书购买、随书资源、作译者互动、勘误、写作和会议信息。它提供查找配套资源的线索,没有展开新的编程机制,故逐单元记录零卡去向。上线时间、规模、积分及折扣均属于出版时宣传,不当作当前服务承诺;本次没有注册、购书、下载附加资源、扫描加入社群或发送消息。
精通Python爬虫框架Scrapy · 内容提要
第二册以Scrapy1.0为背景,说明从抓取、解析到存储、性能与分布式的学习路径。框架的数据提取用途已独立成卡;提要对适用读者的说明是阅读入口,不代表任意站点都能直接成功采集。
Scrapy是组织数据抓取与结构化提取的Python框架,可把请求、页面解析、清洗和输出等工作放进可扩展流程。它提供可复用结构,避免每个项目重新拼装相同机制;仍需开发者编写适合目标数据源的逻辑。框架不自动保证外部服务可靠、所有解析正确或任意负载下低成本,原书Scrapy1.0示例需按版本理解。 详见Scrapy组织采集与提取。
原书依据 · 2 处
精通Python爬虫框架Scrapy · 关于作者
作者简介说明Dimitrios Kouzis-Loukas的多学科和分布式系统背景,并表达开源立场。ECC只是可靠性的类比,没有展开纠错机制;资历和职务不作当前事实核验或独立方法论。
精通Python爬虫框架Scrapy · 关于审稿人
审稿人Lazar Telebak的简介列出抓取、导出、数据库与前端经历。具体库和存储名称仅是履历提名,已登记引用,不补造集成教程。
精通Python爬虫框架Scrapy · 前言
第二册前言通过临时脚本与可维护采集平台的对比,说明框架可扩展组织的价值,再给出全书路线。其Vagrant环境与离线示例支持依赖原书配置,硬件指标和几小时上手等经验不当普遍保证。后半部深入Twisted和性能,不能从前半部易入门推断无需进一步学习。
框架为不同数据源定制行为并组织输出,复用Scrapy组织采集与提取的定位。这里的可靠性与节省成本是目标,需要由真实部署与测量确认。
原书依据 · 2 处
精通Python爬虫框架Scrapy · 第1章 Scrapy简介
本册先用网络与写入延迟解释为什么串行脚本容易把时间消耗在等待上。Scrapy组织请求、响应解析和后续处理,使多项I/O工作可以同时在途;吞吐、延迟与并发数量的关系则给后续性能章建立口径。提高在途数量仍受远端和本地资源约束,不能按理想示例数字直接确定生产配置。
原书假设16页/秒、每页100条房源,则流入1600条/秒;每条写入平均3秒,在稳定流量且无其他约束的近似下,需约4800个同时在途写入才能维持吞吐。这是容量估算,不是打开4800连接就保证性能。数据库容量、连接池、背压和内存也会约束系统,不能由抓取并发直接推出存储能跟上。 详见并发容量要按吞吐和等待估算。
Scrapy的事件驱动结构可把网络等待重叠,在单个事件循环中推进许多任务,避免每个连接独占线程。但阻塞清洗、数据库调用或计算仍可能挡住循环,共享状态跨异步等待也有一致性问题。原书远程服务再慢都不会毁灭性能、无需同步及内存仅接近结果量的概括过强,仍需按负载设计。 详见事件循环减少线程等待开销。
Spider负责解析响应与产生数据/后续请求,Pipeline承担清洗、验证及输出处理。按框架结构组织减少团队重新理解自定义管线的成本,但升级框架不自动保证业务解析仍正确,也不会消除新成员学习领域数据的需要。原书对社区响应速度和人才可得性的描述属当时观察,不作为现在的保证。 详见框架约定降低协作理解成本。
Scrapy选择器在解析基础上提供XPath/CSS访问,可帮助处理真实网站不规范的HTML和编码,但容错解析不是原始标记或浏览器DOM完全一致的保证。应根据实际响应检查选择器的匹配和空值,不能把成功解析当作字段正确。Beautiful Soup、lxml和selectors是原书相关入口,后续章节再展开具体语法。 详见容错解析仍需验证提取结果。
设计探索阶段用有代表性的数据检查异常值、重复、无效字符、长字段及偏态分布,可提前识别字段丢弃、冷启动和性能瓶颈。书中州名过长导致整州遗漏、推荐商品含停产和零销售条目说明问题常来自数据分布而非表面功能。样本覆盖仍有限,不能据一次数据实验承诺全部生产行为。 详见真实数据能提前暴露设计约束。
MVP用有限功能向有限用户验证业务假设,只有产品1/用户433的空泛占位数据会要求用户作大量想象。具体商品、评价和可理解的上下文更利于反馈,但真实数据本身不证明功能已实现或假设已成立。原书把数据准备前移,用反馈决定继续投入或转向,而非把爬到数据当成产品成功。 详见可理解的数据帮助验证产品假设。
在用户允许的前提下,用其已有公开资料补齐新服务中的简介等字段,可减少重复填表,帮助更快看懂产品。应先说明来源、映射及需要用户确认的内容;原书Google表单是假设性对比,不是对其真实完整增长原因的考证。自动抓取也不是所有数据录入的替代,更不自动授予使用权。 详见复用已有资料减少重复录入。
准备采集时同时问来源是否可信、替代成本多少、双方竞争或合作、是否需要更正式沟通,可让数据依赖风险在写大量代码前显现。还需考虑给来源与社区带来何种回馈,避免把持续可用性视为单方可控制。原书两类社区融合只是收益设想,不构成已验证的用户规模或商业结果。 详见数据依赖应及早评估合作关系。
并发和下载速度会让爬虫负载高于普通访问,需设置可接受的速率与并发并观察响应,变慢时降低强度。AutoThrottle按下载延迟调整请求间隔,仍受并发及延迟设置约束,不保证任何目标站都无压力。这里只整理机制,没有启动爬虫或请求原书目标站。 详见爬取强度要随服务表现调整。
按目标规则配置robots处理、User-Agent和联系渠道,使站点能识别并表达访问限制。Scrapy提供对应配置,不等于每个项目均已正确启用;原书BOT_NAME作身份的默认说法需按版本设置核对。robots.txt是爬取指引,RFC9309明确它不是访问授权;原书多数网站允许不署自己名重新处理的泛化不能作通用许可判断。 详见爬虫身份和访问规则要显式配置。
Scrapy组织抓取和结构化提取,仍需面向站点编写解析逻辑;它不因遍历页面就自动构成通用搜索引擎或数据库。提取结果可送入Pipeline、导出文件或外部存储/索引系统。书中既不存储也不索引应理解为它不是这些专用服务,而非没有输出和持久化集成能力。 详见采集框架与索引存储分工不同。
原书依据 · 11 处
- 第1章 Scrapy简介 1.1 初识Scrapy · 查看原书依据
- 第1章 Scrapy简介 1.1 初识Scrapy · 查看原书依据
- 第1章 Scrapy简介 1.2 喜欢Scrapy的更多理由 · 查看原书依据
- 第1章 Scrapy简介 1.2 喜欢Scrapy的更多理由 · 查看原书依据
- 第1章 Scrapy简介 1.4.1 开发健壮且高质量的应用,并提供合理规划 · 查看原书依据
- 第1章 Scrapy简介 1.4.2 快速开发高质量最小可行产品 · 查看原书依据
- 第1章 Scrapy简介 1.4.3 Google不会使用表单,爬取才能扩大规模 · 查看原书依据
- 第1章 Scrapy简介 1.4.4 发现并融入你的生态系统 · 查看原书依据
- 第1章 Scrapy简介 1.5 在充满爬虫的世界里做一个好公民 · 查看原书依据
- 第1章 Scrapy简介 1.5 在充满爬虫的世界里做一个好公民 · 查看原书依据
- 第1章 Scrapy简介 1.6 Scrapy不是什么 · 查看原书依据
精通Python爬虫框架Scrapy · 第2章 理解HTML和XPath
HTML把网页组织成节点与属性,XPath在这棵结构中选择需要的节点或值。选择器处理的是已取得的页面内容,浏览器中看到的动态结果未必已在响应里;先识别实际输入再决定选择路径。节点集合、相对路径与字符串提取的区别会影响后续Item字段,选择器“有结果”还需核对是否命中目标。
浏览器从URL发请求,得到HTML文本,将其解析成树,再结合布局与样式绘制界面。抓取时需要分清观察的是响应内容、内存DOM还是屏幕像素;三者不同,屏幕上看到的文字不保证原始响应中就以同样形式存在。图2.1展示的是理解抓取的简化链路,不是所有网络加载与脚本行为的完整模型。 详见页面内容经过多种表示形式。
DNS帮助把主机名解析到可连接地址,URL的路径和查询等用于定位请求目标。但域名并不因此从URL身份中消失;虚拟主机及HTTPS校验仍与主机名相关。原书把https主机直接改成IP是解释性简化,不是等价访问保证;#inbox这类片段由客户端解释,不作为HTTP请求目标的片段部分发送。 详见域名解析不等于替换整个地址。
标签界定元素结构,元素可包含文本和子元素,属性如href提供该元素的额外值。并非所有HTML标签都成对:meta、img等空元素没有结束标签,某些结束标签在规定条件下也可省略。空白和换行可能影响文本及显示,不能一概删除;head中的元数据、链接等也可能是抓取目标,而非只需body和title。 详见元素标签与属性分工不同。
查看源代码关注响应文本,Elements检查的是当前DOM,可因解析修复和脚本操作而与原文不同。在工具中改文本会改变当前显示,不表示服务器内容已保存。用浏览器辅助定位后,还要回到Scrapy真实响应验证,不能由浏览器里找得到就推断静态解析也有相同节点。 详见开发者工具看到的是当前树。
CSS布局把DOM中的内容组织为屏幕上的框,图2.4用div/h1/p示意嵌套关系。但元素与可见框不总是一一对应,隐藏、布局及生成内容可影响显示。抓取通常无需复现视觉效果,仍会使用class和CSS选择器等信息;原书不需要任何CSS相关东西应限定为不必学习完整渲染实现。 详见显示结构不能代替文档结构。
Chrome DevTools中的$x按XPath返回匹配节点数组,悬停可关联高亮位置,帮助把视觉目标对应到文档节点。它是开发者工具提供的辅助函数,不是任意网页脚本环境都有的标准API。书中截图展示查询h1,未在本机打开目标页或运行控制台命令。 详见控制台选择只是定位辅助。
在本章XPath1.0语境中,/连接子元素步骤,//可跨后代层级,*匹配相应元素节点。//div/a只找div的直接a子元素,//div//a可找其中更深层链接;路径是否有结果取决于实际树。谓词p[1]的位置从1开始,其作用范围取决于该步骤上下文,不能把//p[1]总当全篇第一个p。 详见路径轴决定选择范围。
//a选元素,//a/@href选属性节点,//a/text()选直接文本子节点,嵌套元素内文字需另按目标取其后代文本或字符串值。Chrome展示的是节点对象,不一定直接显示URL字符串;原书新版@href返回空串并非XPath规则。Scrapy的序列化与get/getall等取值接口也需和节点选择分开理解。 详见取节点与取文本值需要区分。
[@href]要求属性存在,属性相等作精确匹配,contains与starts-with分别检查子串和前缀,not反转布尔条件;and要求同一个候选节点同时满足各条件。它们不自动理解类标记、链接语义或空格容错。书中href前后有空格的显示与前缀匹配输出不可机械当测试结果,须检查实际属性值。 详见谓词表达条件而非页面含义。
scrapy shell可加载响应,再用response.xpath测试表达式;书中extract获取序列化列表,现行文档常用get取首值、getall取全部。浏览器DOM与下载响应可能不同,复制表达式后应核验匹配数量、缺失和字段值。这里只整理使用步骤,未运行shell或下载example.com页面。 详见浏览器表达式还要回响应验证。
从检查元素复制XPath能快速获得指向当前节点的路径,但生成式绝对路径常依赖层级和位置。先用它确认目标,再删去不必要的结构假设并在实际响应中验证,不能把一次命中当长期可靠。书中Chrome菜单和截图是当时版本操作,不保证现有界面完全一致。 详见自动复制路径是改写起点。
class可能包含多个以空白分隔的标记,contains(@class,“link”)也会误匹配blink等子串。XPath1.0可用contains(concat(” “, normalize-space(@class), ” “), ” link “)表达完整标记匹配,此为核对标准与Scrapy文档后的补充。原书两个contains用and要求同一元素同时满足,不表示分别在两个不同节点中出现即可。 详见类名匹配要区分词与子串。
//table[@class=“infobox”]//img[1]/@src选择相应父节点下位置为1的img,可能得到多个,不保证整张表唯一第一张图片。要取整个候选集合首项需明确分组,例如(//table[@class=“infobox”]//img)[1]/@src。相似地,原书最后following-sibling例以//a结尾,返回链接元素而非直接URL,取地址还需/@href。 详见首个结果取决于谓词作用位置。
长绝对路径与多层数字位置易因广告或布局插入而偏移。优先靠近目标选择语义明确、相对稳定的id或数据相关标记,布局颜色类通常更易变;即使id也可能随机生成或在错误HTML中重复。健壮是针对变化的设计判断,不是用了id就获得永久正确保证,仍需监测结果。 详见稳健选择器依赖稳定语义锚点。
原书动态ID反例写作//[@id=“order-F4982322”],缺少节点测试,应如//*[@id=…]才具备相应语法。部分通配符前还混入排版软连字符,复制时可能导致解析失败。即使纠正语法,绑定每次变化的ID仍脆弱;要区分不能解析、无匹配与匹配错误节点这三类问题。 详见示例选择器也需排除排版错误。
原书依据 · 15 处
- 第2章 理解HTML和XPath 2.1 HTML、DOM树表示以及XPath · 查看原书依据
- 第2章 理解HTML和XPath 2.1.1 URL · 查看原书依据
- 第2章 理解HTML和XPath 2.1.2 HTML文档 · 查看原书依据
- 第2章 理解HTML和XPath 2.1.3 树表示法 · 查看原书依据
- 第2章 理解HTML和XPath 2.1.4 你会在屏幕上看到什么 · 查看原书依据
- 第2章 理解HTML和XPath 2.2 使用XPath选择HTML元素 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.1 有用的XPath表达式 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.1 有用的XPath表达式 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.1 有用的XPath表达式 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.1 有用的XPath表达式 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.2 使用Chrome获取XPath表达式 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.3 常见任务示例 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.3 常见任务示例 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.4 预见变化 · 查看原书依据
- 第2章 理解HTML和XPath 2.2.4 预见变化 · 查看原书依据
精通Python爬虫框架Scrapy · 第3章 爬虫基础
Spider定义请求起点、解析回调与继续访问规则,Item把选中的值变成可处理的记录,管道再负责清洗、验证或保存。请求沿页面链接扩展,记录沿输出流程前进,两者是关联但不同的数据流。这样才能把前章的页面定位用于持续采集,而不是将一个选择器的正确性误当整次抓取完整。
书中$后是终端命令,>>>后是Python或Scrapy交互输入,后续无提示符行通常是预期输出,复制时不应把提示符与输出一起执行。这里的print ‘hi’是Python2语法,不能直接照搬到Python3。echo示例说明中word/world拼写不一致也应与实际输入区分;本次仅阅读,不运行这些命令。 详见提示符区分命令与示例输出。
本书以Scrapy1.0.3、Ubuntu14.04等环境给出系统包与pip/easy_install组合,是历史安装配方。Scrapy自身纯Python不表示其lxml等依赖没有系统库或编译要求。当前官方建议独立虚拟环境中安装并查看平台依赖,不能把旧sudo pip、easy_install及每个系统包名当现行通用指令,也不应无条件接受任何密码或安装提示。 详见安装步骤依赖目标环境和年代。
克隆Scrapy源码适用于修改框架或试验开发功能,与从包源安装已发布版本是不同选择。最新分支内容会变化,需要明确提交和依赖;书中python setup.py install是历史路径,应按当前项目安装说明选择方式。virtualenv隔离环境不会把任意源码版本自动变成稳定可复现发布,本次未克隆或安装。 详见源码安装对应开发用途和版本。
pip升级请求选择较新兼容发行版,==指定版本把框架版本作为输入约束,适合复现书中环境或有意降级。只固定Scrapy一个包不等于固定解释器、依赖及系统库;升级后还应核对解析和接口。原书1.0.0只是演示,不是对当前项目的版本推荐,也未实际变更本机环境。 详见升级与固定版本服务不同目标。
图3.2中宿主机经Docker提供者VM容纳dev、web及后续服务,开发者登录dev运行爬虫,目标页面由web提供;后续章节再接数据库与分布式组件。隔离环境可减少对实时网站变化的依赖,但不能忽略宿主架构、提供者支持和资源容量,也不能保证多年后原镜像仍可直接运行。 详见示例环境把开发和目标站分开。
书中先取得示例仓库,up准备环境,ssh进入开发机,status观察状态,halt停止相应机器。退出ssh终端不等于停机;嵌套的Docker提供者VM与受管理容器可能有不同生命周期。原书halt不会关掉VM应限定该示例拓扑,官方halt是停止受管理机器的命令,不能泛化为Vagrant从不关VM。本次未执行任何创建或停止。 详见虚拟环境命令有各自作用范围。
UR²IM把URL、Request、Response、Item和More URL连成循环:由入口地址请求页面,从响应抽取结构化数据并发现后续地址,数据另送输出存储。图3.3用这条流帮助区分解析结果与待抓任务。后续地址不是自动全部有效,数据落库也不是请求成功后必然完成的同一步。 详见抓取流程同时产生数据和新任务。
原书建议用随书web服务训练选择器,dev内访问web:9312,宿主浏览器经localhost:9312访问映射入口,这两个名称依各自网络上下文解释。稳定样本便于离线复现,不等于复制了真实站全部行为。书中Gumtree需特定User-Agent为历史观察,修改请求头不保证当前可访问或已获授权。 详见本地样本降低网站变化的干扰。
scrapy shell加载指定URL并暴露request、response、settings等对象,fetch可更新目标,view可辅助观察。–pdb用于异常调试,不是阻止异常发生的修复开关。选择器与字段逻辑应在所收到的响应上检查;书中提示输出是教学结果,本次未连接本地或远程示例服务。 详见交互终端用于检查真实响应。
GET响应200说明HTTP层面取得成功响应,不证明它包含所需房源、不是提示页或已经执行客户端脚本。当前Scrapy response.body为bytes,[:50]截取最多50字节,不一定是50个解码字符;需要文本时应使用相应文本响应接口。继续提取Item前仍要检查类型、内容和预期字段。 详见状态码成功不等于字段已可用。
先把目标字段、选择表达式及示例值放在一张表中,可将页面观察转成可检查的提取规则,也便于多人按来源分工。房源例把title、price、description、address和image_urls分别定位,图片取src属性而非text。表是针对实际样本的契约起点,不能凭页面只有一个h1的假设当成通用SEO或HTML限制。 详见字段映射表连接观察与实现。
itemprop/name、price等标记可比布局路径更稳定,但页面中的推荐房源也可能使用同样标记。必须先定位所需实体范围,再取相应属性;//目标[1]不普遍代表全篇唯一首项,必要时分组并核对匹配数量。本书第2章已有谓词范围说明,不能用一个[1]就声称排除了所有嵌套实体。 详见语义标记仍需要正确作用域。
response.xpath/css返回可继续查询的选择器列表,extract等接口才把匹配结果转成字符串值;原书泛称单个Selector不够准确。css定位元素后用相对xpath取其text,能逐步表达意图;以//开始的XPath则可能重新从文档根范围选择,不能误以为始终限于先前节点。当前get/getall接口见前章卡。 详见链式查询要保留选择上下文。
从£334.39pw用[.0-9]+取出334.39,只获得数字片段,币种和每周单位已经丢失;多个点号或别的格式也不一定得到可用数值。它是此样本的清洗演示,不是所有价格格式的解析器。字段表应同时记录数据的含义与缺失规则,保留原值有助于定位后续转换问题。 详见清洗数字不能丢掉字段含义。
scrapy shell适合检查响应和表达式,正式逻辑应落在项目文件中。startproject生成配置和包目录,items定义数据,pipelines组织后续处理,settings保存设置,spiders放抓取代码,scrapy.cfg标识项目配置入口。退出交互环境不保证探索逻辑已保存,应主动把有效表达式和变换写入可重用代码。 详见项目把临时探索变成可维护代码。
PropertiesItem以Field声明允许的字段名,title等原始字段、images/location等计算字段可以分阶段填充。声明不要求每个爬虫都立即填值,也不自动提供数据类型或业务有效性校验;使用未声明字段会有相应错误。图像/地理编码数据还依赖后续管道实际启用和成功运行,不能仅凭字段存在就假设已计算。字段块缩进需一致,四个空格是惯例而非Python强制只能使用四个。 详见字段声明与字段填值不同。
url、project、spider、server和date帮助追踪数据由何处、何程序、何机器、何时取得,支持排查异常来源和规划重抓。它们不是房源固有属性,也不证明源站事实完全正确。示例datetime.now取采集侧本地时间而非内容发布时间,缺少时区时跨机器解释仍需约定。 详见来源与时间是数据的解释上下文。
若多个站点提供同类房源,可在项目中共享Item和处理管线,由不同Spider适配各来源结构;处理完全不同的数据则可拆项目。它是作者组织代码的建议,不是框架强制一站一个爬虫或一类一个项目。genspider生成起点,模块路径对应包与文件,后续仍需实现真实解析逻辑。 详见项目复用数据而爬虫适配来源。
BasicSpider的name标识爬虫,start_urls给出初始目标,parse接收响应并执行字段提取;继承Spider提供调度协作而非自动理解房源。allowed_domains配合站外过滤控制跟进范围,不是网络隔离保证。生成模板中的www.web与示例服务web:9312也不能混为同一可用地址,需按真实环境修改。 详见回调承担响应到结果的转换。
scrapy crawl按名字运行爬虫,scrapy parse配合–spider把给定URL交给指定爬虫检查,适合观察某页的解析结果和产生的请求。日志输出只说明示例调用路径,不能替代字段断言。书中所谓删掉文件再生成会丢失修改,且排版删除命令不完整,本次没有执行删除或任何抓取。 详见运行入口与单页调试各有用途。
在parse中构造PropertiesItem并给字段赋值,再返回它,框架才能识别抓取结果并送入管道或导出;单纯log字段只是输出日志。extract/re例子得到列表,因此此时title、price等仍是列表内容,并没有因放入Item就变成标量或数字。后续清洗和输出策略应显式决定。 详见返回结构化数据才能进入后续处理。
Feed exports可把相同Item交给JSON、JSON Lines、CSV或XML序列化,再写本地文件或受支持的远程存储。扩展名/显式格式及后端配置共同决定行为,字段类型和CSV列顺序也需明确。书中FTP/S3地址只是占位样例,不会自动取得凭证或成功上传;本次没有导出到外部服务。 详见导出格式和存储位置是两层选择。
JSON数组通常要由消费者解析完整结构,JSON Lines每行独立记录,便于逐条读取和追加,减少必须把全文件一次装入内存的需求;JSON也可以有流式解析器,不能说永远必须全载入。按当前Scrapy教程,-O覆盖、-o追加,连续向JSON数组文件追加会破坏单一JSON文档,可选逐行格式。 详见逐行格式便于增量消费。
同步逐条写入慢数据库会拖住采集流程,先导出文件再批量导入是一种解耦策略,也便于控制导入节奏。它不是关系数据库写入唯一合法方式;适当管道、异步I/O和批量提交也可按需求设计。原书数据库插入必然灾难、必须先写文件是过强概括,后续章节还会展开其他方式。 详见写库方式要核算阻塞与批量成本。
ItemLoader接收目标Item和响应,add_xpath/add_css提取字段候选,add_value加入计算值,load_item按处理配置形成最终Item。字段取值逻辑因而集中表达,更易复用。内部收集多个值不意味着自动合成正确标量,输入处理、累积和输出处理各自的作用仍需清楚。 详见装载器组织选择处理与汇集。
MapCompose将一串函数依次作用于各值,Join将字符串集合按分隔符合并;strip、title和float等只是具体转换函数,不是自动语义校验。传给add_xpath的处理器先作用于此次提取值,再经过字段输入处理并累积;它们不等于给整个字段设定最终输出处理器,默认结果也未必是字符串标量。 详见处理器链要区分逐值与汇总。
用urljoin(response.url, i)将图片或后续链接的相对地址转成绝对地址,可保留相应目录和站点上下文;绝对地址也可能直接覆盖基准来源。Python3使用urllib.parse而非旧urlparse模块,unicode方法也应按目标解释器调整。转换为绝对URL只是地址解析,不自动证明链接有效或处于允许范围。 详见相对地址要结合实际响应解析。
文档字符串中的@url指定样本响应,@returns约束回调结果数量,@scrapes检查指定字段是否存在,scrapy check执行这些检查。按当前契约,@returns items 1是下界而非恰好一个,需上下界相同才是精确数;字段存在也不证明非空、类型或内容正确。原书一次OK输出不是本机测试通过或整个爬虫已正确的证明。 详见契约检查只验证写出的约束。
start_urls可以列出多个种子或从文件读取,但将全部文件readlines装入列表会随输入增大占内存,还需处理空行和文件生命周期。更一般的抓取从少量索引页发现后续地址,再用规则扩展。读取入口文件不等于证明所有URL有效,也不等于已规划完整站点边界。 详见入口集合与导航规则分工不同。
横向从索引页到下一索引页,纵向从索引页到详情页抽取Item,两类链接可分别用选择器识别。图3.8显示这是一种页面角色分工,不是固定的下载时间顺序。把相对链接结合当前响应解析后再提交,且核对真实路径;原书urljoin输出额外出现scrapybook目录,不能由所示基准URL直接推出。 详见分页与详情形成两类导航。
parse用yield逐个交出Request,下一页请求不设回调时由普通Spider默认parse处理,详情请求显式callback=self.parse_item处理字段。yield会挂起生成器,等待消费者再次推进才继续,而非无条件立刻执行完余下循环。相比先建完整列表,它可减少一次性请求列表构造,但框架仍可能积累待执行任务。 详见生成请求把导航交回框架。
CLOSESPIDER_ITEMCOUNT按通过item pipeline的Item数量触发关闭,用来缩短示例运行;它不是下载页数上限,也不保证恰好产生该数量后所有在途工作立即消失。需要区分响应数、成功数据数和关闭中的剩余请求。教材90条与94次请求是书中运行记录,本次没有执行。 详见停止阈值不等于严格采集额度。
默认待处理队列通常有LIFO倾向,可尽早处理刚发现的详情,减少只翻索引造成的巨大积压。实际顺序还受起始请求、优先级、配置和下载并发影响,不保证严格深度优先或后交请求必先完成。Request.priority越大越优先是调度选择,不是对远端延迟或结果顺序的控制。 详见调度优先级不保证完成先后。
Scrapy默认过滤已见请求,减少链接循环导致的重复工作;这里的请求身份不应简单等同URL文字,取决于指纹和配置。需有意重复时可设Request(dont_filter=True),原书dont_filter_Request()并非参数名。跳过去重不提供访问授权,也不免除错误导航带来的循环风险。 详见重复过滤针对请求身份。
CrawlSpider把链接抽取、请求跟进和响应回调组合为Rule列表,用户保留parse_item完成详情解析。它已有内部parse调度,不应再用普通Spider式parse覆盖这条规则链。手工yield请求的机制仍是理解复杂流程的基础,规则更短不等于适合所有网页或不需要测试。 详见规则爬虫封装常见导航循环。
LinkExtractor的restrict_xpaths限定搜索链接的区域,默认抽取a/area的href,不是直接把属性字符串当区域。Rule的callback可写方法名字符串,普通Request则用callback=self.parse_item等可调用对象。未设callback时follow默认真,设置后默认假;需处理数据又继续跟进时显式设置follow或返回新请求,书中Request(self.parse_item)不是正确URL与回调参数写法。 详见规则回调和跟进要分别配置。
原书依据 · 36 处
- 第3章 爬虫基础 第3章 爬虫基础 · 查看原书依据
- 第3章 爬虫基础 3.1.3 Linux · 查看原书依据
- 第3章 爬虫基础 3.1.4 最新源码安装 · 查看原书依据
- 第3章 爬虫基础 3.1.5 升级Scrapy · 查看原书依据
- 第3章 爬虫基础 3.1.6 Vagrant:本书中运行示例的官方方式 · 查看原书依据
- 第3章 爬虫基础 3.1.6 Vagrant:本书中运行示例的官方方式 · 查看原书依据
- 第3章 爬虫基础 3.2 UR 2 IM——基本抓取流程 · 查看原书依据
- 第3章 爬虫基础 3.2.1 URL · 查看原书依据
- 第3章 爬虫基础 3.2.1 URL · 查看原书依据
- 第3章 爬虫基础 3.2.2 请求和响应 · 查看原书依据
- 第3章 爬虫基础 3.2.3 Item · 查看原书依据
- 第3章 爬虫基础 3.2.3 Item · 查看原书依据
- 第3章 爬虫基础 3.2.3 Item · 查看原书依据
- 第3章 爬虫基础 3.2.3 Item · 查看原书依据
- 第3章 爬虫基础 3.3 一个Scrapy项目 · 查看原书依据
- 第3章 爬虫基础 3.3.1 声明item · 查看原书依据
- 第3章 爬虫基础 3.3.1 声明item · 查看原书依据
- 第3章 爬虫基础 3.3.2 编写爬虫 · 查看原书依据
- 第3章 爬虫基础 3.3.2 编写爬虫 · 查看原书依据
- 第3章 爬虫基础 3.3.2 编写爬虫 · 查看原书依据
- 第3章 爬虫基础 3.3.3 填充item · 查看原书依据
- 第3章 爬虫基础 3.3.4 保存文件 · 查看原书依据
- 第3章 爬虫基础 3.3.4 保存文件 · 查看原书依据
- 第3章 爬虫基础 3.3.4 保存文件 · 查看原书依据
- 第3章 爬虫基础 3.3.5 清理——item装载器与管理字段 · 查看原书依据
- 第3章 爬虫基础 3.3.5 清理——item装载器与管理字段 · 查看原书依据
- 第3章 爬虫基础 3.3.5 清理——item装载器与管理字段 · 查看原书依据
- 第3章 爬虫基础 3.3.6 创建contract · 查看原书依据
- 第3章 爬虫基础 3.4 抽取更多的URL · 查看原书依据
- 第3章 爬虫基础 3.4 抽取更多的URL · 查看原书依据
- 第3章 爬虫基础 3.4.1 使用爬虫实现双向爬取 · 查看原书依据
- 第3章 爬虫基础 3.4.1 使用爬虫实现双向爬取 · 查看原书依据
- 第3章 爬虫基础 3.4.1 使用爬虫实现双向爬取 · 查看原书依据
- 第3章 爬虫基础 3.4.1 使用爬虫实现双向爬取 · 查看原书依据
- 第3章 爬虫基础 3.4.2 使用CrawlSpider实现双向爬取 · 查看原书依据
- 第3章 爬虫基础 3.4.2 使用CrawlSpider实现双向爬取 · 查看原书依据
精通Python爬虫框架Scrapy · 第4章 从Scrapy到移动应用
本章把采集的房源数据接到移动应用展示,说明抓取只是供给链的一段。字段格式、接口表示与使用方预期需要匹配,地图或页面呈现并不反过来证明上游值准确、完整或实时。这里的样例连接用于理解端到端职责,不意味着本次已创建应用、请求外部服务或发布结果。
把抓取所得房源放进可浏览、可点回来源的移动界面,可以比孤立表格更直观地向利益相关者说明数据用途。原书以原型传达应用理念,并希望通过来源链接回馈流量;演示看起来完整不等于用户需求已验证,也不证明来源实际获得收益。本章是启发式最小产品示例,不是上线验收。 详见让数据演示围绕使用情境展开。
作者选Appery.io的原因是同时提供移动界面、数据库和REST访问,减少分别搭建这些部分的工作,并可在当时导出项目进一步开发。它将集成工作交给平台,不代表应用从此无需编程、服务运行或依赖管理。书中14天试用、Windows Phone支持及图形菜单均是历史背景,本卡不作当前价格和支持范围保证。 详见原型平台减少前后台衔接工作。
书中先建scrapy数据库和properties集合,把title、description、url、image_urls设为string,price设为number;Users承担用户资料。数据集名称、字段与类型要和导入/展示一致。第3章Item中的image_urls等原为列表,不能直接推断已适配本章单值列,需核对管道变换;原书没有展开该变换实现,本次不补造。 详见消费端字段契约需要明确类型。
ITEM_PIPELINES启用ApperyIoPipeline,数据库ID、用户和集合设置决定数据送往何处及以谁的身份操作。原书称API key的值对应X-Appery-Database-Id;官方同时区分登录后的session token和master key,不能把这些身份概念混为一把万能钥匙。演示用户与口令仅为示例,不证明访问策略已妥善配置,本次未使用任何凭证。 详见管道配置连接采集与远端写入。
示例管道为每个Item再向数据库服务发写入请求,采集请求之外还出现登录和远端写入,因此请求数量大于页面数。具体比例取决于登录、重试及其他请求,不是固定两倍;原日志阈值90却计105条也说明关闭不是严格额度,详见前章。启用管道和看到200日志不替代逐条数据对账,本次未执行远端写入。 详见外部写入会增加请求和等待。
按原书操作先建立应用并导入properties的List服务,再在DESIGN中建立单行Grid,放图片、链接和价格标签。这个阶段只定义访问入口与展示容器,还没有把结果绑定或触发请求。控件自动编号可能随创建顺序变化,应按实际控件角色识别,不能照抄截图中的名称就保证对应。 详见界面布局与数据访问先分开定义。
服务Success映射中,$[i]驱动Grid为每条记录重复,title绑定链接Text,price绑定标签Text,image_urls绑定图片Asset,url绑定链接URL。重复行与行内属性赋值共同组成列表视图,不能只填第一条记录。映射编辑器替代手写赋值代码,但字段类型、空值和加载失败仍需设计;原书只展开成功路径。 详见列表映射同时定义重复和赋值。
在startScreen的Load事件上设置Invoke service,才会在界面加载后请求数据;前面配置的Success Mapping在成功返回时填充控件。只有映射没有调用,或只有调用没有映射,都不能完成显示链。原书以默认restservice1示例,真实应用应确认选中的数据源,不把平台自动生成动作当作所有异常路径已有处理。 详见请求触发与成功映射缺一不可。
TEST在浏览器预览布局和链接,可调整设备尺寸、方向或通过当时的View on Phone方式查看;共享预览链接让他人体验原型。EXPORT在作者当时支持的目标中生成项目或二进制,仍不同于各市场实际发布。截图和书中所有链接有效只描述示例,本次没有运行应用、注册账号、分享链接或导出发布。 详见预览分享与发布是不同交付。
原书依据 · 9 处
- 第4章 从Scrapy到移动应用 第4章 从Scrapy到移动应用 · 查看原书依据
- 第4章 从Scrapy到移动应用 4.1 选择手机应用框架 · 查看原书依据
- 第4章 从Scrapy到移动应用 4.2 创建数据库和集合 · 查看原书依据
- 第4章 从Scrapy到移动应用 4.3 使用Scrapy填充数据库 · 查看原书依据
- 第4章 从Scrapy到移动应用 4.3 使用Scrapy填充数据库 · 查看原书依据
- 第4章 从Scrapy到移动应用 4.4.2 创建用户界面 · 查看原书依据
- 第4章 从Scrapy到移动应用 4.4.3 将数据映射到用户界面 · 查看原书依据
- 第4章 从Scrapy到移动应用 4.4.4 数据库字段与用户界面控件间映射 · 查看原书依据
- 第4章 从Scrapy到移动应用 4.4.5 测试、分享及导出你的手机应用 · 查看原书依据
精通Python爬虫框架Scrapy · 第5章 迅速的爬虫技巧
真实采集可能涉及登录、会话、分页和动态内容。要追踪每一步请求携带什么状态、响应如何产生下一步请求,才能选择表单、浏览器或其他具体处理方式。工具能获得页面不等于所有数据都已覆盖;重试和去重也应围绕请求身份及任务目标设计,而不是只增加请求数量。
示例从表单POST登录,服务端重定向到gated,后续请求携带会话Cookie才能获取受限索引。Network面板帮助确认方法、表单字段、Location与后续请求头;302或200本身不证明登录成功,应检查目标状态和内容。示例只保护索引链接,详情页未同样保护,不能把它当完整访问控制设计。本次未登录任何站点。 详见登录要追踪请求状态的完整链。
GET请求目标资源的表示,内容可以实时变化;POST让目标按其语义处理提交内容,不只是获取依赖参数的数据。登录表单用POST提交是本例设计,不能由此推成所有POST都登录或所有GET都静态。字段在工具中显示为文本不表示HTTPS网络传输没有加密;本例本地HTTP与其他协议条件应分开。 详见方法语义不由数据是否变化决定。
Cookie可保存会话标识,让服务端把后续请求关联到登录状态,而不是必须反复发送用户密码。Cookie返回受域、路径、有效期和安全属性等规则约束,不是所有请求都原样附带;Scrapy相应组件须正确启用与配置。只管理Cookie不会自动处理所有站点认证过程,失败与会话失效仍要检查。 详见Cookie有条件地返回。
含nonce的示例要求先GET表单取得服务端给定隐藏值,再随正确凭据提交,顺序和会话上下文必须匹配。原书FormRequest.from_response从响应表单取字段,并用formdata补充或覆盖用户输入,可按表单名/编号选表单,不是把所有字段留空。它是旧版API路径,当前文档介绍form2request,需按目标版本核对;不声称任意认证都能靠此两步完成。 详见隐藏表单字段需要先取后交。
浏览器DOM有数据而原始HTML没有时,检查Network可发现脚本另外请求的JSON,如本例api.json。直接处理有权限访问的数据接口,可省去为已知JSON结构写XPath,但仍需复现必要的方法、参数与会话条件,不能假定接口永远公开或返回结构不变。静态解析与脚本生成树不同的原因由请求链来解释。 详见先找数据请求再选择解析方法。
json.loads把合法JSON转换为Python列表、字典等,再由每条记录的id按property_%06d.html构造详情请求;%06d是最小宽度补零,不把更大数字截断。解析成功不证明顶层必为列表、id存在或格式符合要求。例中30项加1次入口请求为31是特定无额外请求的运行记录,不是任何JSON采集的请求数保证。 详见结构化接口也要验证标识约定。
从API取得title后放入Request.meta,详情回调通过response.meta读它,再用add_value填字段,可保留来源接口中不同于详情页的标题。meta是请求附带的数据,并非能直接访问任意Response的全局字典;复制时一般为浅拷贝,嵌套可变对象不因此独立。业务回调数据也可按当前接口考虑cb_kwargs,避免误复制框架保留的控制键。 详见跨响应上下文通过请求传递。
若索引页已有所需字段,可一次提取多条而省去逐个详情请求;但真实索引可能只有短描述,需确认这满足消费需求。原书100页取3000条的数量优势不等于端到端必快30倍;连索引请求一起计,3页加90详情为93,与只取3页是31倍请求数差,实际时延还受大小和处理成本影响。 详见减少请求前先明确数据质量要求。
先选择每个Product节点,再把该selector交给ItemLoader并用.//相对查询,可避免把其他房源字段混入本条。parse_item(selector,response)在此是开发者直接调用的辅助函数,已不是只接Response的普通回调签名。相对路径并非简单给任何表达式加点都正确,仍需检查实体嵌套、匹配数量与实际索引页结构。 详见逐记录解析必须固定局部根。
从索引页批量提取时response.url是索引地址,不能再用它直接充当每条房源的来源详情地址。应在当前房源节点抽取详情href,再结合索引响应解析绝对地址;图片地址也按实际基准处理。把两种地址混同会使多条记录错误指向同一页,影响展示、去重及追溯。 详见记录地址与采集页面地址要分开。
当多个来源只是URL和字段XPath不同,可用一张CSV配置表驱动通用Spider,每行保存入口与字段表达式,经Request.meta送给统一parse。这样减少重复代码,也把解析责任转到配置质量上;若各站认证、导航或数据含义不同,不应强行塞入同一模板。移除allowed_domains只解除相应跟进限制,不自动建立范围控制。 详见数据源差异可以表达为配置。
csv.DictReader用标题作键,按CSV规则处理表达式中的引号,不会自行给a.html补http或补基准目录;Request需要可用的URL。缺列默认None与显式空单元格的空串不同,示例if xpath都跳过但不能据其打印就混为一类。Python3应使用相应文本/换行方式,旧rU模式已移除,iteritems和print语法也需迁移。 详见配置读取要保留缺失与转义语义。
示例用item.fields[name]=Field动态接纳配置字段,再交给ItemLoader填值。Item的字段映射通常归类所有,直接修改它可能影响同类的其他实例,不能据item变量名就认定是私有schema。当前Scrapy也支持普通字典等Item类型,应明确每种数据容器的字段约束;原书并未展开完整动态模式管理。 详见动态字段不能误改共享模式。
-a file=…将字符串参数交给爬虫属性,再用getattr(self,“file”,“todo.csv”)提供未传时默认文件名。它让同一逻辑可处理不同配置文件,区别于-s设置框架配置。传参不自动验证文件存在、编码、可读性与列要求,也不会把任意字符串变成正确类型;本次未启动爬虫或创建CSV。 详见爬虫参数把运行输入移出源码。
原书依据 · 14 处
- 第5章 迅速的爬虫技巧 5.1 需要登录的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.1 需要登录的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.1 需要登录的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.1 需要登录的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.2 使用JSON API和AJAX页面的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.2 使用JSON API和AJAX页面的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.2.1 在响应间传参 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.3 30倍速的房产爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.3 30倍速的房产爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.3 30倍速的房产爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.4 基于Excel文件爬取的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.4 基于Excel文件爬取的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.4 基于Excel文件爬取的爬虫 · 查看原书依据
- 第5章 迅速的爬虫技巧 5.4 基于Excel文件爬取的爬虫 · 查看原书依据
精通Python爬虫框架Scrapy · 第6章 部署到Scrapinghub
托管执行把一部分机器准备、调度和运行维护交给平台,开发者仍负责爬虫逻辑与输出质量。它与第一册部署章讨论的是相同责任分工,但本章使用的是出版时特定服务和界面。平台提供任务页面不等于业务处理成功,也不能把历史免费额度或功能作为今天的服务承诺。
一次性小抓取可在开发机运行,周期任务则需要持续可用的执行环境;托管平台把部分服务器创建和维护工作交给服务方。它并未接管爬虫逻辑正确性、目标权限与数据用途。原书Scrapinghub的具体底层、免费方案和几分钟部署承诺是出版背景,本轮不据此推荐当前服务或假设费用不变。 详见托管执行转移部分运维责任。
按原书界面先创建项目,再在Spiders中看部署的爬虫,在Jobs中看各次运行,Periodic Jobs保存周期安排,Settings管理部署等配置。项目是容器,爬虫是可执行抓取逻辑,一次任务是该逻辑的某次运行;看到项目或爬虫存在不代表已有数据。菜单名称与注册步骤是旧平台操作示例,本次未注册账号。 详见项目爬虫与任务是不同对象。
先核对目标地址能被云环境访问,移除示例中不再需要的Appery写库管道,再配置项目和认证信息,使用shub打包上传。开发机可用的web:9312并不自动在云上可达。原书生成的build/egg-info等是其版本构建产物,不能把任意已有setup.py都当临时文件删除;API key即使放在username位置仍是认证凭据。 详见部署包要适合远端执行环境。
shub deploy把项目打包部署,平台Schedule才创建实际运行任务;从部署响应中的ok、version和spiders计数,只能确认相应部署步骤。运行后还需观察请求和数据,Stop是终止本次工作,不是卸载项目。书中CLI与配置属于历史版本,本次没有安装工具、上传项目或调度远程任务。 详见上传版本不等于启动任务。
Requests和Items增长帮助判断任务在活动,Items、Requests和Log分别提供结果、请求与错误线索。按Stop后移入Completed Jobs只表明该任务终止,不证明所有目标都抓完或数据无误。平台限速也不能保证对方永不封禁,原书不会被屏蔽的说法过强;需要结合具体输出检查结果。 详见运行终止仍需查看数据和错误。
原书Items API用项目ID、爬虫ID和任务ID共同定位运行结果,并用API key认证;界面查看/过滤和CSV、JSON、JSON Lines下载是另一访问入口。爬虫名称不等于某次任务编号,读取前应确认身份组合。原文一处storage.scapinghub.com少字母,与后续curl拼写不一致,旧端点与调用方式不能不核对就照搬。 详见任务标识决定读取哪次数据。
把托管任务的Items API当应用后端时,要考虑运行结果能存多久;原书明确保留时间由订阅方案限制,所以抓过不等于永久可取。7天免费保留是当时条款,不当作当前承诺。持久消费需明确导出和生命周期要求;本次未下载云数据,官方旧文档入口获取失败,当前保留政策未验证。 详见平台结果存储具有保留期限。
Periodic Jobs中选爬虫和频率再保存,表达未来按时间创建运行任务的规则;它不同于立即Schedule一次,也不证明每轮都会成功。频率、参数和运行结果要分别核对,界面保存后还需观察实际任务。这里只整理书中操作,没有创建任何定时任务或自动化。 详见周期规则与单次任务分开管理。
原书依据 · 8 处
- 第6章 部署到Scrapinghub 第6章 部署到Scrapinghub · 查看原书依据
- 第6章 部署到Scrapinghub 6.1 注册、登录及创建项目 · 查看原书依据
- 第6章 部署到Scrapinghub 6.2 部署爬虫与计划运行 · 查看原书依据
- 第6章 部署到Scrapinghub 6.2 部署爬虫与计划运行 · 查看原书依据
- 第6章 部署到Scrapinghub 6.2 部署爬虫与计划运行 · 查看原书依据
- 第6章 部署到Scrapinghub 6.3 访问item · 查看原书依据
- 第6章 部署到Scrapinghub 6.3 访问item · 查看原书依据
- 第6章 部署到Scrapinghub 6.4 计划定时爬取 · 查看原书依据
精通Python爬虫框架Scrapy · 第7章 配置与管理
配置把同一实现的运行选择从代码中分离出来。不同来源有优先级,不同设置又有加载时机,因此读某个配置文件不能单独确定最终行为。观察实际上下文中的有效值,才能把部署环境、Spider和临时参数联系起来;配置错误也需要像代码错误一样具备定位与回退依据。
原书按全局默认、命令默认、项目文件、Spider、命令行描述递增优先级,-s临时覆盖便于试验;当前官方还列出add-on层,部分设置在crawler创建前加载,不能只靠custom_settings改所有行为。settings –get与实际运行中的settings.getint等用于观察所需上下文,不能把另一个命令的输出直接当该Spider最终配置。CLOSESPIDR与cwarl是原书拼写问题。 详见有效配置由层级和加载时机决定。
把API secret和密码排除在会打包或提交的settings.py外,可降低随项目公开的风险。用命令行-s只是另一输入渠道,不自动隐藏进程参数、命令历史或日志;应按实际运行环境选择受控注入方式。原书提醒的重点是凭据与可公开配置分离,本次未读取、设置或输出真实凭据。 详见不入库的凭据仍有暴露渠道。
LOG_LEVEL控制保留的最低严重度,LOG_FILE/LOG_STDOUT等影响去向,LOGSTATS_INTERVAL影响进度日志频率;统计收集和结束时STATS_DUMP又是另一层。调短频率便于短运行观察,也会增加输出成本。禁日志应按LOG_ENABLED处理,不假定各版本都接受SILENT;深度/下载/邮件开关和扩展是否启用须按目标版本核对,记录数量不证明数据质量。 详见日志与统计回答不同问题。
Telnet控制台可查看engine、stats及est状态,并操作暂停、恢复和停止,但它在爬虫进程里执行代码,阻塞sleep或计算会干扰事件循环。旧示例无认证输出不代表当前使用条件,官方限制为本地或受保护连接,普通Telnet无加密。这里只记录原理与作用范围,未连接调试台或操作运行任务。 详见进程内调试台会影响被调试对象。
CONCURRENT_REQUESTS限制同时在途的下载请求,域名等槽位还有更局部约束。若持续有工作、平均耗时0.25秒且无其他瓶颈,16并发可估算约64请求/秒,但这不是固定速率上限。原书PER_IP非零覆盖PER_DOMAIN的说法限其版本,当前官方配置已变化;要按实际版本的槽位模型核对,而非机械套值。 详见并发容量不能直接当请求频率。
CONCURRENT_ITEMS约束每个响应的Item处理并发,不能简单看成整个进程的写库连接数。16个下载并发乘100只是原书说明放大风险的例子,下载完成后响应及数据仍可能在处理,所以它不是全局1600条的可靠界限。应把待处理数据、管道耗时和下游容量一起观察,降低值也不保证任何负载都提速。 详见每响应管道并发不是全局上限。
DOWNLOAD_TIMEOUT限制等待,过长会让失联请求占用资源,过短又会误伤正常慢响应并增加失败或重试。16并发全都等待180秒才超时时,约每分钟5次是特殊情形估算,不是默认下载速度。原书10秒是建议值而非普遍最佳值,还要核对处理器支持及业务可接受的错误与延迟。 详见超时取舍须基于请求分布。
DOWNLOAD_DELAY控制相应域名/下载槽的请求间隔,随机扰动使间隔不是固定等距;它会与并发共同限制实际吞吐。书中RANDOMIZE_DOWNLOAD_DELAY是旧开关,当前2.19文档引入DOWNLOAD_DELAY_JITTER。DNSCACHE_ENABLED减少重复查找,仍有生命周期和地址变化边界,不是所有网络等待都被消除。 详见间隔缓存与并发需要一起理解。
CloseSpider可按总时间、通过管道的Item数、收到响应数或爬虫错误计数触发关闭,选择TIMEOUT/ITEMCOUNT/PAGECOUNT/ERRORCOUNT要对应目标。它们不是彼此等价的数量;ERRORCOUNT也不泛指所有非200状态码。关闭是过程,不能把阈值当严格不超出的下载或输出额度,前章已说明在途任务差异。 详见关闭条件要对应所限制的资源。
HTTPCACHE_ENABLED激活请求/响应缓存,DIR或STORAGE决定保存位置与介质,POLICY决定哪些响应可缓存及如何复用。它不是对任意请求无条件永久保存的承诺,HTTP语义、身份及策略会影响有效性。原书scrapy.contrib路径和RFC2616类名是历史入口,DBM指相应键值存储接口,并非任选一种SQL数据库即可替换。 详见HTTP缓存包含策略与存储两层。
先在线填充缓存,再重跑同一范围,可在策略允许且全部请求已有可用缓存时离线调试。原书从5000降到4500是降低碰到未缓存分页的机会,不证明任意目标数都完整缓存;缓存缺失仍可能联网或失败。清理时应定位实际缓存目录,原文删整个.scrapy会波及其中其他项目状态,本次未删除任何目录。 详见离线复用依赖真实命中的缓存范围。
DEPTH_LIMIT限制跟进深度,0表示不设此限制;正DEPTH_PRIORITY使深层请求优先级降低,再配FIFO队列可形成广度优先倾向。新闻案例希望先覆盖顶层近期入口,体现顺序要服务目标。并发和起始请求仍影响实际顺序,且靠近首页不证明一定更新更近;旧scrapy.squeue类路径需按版本迁移。 详见广度倾向由深度和队列共同形成。
ROBOTSTXT_OBEY执行爬取指引,COOKIES_ENABLED管理会话Cookie,REFERER_ENABLED填来源头,DEFAULT_REQUEST_HEADERS/USER_AGENT表达请求身份与约定。禁Cookie可能破坏登录而非获得匿名保证,改请求头也不等于访问授权。User-Agent宜明确应用与可联系信息,默认值和配置行为按版本核对,不能把所有功能混成提速开关。 详见访问规则与会话设置分工不同。
Feed设置描述存储URI、格式、空结果、字段和命名参数,爬虫名/时间可让各次输出区分。CSV等固定列输出应显式控制字段及顺序;URI方案再决定本地或远程后端。原书FEED_URI/FEED_FORMAT是旧接口,当前以FEEDS配置为主,FEED_URI.FEED_URI和缺crawl的命令是排版问题;格式推断不能替代确认实际输出。 详见输出配置决定位置格式与字段。
启用ImagesPipeline并设置存储后,image_urls提供待下载地址,images保存成功下载的URL/path/checksum等结果记录,而非只存文件名。图像管道还可统一格式、过滤最小尺寸并生成缩略图,FilesPipeline用于其他文件。声明字段不证明已下载成功,失败和空结果需检查;原书pip install image不是当前安装要求,应按官方images extra与Pillow依赖核对。 详见媒体管道把地址转换成下载结果。
FILES_EXPIRES与IMAGES_EXPIRES用于按文件年龄判断是否可复用已下载内容,过期可能重新取回,不是自动定期删除媒体文件。缩略图尺寸由IMAGES_THUMBS命名配置,完整图与缩略图有对应存储路径。名称和哈希规则可被定制,不宜只凭猜路径当存在性证明;本次没有下载图片、装包或清空images目录。 详见媒体过期控制复用而非自动删档。
原书把S3下载、媒体保存和Feed输出列为不同使用位置,AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY用于相应认证配置。配置了URI不证明具有访问或写入权限,也不证明相关依赖与端点均可用;凭据不宜跟公开源码打包。这里仅解释配置角色,没有读取真实密钥或调用云存储,书中拼成AWS ACCESS KEY_ID不可当正确键名。 详见云存储能力不等于已取得访问权。
HttpProxyMiddleware可参考http_proxy/https_proxy/no_proxy等环境变量,设置后要核对具体请求是否经过相应代理,结束试验再恢复原环境。观测出口地址变化只证明相应测试路径,不证明代理可靠或整体匿名。书中10.10.1.1是占位示例,免费代理列表和Crawlera宣传属于历史入口,不能据其承诺当前性能或一定成功,本次未设代理。 详见代理配置改变连接路径。
BOT_NAME、SPIDER_MODULES等用于识别项目和发现爬虫,SCRAPY_SETTINGS_MODULE/SCRAPY_PROJECT及scrapy.cfg选择设置与项目上下文。MAIL_FROM等则配置MailSender,统计或内存告警还需启用对应功能和收件者。生成模板提供起点,不表示任意集成无需调整;本次未修改真实项目环境或发送邮件。 详见项目发现与邮件通知各有配置。
ITEM_PIPELINES、下载/爬虫中间件、扩展和Feed组件等配置可挂接自定义逻辑。相应_BASE映射保存框架默认注册项,项目应在非_BASE项中覆盖或补充,避免把默认实现整体误替换。各类扩展的排序与加载约定须分别核对,不能因都使用数字或字典就认为执行顺序相同。 详见扩展字典与内置默认值分开维护。
继承ScrapyCommand并实现run(args,opts)可扩展CLI,default_settings给该命令设置较低优先级默认值,再由项目和命令行覆盖。通过COMMANDS_MODULE配置发现路径,官方示例用mybot.commands,原书properties.hi组织方式需按目标版本核对,不能只改字符串就认定命令已注册。本次没有增加或运行应用命令。 详见自定义命令也参与设置层级。
DOWNLOADER、SCHEDULER等类路径允许用自定义实现替换核心组件,为试验或测试提供入口。继承默认类减少重复,但仍需满足组件接口和生命周期,并承担版本变化影响。配置路径存在不代表实现兼容,不应为小调整随意替换整套组件;原书只给出方向,没有展开生产可用的替代实现。 详见替换核心组件扩大了维护责任。
REDIRECT_PRIORITY_ADJUST为正会提高相对原请求的优先级,原书设2却说等所有非重定向请求完成后才调度是反的;也不能由此保证在所有其他请求前完成。REDIRECT_MAX_TIMES限制跟进次数,超限不是承诺把最后页面正常交给回调。重试、HTTP错误允许状态和URL长度各自控制不同环节,不应混作通用恢复开关。 详见重定向优先级的符号不能反读。
AutoThrottle按下载延迟反馈调整槽位请求间隔,试图在可控负载下利用吞吐,仍受并发及最小/最大延迟配置影响。它不是直接测得服务器全部负载,也不保证任何站点都达到最优。作者认为偏保守且难调是个人经验,选择前应结合真实响应与错误观察,不能把开启扩展当作已完成性能验证。 详见自适应间隔仍受容量约束。
内存使用扩展可观察用量、达到告警阈值通知,达到限制时结束爬虫;MEMUSAGE_LIMIT_MB为0取消此停机条件,不等于所有监测告警都禁用。它有平台和采样范围,不是操作系统硬隔离或瞬时内存永不超限保证。共享环境中需按容量理解行为,本次未配置收件人、发送通知或终止进程。 详见内存告警和内存停机不是一回事。
MEMDEBUG类功能在关闭时报告仍存活的对象线索,trackref帮助进一步追踪;对象还存活不自动等于泄露,RSS增长也不总由同类对象解释。短任务与批量运行能限制单次暴露,但不能替代查原因,作者几千页/几分钟的建议不是所有系统的通用上限。需要结合对象归属和增长趋势判断。 详见存活引用数不能直接证明泄露。
LOG_ENCODING/LOG_DATEFORMAT/LOG_FORMAT服务于日志消费,DUPEFILTER_DEBUG可查请求被过滤,COOKIES_DEBUG可查会话流转。先根据症状选择对应层,避免只增加全部日志而找不到原因;日志中还可能包含业务或会话数据,应按需处理。Splunk/Logstash/Kibana在这里是集成入口,未连接服务或上传日志。 详见调试日志要对应异常的层次。
原书依据 · 27 处
- 第7章 配置与管理 7.1 使用Scrapy设置 · 查看原书依据
- 第7章 配置与管理 7.1 使用Scrapy设置 · 查看原书依据
- 第7章 配置与管理 7.2.1 分析 · 查看原书依据
- 第7章 配置与管理 7.2.1 分析 · 查看原书依据
- 第7章 配置与管理 7.2.2 性能 · 查看原书依据
- 第7章 配置与管理 7.2.2 性能 · 查看原书依据
- 第7章 配置与管理 7.2.2 性能 · 查看原书依据
- 第7章 配置与管理 7.2.2 性能 · 查看原书依据
- 第7章 配置与管理 7.2.3 提前终止爬取 · 查看原书依据
- 第7章 配置与管理 7.2.4 HTTP缓存和离线运行 · 查看原书依据
- 第7章 配置与管理 7.2.4 HTTP缓存和离线运行 · 查看原书依据
- 第7章 配置与管理 7.2.5 爬取风格 · 查看原书依据
- 第7章 配置与管理 7.2.5 爬取风格 · 查看原书依据
- 第7章 配置与管理 7.2.6 feed · 查看原书依据
- 第7章 配置与管理 7.2.7 媒体下载 · 查看原书依据
- 第7章 配置与管理 7.2.7 媒体下载 · 查看原书依据
- 第7章 配置与管理 7.2.8 Amazon Web服务 · 查看原书依据
- 第7章 配置与管理 7.2.9 使用代理和爬虫 · 查看原书依据
- 第7章 配置与管理 7.3.1 项目相关设置 · 查看原书依据
- 第7章 配置与管理 7.3.2 Scrapy扩展设置 · 查看原书依据
- 第7章 配置与管理 7.3.2 Scrapy扩展设置 · 查看原书依据
- 第7章 配置与管理 7.3.2 Scrapy扩展设置 · 查看原书依据
- 第7章 配置与管理 7.3.3 下载调优 · 查看原书依据
- 第7章 配置与管理 7.3.4 自动限速扩展设置 · 查看原书依据
- 第7章 配置与管理 7.3.5 内存使用扩展设置 · 查看原书依据
- 第7章 配置与管理 7.3.5 内存使用扩展设置 · 查看原书依据
- 第7章 配置与管理 7.3.6 日志和调试 · 查看原书依据
精通Python爬虫框架Scrapy · 第8章 Scrapy编程
Twisted的反应器等待I/O就绪,Deferred保存成功或失败后的处理链,Scrapy在这些机制上组织采集。回调返回值、异常和返回另一个Deferred会影响后续链路,不能把所有回调都当独立并发任务。生命周期信号及组件接口再提供扩展点,帮助把自定义行为放到正确责任边界。
本书Scrapy1.0以Twisted反应器监测I/O就绪,用Deferred登记后续处理,让线程在等待时推进其他任务。它减少大量等待线程的资源成本,但回调本身阻塞仍会挡住反应器,异步不把CPU计算自动移到别处。并非所有文件/库调用都已有非阻塞实现,也不能把Node.js所有API或当前Scrapy运行方式一概视作相同。 详见事件驱动把等待与后续动作拆开。
Deferred表示一次操作的后续结果,addCallback登记处理函数,callback(v)触发成功链,各函数返回值成为下一步输入。示例foo把3变4说明结果会经处理改变,而不是永远固定最初值。called只说明已触发,不证明后续链已全部结束;result/callbacks等内部观测不宜作为稳定业务接口。本章省略了完整错误处理,不能把成功例当无失败协议。 详见延迟链传递每一步的结果。
a的回调返回b时,a剩余处理等待b,再把b的结果传给下一步;b可以先于或后于a就绪。示例两种触发顺序最终得到相同值,说明依赖由链表达,而非靠人为等待先后。它不是把普通阻塞调用包装一下就自动异步,也不应依赖示例打印出的内部b.result最终值来设计公开契约。 详见返回另一个延迟会暂停后续链。
默认DeferredList等待所有输入完成,按输入顺序收集(成功标记,结果)元组,而非按完成顺序排。失败分支的结果可为Failure,汇合得到列表不证明各项成功;其他提前触发选项也会改变行为。书中五项只有最后一项触发后才通知,展示的是默认等待全部,不是任何汇合器都必须如此。 详见汇合结果要保留各分支状态。
WordPress故事先顺序sleep,再用五线程并发,最后以deferLater安排回调,展示等待如何重叠。这里没有真的安装WordPress或执行45秒CPU计算,3秒计时也不说明算法计算得到15倍加速。线程例锁保护共享客户列表,但业务异常和可靠释放未完整展开;不同任务数和并发条件也不能直接当真实系统基准。本次未运行示例。 详见定时等待示例不是计算加速证明。
inlineCallbacks将yield Deferred写成可暂停恢复的流程,当前实例等待时其他工作可推进,装饰后的函数返回Deferred。reactor.run推动事件,并不要求启动前把未来所有链都创建好;运行中也可动态安排任务。deferLater是计时后调用函数的机制,不是执行任意I/O传输的替代,后续函数仍需快速非阻塞。 详见顺序外观仍需理解挂起和调度。
书中用生成器逐个创建inline_install,再对同一迭代器启动五个coiterate;每轮yield出的Deferred结束后,该消费者才继续取下一项,因而大致形成五个在途槽位。若先急切启动全部任务再交给Cooperator,不能得到同样限制。Cooperator是协作调度器,不是任意代码的全局限流器;9.19秒是原书等时任务记录。 详见协作限并发依赖惰性生产任务。
Spider按来源创建Request、处理Response,产生Item及更多Request;Item是结构化数据,Request是后续工作,Response是下载结果。需要只适配某站点就改Spider,需要共享数据变换/存储就用Pipeline,需要改请求响应路径选对应中间件,其他生命周期工具可用扩展。表8.1是选择入口,不是所有问题都要增加新组件。 详见三类流对象指向不同扩展职责。
Item依次通过process_item,返回数据交给下一组件,DropItem显式终止此项的后续处理;open_spider/close_spider可做初始化和清理。把跨来源清洗或存储放进管道可减少Spider重复代码,但处理仍须非阻塞或正确等待。普通异常与有意DropItem不同,不能把出错悄悄当已成功处理。 详见管道串联数据动作并明确丢弃。
下载器中间件包围下载过程,爬虫中间件处理送入Spider的响应及回调产出的Request/Item流,不能仅按一对一与一对多区分。下载process_request可返回None继续、Response短路、Request重调度或抛异常,并非原书所说只返回Response。图8.2⁄8.3表达的是各自位置,执行顺序和输入输出要按具体hook判断。 详见两类中间件处理位置和契约不同。
扩展可从Crawler取得settings和signals,再把处理器接入生命周期事件,适合统计、关闭条件等没有专门数据hook的功能。from_crawler提供依赖入口,不需靠全局变量到处查配置;不需要依赖时也可按该版本支持方式直接创建。扩展不是Pipeline的别名,管理器通用机制不抹平各角色的接口。 详见扩展通过初始化与信号接入。
TidyUp把每个date转换为ISO格式字符串后返回Item,避免在多个Spider重复转换,ITEM_PIPELINES数字较小者先处理。转换不自动添加时区,也不说明任何数据库都必须字符串才能索引;缺字段或非datetime值仍会出错。原书Python2的map返回列表,Python3为迭代器,迁移时需明确输出形状,不能直接认定与打印样例相同。 详见共享字段变换可集中到管道。
item_scraped表示Item已成功通过管道,item_dropped对应有意丢弃,spider_error对应Spider回调异常;下载完成与引擎收到响应也是不同事件。示例yield两项、一项DropItem、最后抛错,说明部分数据成功与同次爬虫有错误可以并存。不能只看任务finished就把所有数据标成功,也不把某次日志顺序当所有并发场景固定顺序。 详见事件名表达不同结果和时点。
crawler.signals.connect登记感兴趣事件,但信号数量与异步返回支持随版本变化,原书11个及其支持列表不是当前全集。处理器的相对顺序不应当业务依赖;有顺序要求应显式组织。spider_idle是无待执行/处理工作状态,不证明业务目标达成,在其中排新请求若被过滤仍会空闲,必要时按DontCloseSpider等契约控制关闭。 详见信号订阅不替代各自契约。
Latencies通过from_crawler获得依赖,在构造时读取LATENCIES_INTERVAL,未设置则抛NotConfigured;再注册信号处理器。EXTENSIONS中有类路径不等于实例必启用,参数还需有效且符合约束,不能把非零负间隔也当合理配置。这种显式初始化模式让可选功能按配置接入,而不需每个Spider改代码。 详见注册扩展与启用条件分开处理。
schedule_time到item_scraped包含排队、下载、解析及后续处理,received_time到item_scraped仍包含解析/队列和管道,不能直接命名为纯下载或纯管道耗时。多个Item共用同一Response时间戳使平均值按成功Item加权,丢弃和失败未计入;示例未处理所有缺失打点路径。测量前先定义对象和起止事件,才可正确比较。 详见打点位置决定延迟指标含义。
Request.meta到Response.meta便于把调度和接收时间带到Item完成阶段,重定向/重试可传递相应元数据;但回调若再次写schedule_time就改变了所测起点。Response.request也并非所有阶段可用或永远就是最初请求。不能由元数据可传递推断自动测到了最初入口到所有后续操作的全链延迟。 详见请求元数据能携带但也会改写打点。
LoopingCall在打开时开始、关闭时停止,_log读取并重置本轮计数与延迟。start默认可立即调用,故首行0不表示已观察完整间隔;事件循环忙时回调可能延后,用固定interval作分母会偏离真实每秒速率。示例关闭时只stop未输出尾段,time墙钟也可能变化,不能把它当无遗漏高精度监控。本次未启动定时器。 详见周期采样需要真实时间与收尾策略。
稳定条件下平均在途数量可用吞吐率乘同一群体的平均逗留时间估算。原书日志25项/秒和0.78秒对应约19.5项,但公式换成43×0.45,虽接近19却与日志不一致。只按成功Item统计也不能直接覆盖失败请求或不同管道队列;推断不应超过30缺少普遍依据,不能当任意CONCURRENT_REQUESTS的上限。
第9章把25项/秒与0.77秒、3.33秒相乘,分别得到约19和83项在途,说明在下游等待增加而吞吐维持时,需要容纳更多未完成工作;更多在途也增加内存、队列和连接等资源压力,不能由示例推导永远没有性能问题。 详见利特尔法则需要一致的对象与窗口。
图8.4以本书版本展示CrawlerProcess继承CrawlerRunner,创建Crawler来组织settings、signals、spider、stats和extensions,Crawler.engine关联ExecutionEngine,后者协作Scheduler、Downloader和Scraper。原文extensions.crawler.engine的路径叙述容易混淆,应按实际对象关系理解;本图是历史架构导航,不承诺当前私有字段完全相同。 详见核心对象按运行责任组合。
图8.4的Scheduler组合内存/磁盘队列以保存待执行请求,并使用BaseDupeFilter接口判断是否见过,请求优先级与重复判定因此可以分别扩展。队列push/pop与dupefilter.request_seen承担不同问题,不能靠改队列顺序就解决重复。图中mqs/dqs等字段属于本书版本,接入时应核对目标接口与持久化语义。 详见调度队列与去重是两种职责。
DOWNLOAD_HANDLERS按协议选择下载实现,而中间件、Item管道和扩展各由相应MiddlewareManager子类管理。图8.4中DownloadHandler表示接口角色,不必据图虚构实际同名基类;只填类路径不证明实现了所需方法。可从已有实现和调用处理解生命周期,再替换对应注册项,私有接口稳定性不能由作者当时观察永久担保。 详见处理器注册须遵循被调用接口。
FeedExporter一边调用ItemExporter序列化Item,一边调用FeedStorage写入目的地,FEED_EXPORTERS和FEED_STORAGES分别管理它们。因而从S3的XML改成标准输出的其他编码,涉及两种选择而非重写抓取。图8.4给出基类/接口角色和具体例,接口签名以目标版本为准,本次未生成或上传任何Feed。 详见导出格式和存储后端可以独立替换。
图8.4展示check命令经ContractsManager使用Contract,UrlContract调整请求参数,ReturnsContract和ScrapesContract在输出后检查各自约束,SPIDER_CONTRACTS可接入自定义规则。扩展契约需明确是在发请求前、处理响应还是检查输出时工作;它不因名为contract就自动成为静态类型或完整业务证明。本轮未执行check。 详见契约检查也通过注册对象扩展。
原书依据 · 25 处
- 第8章 Scrapy编程 8.1 Scrapy是一个Twisted应用 · 查看原书依据
- 第8章 Scrapy编程 8.1.1 延迟和延迟链 · 查看原书依据
- 第8章 Scrapy编程 8.1.1 延迟和延迟链 · 查看原书依据
- 第8章 Scrapy编程 8.1.1 延迟和延迟链 · 查看原书依据
- 第8章 Scrapy编程 8.1.2 理解Twisted和非阻塞I/O——一个Python故事 · 查看原书依据
- 第8章 Scrapy编程 8.1.2 理解Twisted和非阻塞I/O——一个Python故事 · 查看原书依据
- 第8章 Scrapy编程 8.1.2 理解Twisted和非阻塞I/O——一个Python故事 · 查看原书依据
- 第8章 Scrapy编程 8.2 Scrapy架构概述 · 查看原书依据
- 第8章 Scrapy编程 8.2 Scrapy架构概述 · 查看原书依据
- 第8章 Scrapy编程 8.2 Scrapy架构概述 · 查看原书依据
- 第8章 Scrapy编程 8.2 Scrapy架构概述 · 查看原书依据
- 第8章 Scrapy编程 8.3 示例1:非常简单的管道 · 查看原书依据
- 第8章 Scrapy编程 8.4 信号 · 查看原书依据
- 第8章 Scrapy编程 8.4 信号 · 查看原书依据
- 第8章 Scrapy编程 8.5 示例2:测量吞吐量和延时的扩展 · 查看原书依据
- 第8章 Scrapy编程 8.5 示例2:测量吞吐量和延时的扩展 · 查看原书依据
- 第8章 Scrapy编程 8.5 示例2:测量吞吐量和延时的扩展 · 查看原书依据
- 第8章 Scrapy编程 8.5 示例2:测量吞吐量和延时的扩展 · 查看原书依据
- 第8章 Scrapy编程 8.5 示例2:测量吞吐量和延时的扩展 · 查看原书依据
- 第9章 管道秘诀 9.5 本章小结 · 查看原书依据
- 第8章 Scrapy编程 8.6 中间件延伸 · 查看原书依据
- 第8章 Scrapy编程 8.6 中间件延伸 · 查看原书依据
- 第8章 Scrapy编程 8.6 中间件延伸 · 查看原书依据
- 第8章 Scrapy编程 8.6 中间件延伸 · 查看原书依据
- 第8章 Scrapy编程 8.6 中间件延伸 · 查看原书依据
精通Python爬虫框架Scrapy · 第9章 管道秘诀
管道把提取记录接到外部资源接口、存储或分析步骤。同步与异步操作改变等待位置,连接池与共享计数则影响并发资源和不变量。房源调价例中,中间状态交错会让价格计算失去预期,需要共同维护相关状态;这承接第一册并发概念,不能仅凭事件循环单线程就认定没有竞态。
REST以资源及HTTP等约束组织服务,CRUD与HTTP方法的相似性可辅助理解,但URL不必暴露真实表名和主键,也不能由路径推断服务端实现。方法语义、状态码、认证和表示格式共同构成调用契约;XML/JSON只是表示选择。原书比SOAP轻量是该背景下的对比,不证明任何带JSON URL的接口都满足全部REST约束。 详见资源接口不等于数据库表映射。
treq提供基于Twisted的HTTP调用并返回Deferred,适合在管道内等待外部服务而避免直接阻塞反应器。它与Scrapy抓取请求的调度、统计和中间件边界不同,不应因为API像requests就认定完全同义。原书声称其性能更优将在特定后续实验说明,这里没有测量或证明所有场景都更快,也未安装客户端。 详见异步客户端要匹配调用边界。
先将Item转换为dict,再json.dumps并编码为UTF-8字节,可形成外部写入载荷;ensure_ascii=False控制非ASCII字符转义方式,不负责清洗或权限。字段必须可按所选方式编码,前置TidyUp转换date因此影响后续结果。原书带类型的properties/property端点属旧ES版本,现代接口和Content-Type等应按目标契约核对,不能原样认作当前请求模板。 详见写入载荷需要明确序列化契约。
书中精简process_item用inlineCallbacks等待treq.post,却没有显式返回Item;该片段完成后结果为None,不是原数据。要继续Pipeline处理,应按目标Python/Twisted版本正确传回业务结果,并处理写入失败。作者说明完整代码另有细节,此处不能把省略版本直接当可组合的完整管道,本次未运行或提交文档。 详见等待写入后仍须返回管道数据。
得到treq响应仍需检查HTTP状态和服务返回的写入结果,错误响应也可能经正常响应对象交付。原书4行片段未显示状态、响应体、超时与错误处理,不构成可靠写入协议;搜索暂时看不到也不能只归因爬虫字段。删除索引是破坏性操作而非普通连通性检查,本次没有执行curl、DELETE、写入或搜索请求。 详见收到响应不证明文档已写入。
Elasticsearch可对新字段动态建立映射,因此简单示例无需先手写全部字段,但已建立的字段类型会约束后续文档,也可能与预期不同。应检查实际mapping再判断可查询行为,而非把无模式理解为永远接受任意结构。原书把index/type比成集合/对象类型是旧版本语境,mapping types已迁移移除,不能拿旧路径当当前通用模式。 详见自动映射不代表没有模式约束。
将Item凑批或抓取结束后导入,可能减少逐次请求和提交开销,但会增加等待、积压与失败处理责任;流式异步管道也可以是合理选择。原书“管道插数据库不是好主意”和批量能快几个数量级都不宜无条件推广。0.78到0.81秒、约25项/秒属于该示例与前章统计口径,非本机测量或普遍收益。 详见批量写入取舍要按实际瓶颈判断。
地址查询返回多个候选及精度信息,results[0]并不保证就是用户所需实体。示例等待treq响应,再等待JSON体,检查业务status、空结果与坐标范围,并把lng转为下游约定的lon;查询参数由params编码。地区中心点与房源精确位置不同,本书用离线假服务提高可预测性,本次没有访问真实API。 详见地理编码结果需要语义核验。
OVER_QUERY_LIMIT说明调用不能继续按成功数据使用,限速与缓存可减少请求压力,但不保证所有失败都消失。书中免费2500次/日和5或10次/秒是历史条款;2026-11-06官方页面要求启用计费并带API key或OAuth token,实际配额需按项目核对。不能仅增加IP或改定时参数就认定可绕过服务规则,本次未开通计费。 详见服务限额必须按现行契约理解。
Throttler让调用者排入Deferred队列,LoopingCall按间隔取最早等待者触发,调用者获准后再访问资源。每个等待者在自己的许可到来时恢复,不必等整个队列清空;11/5秒只近似最后一个的等待。它不限制已在途请求总数,队列也无容量、取消和停机结清设计,stop仅停定时器不能自动完成所有等待者,rate还须为正。 详见定时许可队列限制开始节奏。
DeferredCache在未命中时先建立该键的等待者列表,再发起一次真实获取;后来的同键查询只加入列表,获取完成后广播相同结果。这样避免并发协程都未命中时重复请求,普通结果字典本身没有这项能力。去重范围仅此缓存实例,结构没有分布式互斥或容量管理,不代表所有线程可直接并发修改它。 详见同键在途请求需要合并等待者。
把首次异常保存为后续errback动作,可避免相同失败反复调用外部服务,但书中缓存无期限和逐类失效策略,短暂网络故障也可能长期命中失败。缓存值和异常都会占用引用;何时重试、清除或保留需按错误含义决定。缓存命中数量不证明结果仍有效或源数据未改变,本例35个地址/984命中只是其数据集统计。 详见失败缓存要有恢复和失效策略。
lambda引用局部变量形成闭包,不是定义时自动复制其值。书中except Exception as e之后保存lambda d:d.errback(e),在Python3异常块结束时e会被清除,稍后执行可能无法取得它。需明确保存独立绑定并处理回调错误,不能原样复制Python2式示例。callFromThread安排回调不修复这一绑定,也不让缓存字典自动线程安全。 详见异常闭包迁移时要保留真实绑定。
缺键回调先等许可再地理编码,process_item等cache.find完成后设置location并返回Item;已有位置可由完整管道跳过,写ES须在坐标就绪后。旧GeoPipeline与新geo2应选择一个启用,不能都以同一优先级留下。示例改称throttler.enqueue而前文只给throttle,API不一致须按真实实现核对,不能认为片段拼接已可运行。 详见缓存限流与管道顺序共同生效。
lat/lon两个double字段不等于geo_point,按距离排序需要匹配的地理类型及坐标约定。书中先看mapping再指定location类型说明模式须服务查询,原来的删除重建流程仅为可重建样例,不适合无备份迁移真实数据。对象键lat/lon与数组lon/lat等格式顺序不同,旧typed端点和plane近似也须按目标版本及距离范围核对。 详见坐标对象不自动成为空间字段。
adbapi复用DB-API2驱动,在工作线程中执行数据库交互,并通过Deferred把结果交回反应器。它把阻塞移出主循环,没有把底层驱动变成原生异步实现;线程池和连接容量、数据库等待仍有成本。兼容DB-API是起点,驱动线程约束与参数仍须核对,本次没有创建连接或运行查询。 详见同步数据库驱动可经线程池适配。
MysqlWriter建ConnectionPool,runInteraction把Transaction样式对象传给do_replace,正常返回提交、异常回滚,再由Deferred交付结果;close_spider关闭连接池。值作为独立参数传给execute而非手工拼接。do_replace若不需要self可用staticmethod,但移除装饰器却保留原签名会改变绑定,不是原书所说忘记也总无影响。 详见数据库交互回调定义事务范围。
示例在process_item捕获所有写库异常、打印后仍返回Item,后续管道与成功统计不能因此证明MySQL写入成功。事务回滚和错误报告各解决不同问题,若该存储是交付要求,就需保留可判断的失败结果。测试输出1006行只是书中环境,不是本机验收;本次没有创建数据库或清空表。 详见吞掉写入失败会掩盖持久化结果。
示例把URL裁到100字符作为主键,把标题和描述裁到30字符来满足列长度;不同URL可能因此落成同一键,信息也会无声丢失。应先定义身份及字段保存契约,不能用裁剪回避模型不匹配。price的近似数类型和旧utf8/驱动配置也只是示例选择,不是对所有文本和金额精度需求的通用方案。 详见截断标识会改变记录身份。
MySQL REPLACE在主键或唯一键冲突时具有删除旧行再插新行的语义,不能只因最终键相同就把它视作普通字段更新。未提供列、约束和其他依赖可能受此语义影响,选择应按真实更新要求判断。原书用于重复抓取的便捷做法不证明任何表都适用;这里没有交付可执行SQL或执行数据变更。 详见替换写入不等于原地更新。
为服务选择Twisted客户端可直接融入反应器,缺少合适客户端时也可用线程池桥接成熟同步库。比较要包含功能、版本兼容、维护和实际负载,不能只按名字含Twisted就承诺更快。原书把PyMongo当同步库是当时接口背景,MongoDB/txmongo在此为选择路径的例子,不作当前客户端全集或社区规模保证。 详见原生异步与线程适配是两条路径。
RedisCache先按命名空间加地址查JSON值,命中时给Item设置location,使后续GeoPipeline跳过获取;成功通过所有管道后的item_scraped再写回坐标。读取、地理编码和回填的顺序共同产生收益,单纯启用Redis不自动改变调用路径。本次没有连接Redis,示例FLUSHALL会清全部数据库,不能作为一般连接测试。 详见共享缓存按处理阶段读入和回填。
Redis让不同运行复用已存坐标,但多个实例同时未命中仍可能各自访问API,前文单实例DeferredCache不自动延伸为分布式请求合并。键须表达相应地址及结果身份,命名空间便于隔离,过期策略控制更新。命中是减少真实调用,并非绕过API配额;旧仅按IP限制的描述不能当当前规则,外部缓存政策也需核对。 详见共享结果不等于跨机合并在途调用。
item_scraped支持等待Deferred的处理器,inlineCallbacks函数也返回Deferred,不能由此认定该信号禁止该装饰器。无装饰器的示例直接返回connection.set(…).addErrback(…)同样是组合异步结果的写法。是否等待应按信号契约及版本判断;事件回调失败也不等于已有数据库写入可自动回滚。 详见异步信号处理不由装饰器名决定。
Failure.trap(ConnectionError)在匹配时返回异常类型并使该errback走成功路径,不匹配则继续抛错,不是把所有Redis错误都忽略。静默容忍缓存写失败可能让主流程继续,但缓存未持久化需仍可观察。read路径的get失败与write路径的容忍策略也不同,不能把一处quiet回调当整个管道永不失败。 详见错误筛选不是屏蔽所有失败。
callInThread在线程池执行阻塞函数,主流程yield out等待;工作线程通过callFromThread(out.callback,value)安排由反应器线程恢复Deferred链,避免后续Scrapy逻辑意外跑在工作线程。线程池仍有容量和共享状态约束,纯PythonCPU工作也未必因线程获得多核加速。本书sleep模拟100毫秒等待,不是真实计算性能测试。 详见线程桥接要把结果送回反应器。
精简_do_calculation只在成功尾部安排out.callback,若断言或业务计算先抛异常,out可能一直未触发,主流程无法仅凭工作线程结束得知结果。需要把成功、失败与取消按桥接契约传回,或选已有返回Deferred的适配工具。把函数放进线程池只改变执行位置,不能自动补齐所有失败生命周期。 详见工作异常也必须结束等待状态。
房源价格教学例原本只应增加1,却让多个工作线程先后修改共享beta和delta,再用price+beta-delta+1计算。一个线程在两个计数更新之间被切走,另一个线程读取到beta大于delta的中间状态,就可能算出错误价格并触发断言。根因是相关字段的不变量跨多步且可交错;这是模拟调价例,不是已发生的真实扣款事故。对应方案见[[锁住计数不变量避免调价错算]]。 详见共享计数交错导致调价错误。
在同一把RLock保护下完成beta、delta相关更新及依赖它们的新价格计算,其他线程不能插入看到只更新一半的状态,因而维护价格只增加1的前提。所有访问路径都须遵守同一锁,临界区宜只覆盖共享状态所需操作,阻塞等待无须无条件放进去;锁也不补齐线程异常回传。问题见[[共享计数交错导致调价错误]]。 详见锁住计数不变量避免调价错算。
CommandSlot用队列把请求对应到子进程结果,但outReceived得到的是任意字节块,可能半行、多行或含其他输出。直接pop一个Deferred再float(data)不构成可靠逐行协议;需要缓冲、分帧和明确结果对应,Python3 transport.write也应按字节契约编码。Pricing是Item管道而非原文称的爬虫。本次没有派生进程。 详见进程输出分块不是业务消息边界。
一个脚本每条等待250毫秒,理想服务率约4条/秒;16个相互独立且资源足够的实例理论上约64条/秒,实际仍受上游25条/秒等限制。轮询只分配次数,不保证负载均衡;启动三秒、排队和传输也计入延迟。完整示例一次结果后再送下一条,体现需要背压,不能把无限transport.write队列当免费容量。 详见并行进程的理论容量仍有前提。
脚本忽略SIGINT是原书为示例退出问题采用的处理,不等于系统已有完整停机协议。stdin关闭、stderr、进程退出和未完成Deferred均需处理,否则父进程可能等不到结果或子进程不结束。终端Ctrl+D只是相应输入结束方式;集成时应按ProcessTransport关闭输入及等待processEnded等契约设计。本次未运行脚本或发送进程信号。 详见关闭子进程要结清协议和等待者。
第9章把25项/秒与0.77秒、3.33秒相乘,分别得到约19和83项在途,说明在下游等待增加而吞吐维持时,需要容纳更多未完成工作;更多在途也增加内存、队列和连接等资源压力,不能由示例推导永远没有性能问题。 相关推导与指标边界见利特尔法则需要一致的对象与窗口。
原书依据 · 34 处
- 第9章 管道秘诀 9.1 使用REST API · 查看原书依据
- 第9章 管道秘诀 9.1.1 使用treq · 查看原书依据
- 第9章 管道秘诀 9.1.2 用于写入Elasticsearch的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.2 用于写入Elasticsearch的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.2 用于写入Elasticsearch的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.2 用于写入Elasticsearch的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.2 用于写入Elasticsearch的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.3 使用Google Geocoding API实现地理编码的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.3 使用Google Geocoding API实现地理编码的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.3 使用Google Geocoding API实现地理编码的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.3 使用Google Geocoding API实现地理编码的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.3 使用Google Geocoding API实现地理编码的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.3 使用Google Geocoding API实现地理编码的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.3 使用Google Geocoding API实现地理编码的管道 · 查看原书依据
- 第9章 管道秘诀 9.1.4 在Elasticsearch中启用地理编码索引 · 查看原书依据
- 第9章 管道秘诀 9.2 与标准Python客户端建立数据库接口 · 查看原书依据
- 第9章 管道秘诀 9.2.1 用于写入MySQL的管道 · 查看原书依据
- 第9章 管道秘诀 9.2.1 用于写入MySQL的管道 · 查看原书依据
- 第9章 管道秘诀 9.2.1 用于写入MySQL的管道 · 查看原书依据
- 第9章 管道秘诀 9.2.1 用于写入MySQL的管道 · 查看原书依据
- 第9章 管道秘诀 9.3 使用Twisted专用客户端建立服务接口 · 查看原书依据
- 第9章 管道秘诀 9.3.1 用于读写Redis的管道 · 查看原书依据
- 第9章 管道秘诀 9.3.1 用于读写Redis的管道 · 查看原书依据
- 第9章 管道秘诀 9.3.1 用于读写Redis的管道 · 查看原书依据
- 第9章 管道秘诀 9.3.1 用于读写Redis的管道 · 查看原书依据
- 第9章 管道秘诀 9.4.1 处理CPU密集型或阻塞操作的管道 · 查看原书依据
- 第9章 管道秘诀 9.4.1 处理CPU密集型或阻塞操作的管道 · 查看原书依据
- 第9章 管道秘诀 9.4.1 处理CPU密集型或阻塞操作的管道 · 查看原书依据
- 第9章 管道秘诀 9.4.1 处理CPU密集型或阻塞操作的管道 · 查看原书依据
- 第9章 管道秘诀 9.4.2 使用二进制或脚本的管道 · 查看原书依据
- 第9章 管道秘诀 9.4.2 使用二进制或脚本的管道 · 查看原书依据
- 第9章 管道秘诀 9.4.2 使用二进制或脚本的管道 · 查看原书依据
- 第8章 Scrapy编程 8.5 示例2:测量吞吐量和延时的扩展 · 查看原书依据
- 第9章 管道秘诀 9.5 本章小结 · 查看原书依据
精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能
性能分析将吞吐、延迟、在途数量与实际资源连接起来。理想管道类比帮助提出假设,统计和测量再确认网络、CPU、内存或外部服务在哪里限制流量。增加并发可能同时增大等待、失败或内存,因此调参需固定工作量和观察窗口,并区分抓取完成、管道处理完成及最终输出。
以管道长度类比逗留时间、容量类比在途数量、截面积类比吞吐,可以帮助理解并发系统,但它依赖流速等被简化为固定的模型,不是关于真实流体的通用定律。增加并发若改变远端响应时间或触及其他资源,吞吐就不会线性增长。利特尔法则的对象与时间口径见[[利特尔法则需要一致的对象与窗口]],不能用类比代替测量。 详见管道类比需要保留理想化前提。
级联阶段的稳态吞吐受约束阶段限制,等待会在其前方积压。通常待下载请求比含完整页面的响应轻,因此让输入在下载前受控可减少下游保留大对象;但Request还有正文、meta和对象引用,不只是几个URL字节。下载器作为控制点是针对该目标的选择,不表示所有系统的固有瓶颈都必须在那里。 详见瓶颈位置影响积压的内存成本。
在稳态且存在明确约束时,瓶颈前持续排队、后级相对空闲可提示所在阶段;应多次采样并核对吞吐、延迟和资源。改进非瓶颈可能不增加此时吞吐,仍可能改善成本或延迟;也会在负载变化后有不同结果。原书的全满/全空管道图是诊断模型,不是一次快照即可证明的因果关系。 详见瓶颈诊断要观察队列的变化。
本书模型把调度器、下载器、Spider和Item管道串联,并由Scraper处理中的响应大小反馈控制继续取请求。下游处理慢可使下载入口暂停,避免无限持有响应;异步等待也会占用在途对象,不能据不阻塞CPU就认定不会成为约束。约5MB是该版本的估计计数阈值,不是整个进程RSS硬上限;当前设置可配置。 详见背压用下游占用调节下载入口。
mqs加需要时的dqs是等待请求,downloader.active是在途下载,scraper.active是处理中响应,itemproc_size是处理中的Item,active_size则为估计字节数。一个响应可有多个Item,所以115响应减105个Item不能一般性推出10个响应正在Spider中。成功累计数的增长才可估计吞吐,反应器内诊断也不能运行阻塞代码;私有字段路径限书中版本。 详见性能快照中的计数单位不能混用。
伪站点可调整响应时间、详情条目数、索引结构和额外大小,DummyPipeline分别模拟阻塞、异步等待及两类API路径,便于逐项比较。仅访问本地时去掉某些限制,是为了隔离变量,不是对真实站点的配置建议。5000项46秒、125到147毫秒包含框架与启动等成本,是书中特定样本,不代表本机测试或硬件通用数值。 详见可控基准用于隔离性能因素。
在下载器充分利用、无其他瓶颈且每请求开销相近时,可用总时间≈请求总数×(响应时间+逐请求额外成本)/有效并发+启动收尾时间。这里请求总数不同于利特尔法则中的平均在途数。短任务的启动成本占比高,长任务才更接近稳态吞吐;并发、域名限制和负载改变时模型前提也会失效。 详见总工时模型区分固定与逐项成本。
令x=总请求数/有效并发,y=总时间−x×响应时间,则y=额外逐请求成本×x+启动收尾时间,才是本模型对应直线。原文把y写成总时间乘x再加响应时间,移项不正确。表10.1的12次样本可用于拟合其环境约6毫秒和3.1秒参数,但未报告完整误差,不能当任何系统常量;本次没有运行循环或拟合测试。 详见拟合模型必须先正确移项。
并发上升而耗时趋平、CPU逼近该执行资源容量,提示约束已从下载等待转向处理能力。原书150到200并发都约14秒,示意继续加并发不再获益;80%—90%只是经验阈值,需看单核、配额和监测口径。多进程可能利用其他核心,同一反应器内多开Spider并不自动获得额外CPU并行;带宽和下游也可能先饱和。 详见增加并发失效时先查饱和资源。
下载器常空而增加并发无效,可检查Spider或Pipeline是否阻塞反应器。若去掉管道仍能正常运行,可逐段禁用/恢复比较;不能去掉则对阶段打点或剖析。100项各阻塞100毫秒约累计10秒说明等待串行化,但不严格等同所有行为都变成并发1。找到原因后选择非阻塞接口、合适线程桥接或后处理,CPU密集型仍要核对GIL与进程选择。 详见阻塞定位要保持对照仍然有效。
旧版示例用engine.download向同一下载器注入慢API请求,挤占并影响正常页面调度,active还可超过面向常规调度的并发值。先检查在途请求类型,再决定是否分离外部API调用;改treq只是改变资源边界,不消除外部服务容量和限速责任。55秒到约20秒是此样例的结果,不证明所有媒体/robots请求都应移出框架或当前私有API行为相同。 详见辅助请求可能竞争抓取资源。
下载器反复填满又暂停、下游活跃响应估计大小升高,可能是慢管道或大页面触发Scraper背压。旧示例按响应体并至少约1KB计数,原文把它称为请求体不准确;它也不是全部内存。现在可配置SCRAPER_SLOT_MAX_ACTIVE_SIZE,但提高值会增加在途资源,不是修复下游能力;改响应正文也不保证已登记计数随之下降。 详见周期停顿可能是响应背压。
每响应含100条、管道等待3秒时,CONCURRENT_ITEMS太小会延长响应占用并引发背压,太大又可能使CPU或下游过载,形成图10.11的折中。Item数与响应数不能普遍作固定乘积,只在相应负载和利用条件下近似。单条响应常不受更高值帮助,但设1不是所有组合的永恒最佳;根据症状调整并确认变化,而不是只找某个数字。 详见多条数据的并发要两侧平衡。
下载器未满且调度器空,说明可能没有足够已发现URL,而不是下载器并发配置太低。索引逐页产生详情链接时,发现链延迟会限制供给;书中500条约32秒对比预载URL约11秒是此构造。每秒20条只是在其20链接和1秒分页条件下的近似,不是所有导航结构的绝对上限,需区分详情吞吐与额外索引请求。 详见输入饥饿不能靠空增下载容量。
每页更多详情、多个可前探分页链接或提高索引优先级,可能让调度器更快取得工作,直到触及其他容量。优先遍历索引也可能先积累大量URL,推迟可见结果并增加内存。应在目标站允许和实际页面结构下选择,不把基准中设置大分页或高优先级当对任意网站无成本的优化。 详见增加导航供给也会增加积压。
若索引可按页段或品牌等属性分割,可从相距较远的多个种子并发遍历,减少单一下一页链的供给约束。页1与51只是100页示例,收益依分片覆盖、重复、均衡和站点变化而定,不保证精确翻倍。它与只提高下载并发不同,改变的是工作发现入口;多个种子仍要遵守全局访问与去重约束。 详见索引分片缩短串行发现链。
从较低并发起步,观察CPU、远端延迟、入口供给和下游占用,再选择对应调整;每次改变后重测,而不是直接加服务器。图10.13是排查路径,CPU阈值和5MB等是出版时条件,当前应核对配置与资源口径。阻塞、API资源竞争和多Item背压可能共存,流程叶子是待检验判断,不是自动验收结果;本次没有运行性能测试。 详见调优流程先证实当前约束。
原书依据 · 17 处
- 第10章 理解Scrapy性能 10.1 Scrapy引擎——一种直观方式 · 查看原书依据
- 第10章 理解Scrapy性能 10.1.1 级联队列系统 · 查看原书依据
- 第10章 理解Scrapy性能 10.1.2 定义瓶颈 · 查看原书依据
- 第10章 理解Scrapy性能 10.1.3 Scrapy性能模型 · 查看原书依据
- 第10章 理解Scrapy性能 10.2 使用telnet获得组件利用率 · 查看原书依据
- 第10章 理解Scrapy性能 10.3 基准系统 · 查看原书依据
- 第10章 理解Scrapy性能 10.4 标准性能模型 · 查看原书依据
- 第10章 理解Scrapy性能 10.4 标准性能模型 · 查看原书依据
- 第10章 理解Scrapy性能 10.5.1 案例 #1:CPU饱和 · 查看原书依据
- 第10章 理解Scrapy性能 10.5.2 案例 #2:代码阻塞 · 查看原书依据
- 第10章 理解Scrapy性能 10.5.3 案例 #3:下载器中的“垃圾” · 查看原书依据
- 第10章 理解Scrapy性能 10.5.4 案例 #4:大量响应或超长响应造成的溢出 · 查看原书依据
- 第10章 理解Scrapy性能 10.5.5 案例 #5:有限/过度item并发造成的溢出 · 查看原书依据
- 第10章 理解Scrapy性能 10.5.6 案例 #6:下载器未充分利用 · 查看原书依据
- 第10章 理解Scrapy性能 10.5.6 案例 #6:下载器未充分利用 · 查看原书依据
- 第10章 理解Scrapy性能 10.5.6 案例 #6:下载器未充分利用 · 查看原书依据
- 第10章 理解Scrapy性能 10.6 故障排除流程 · 查看原书依据
精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取
分布式运行把任务交给多个Scrapyd进程或节点,实时分析再对输出持续聚合。部署、提交作业、远程执行结束和业务结果落地是不同状态,需要各自的身份与失败观察。房源词价偏移可以描述组间相关性,但分配更均匀、数据更多或实时更新都不会自动消除去重、统计口径和因果解释问题。
词价偏移=(含词房产均价−不含词房产均价)/全体均价。例中(1300−995)/1000=30.5%,可用于筛选值得调查的房源。它没有控制位置、面积等混杂因素,也没有分离词语共同出现的影响;数据更多不能自动消除样本偏差,更不能直接证明某个标题词使价格上涨。分组样本为空或总体均价为零时需另定处理。 详见词价偏移描述相关而非因果。
Scrapyd先通过addversion接收项目包,再由schedule创建一次抓取任务并返回jobid;同一版本可以运行多次。应按jobid追踪状态和日志,取消接口对待执行任务移除、对运行任务发终止信号,响应不证明结果已经安全落盘。书中本地HTTP演示不是可直接暴露远程管理接口的部署配置,本次没有提交或取消任务。 详见部署版本与调度任务是两步。
max_proc限制一台Scrapyd实例同时运行多少个Scrapy进程,进程内还有各自的下载并发和资源需求。0按CPU数乘max_proc_per_cpu计算;书中设4是示例资源选择,不代表四个下载或固定四个物理处理器。虚拟机共享CPU和内存时还需综合计算总负载,默认倍数不是最优容量证明。 详见进程上限不同于下载并发。
开发节点只遍历索引、发现详情URL,按批提交到多个Scrapyd节点;工作进程抓取详情并导出文件,分析节点再读取文件。这样可以分别扩展发现、下载和分析能力,但任何一段供给不足或积压都限制整体。书中的FTP和本地目录是降低示例资源成本的选择,不自带高可用或端到端一次处理保证。 详见分布式抓取分离发现和消费。
分析端直接监听上传目录可能读到尚未写完的文件。书中先上传到暂存位置,完成回调再移动到监听目录,建立“完成后可见”的边界;只有实际移动具备相应文件系统原子性时才能把它当原子发布。仍需区分完整性、重传重复和分析消费进度,FTP成功不能代替业务结果验收。 详见完整文件应先发布再被发现。
单节点持久化待执行队列能帮助节点恢复,却不证明运行中任务可以换节点续跑或每条结果都恰好一次。该示例假定节点健康,失败任务需要补偿。需要容错时还要明确完成确认、失败检测、重试和结果去重;更换成Kafka或RabbitMQ只是可选基础设施,不能单靠产品名补齐这些语义。 详见队列持久化不等于任务容错。
当数百个爬虫都需要批次分发时,可把统一的请求筛选、分批和工作入口适配放在中间件,保留各爬虫的页面抽取职责。集中并不意味着完全透明:书中方案依赖CrawlSpider规则编号和特定请求形态,应把这些约束显式配置,不能宣称任何爬虫无需修改都能分布式运行。 详见基础设施规则宜集中适配。
单一下一页链只能串行发现索引,即使下载并发设16也可能只用到1。按可分割的索引设多个种子才能供给并发;16/0.25=64页每秒是理想上限,1667页约26秒不含额外成本。书中32秒实测对应约52索引页、1560详情URL每秒;消费更慢会堆积,消费更快会饥饿。这里是原书样本,不是本次运行结果。 详见发现速率必须匹配工作供给。
示例把1667页分成20段,以1667*x/20生成起始页;在原Python 2语境中是整数除法。迁到Python 3应明确使用整数索引,而不是让浮点页号再被格式化隐式截断。多条下一页链可能交叠,需去重并核对覆盖,分片种子大于并发只是此负载避免供给不足的经验,不能普遍保证速度增长。 详见索引种子计算要保留整数语义。
process_spider_output对Item和非目标Request继续yield,把目标Rule的Request取出分批,因此这些详情不会在发现节点下载。该实现只传URL,丢掉原请求方法、正文、头、认证和回调状态,只适用于已说明的简单GET及CrawlSpider。规则编号是框架实现依赖,迁移版本或改规则顺序时必须核对,不能拿URL当完整请求。 详见分发中间件只截取目标请求。
_seen集合防止本次中间件把重叠索引抽出的同一URL反复加入批次。它只存在于当前实例,随发现规模增长占内存,不能跨重启、跨调度器或跨重试去重。若目标是结果唯一,还需在相应持久化边界定义身份和幂等,不能把这个集合误认为分布式任务的一次处理协议。 详见本地去重不提供全局唯一性。
按(batch−1)对目标数取余只保证提交顺序轮换,不观察目标队列、健康或不同批次成本。某节点慢时仍可积压,目标表为空还无法取余。书中记录可用地址并不等于实时发现健康;需要按实际任务时长和失败情况另定容量、背压与重分配策略。 详见轮询分发不是负载感知调度。
treq.post返回的Deferred只追踪这次HTTP交互;还需解析HTTP及JSON业务状态和jobid。示例发出请求就清空_urls并增加批次,超时可能已经提交但没收到回复,盲目重试可重复,直接放弃会丢失。可靠方案需要保留批次身份和待确认内容,再核对远端任务与输出;本章没有完成这个协议。 详见批次提交完成不等于远端成功。
关闭时先提交尾批,再等待已保存的DeferredList,可减少正常退出遗留未发请求。默认DeferredList聚合成功和失败,不意味着所有请求成功,也不等待远端抓取结束;强制终止无法靠关闭回调保证。列表不断保留历史提交还增加内存,应按实际需求管理生命周期和失败结果。 详见关闭等待只覆盖已登记异步工作。
文件名加入batch、爬虫名与时间能减少同一轮同秒产生文件的碰撞,但本地批次编号每次从1开始,重启或多个发现节点仍可能相同。完整身份还要覆盖运行和重试关系,并与覆盖/重复策略一致。URL整批放启动参数还受长度和序列化限制;规模大时可传持久批次ID,不能声称本章已实现。 详见批次输出名需要跨运行唯一性。
设置存在时用JSON里的URL替代原start_requests,并给请求设置目标rule和CrawlSpider内部回调,才能走到相应详情解析。应验证URL列表、目标规则及已部署代码相容;正文一处写_response_download,实际代码是_response_downloaded。内部回调与启动中间件接口会随版本变化,示例只能作为旧版实现说明,不能直接当当前稳定公共API。 详见工作入口适配依赖框架契约。
每个deploy目标有独立地址,打包上传到一个目标成功不代表其他节点已更新。列表查询可核对项目是否存在,但仅有同名项目仍不足以证明版本一致。运行前应对应目标、版本与配置,避免同批URL被不同逻辑处理。书中用空文件的shell通配符只是列举目标的便捷手法,不是服务发现;本次未构建或部署项目。 详见多节点部署要核对实际版本。
同时请求多个listjobs并聚合,能比顺序轮询减少等待,但超时、HTTP错误或JSON错误都应按节点呈现。示例addBoth把Failure包成(name,resp)后返回普通元组,会把错误链转成成功值;随后对Failure调用json仍会失败。外层success不足以说明HTTP调用成功。LoopingCall的异常和退出也需处理,pending/running/finished计数不是业务数据完整性证明。 详见监控聚合也必须区分失败结果。
维护全体价格和S、条数n,以及含词价格和Sw、含词条数nw,则不含词均价=(S−Sw)/(n−nw),无需每条房源更新所有不含词计数。图11.13分子误写减without,应减with,后续偏移公式与代码采用正确形式。要保证分组以房源为单位、同一房源同一词只计一次;n=0、nw=0、nw=n或全体均价为零时不能照除。 详见互补分组均值可由总量相减。
若word_prices是一条房源对应多个词价对,把各词的和与计数直接reduce会让多词标题被重复计算,得到词出现口径而非每房源一次的总价和条数。要解释成房源均值,需从独立全体统计或有证明的预处理取得S和n;仅本节摘出的to_shifts无法证明此条件。本次未取得外部完整源码,保留这个证据边界,不能虚称已验证原实现无误。 详见分词统计不能冒充房源总体。
文件转数据流、预处理成键值、updateStateByKey累计、再变换输出是书中的DStream链。累计状态会随键增长,恢复还依赖检查点、文件发现与输出重放语义;仅调用有状态API不能证明端到端恰好一次。当前官方已把Spark Streaming DStreams标为旧引擎,新增应用应核对Structured Streaming方案;本卡保留原书模型而不照搬旧语法。 详见有状态流统计需要恢复边界。
分别看宿主资源、各Scrapyd任务队列、发现节点日志和分析结果/文件到达,能把资源饱和、任务积压、供给不足与分析迟延分开。四个终端是此示例的观察方式,不必固定工具数量;任务finished或文件出现也不能直接证明记录完整,应对照预期批次与结果。书中使用vagrant、Docker和Spark的命令未在本机执行。 详见分层观察定位跨节点瓶颈。
3实例×4进程×16请求并发×每秒4页=768页每秒是理想模型,4指可运行进程数而不是每台必有4个CPU。书中约315、134、480、667页每秒受CPU、启动、调度、传输和源站能力影响;最后源站成为瓶颈。只有证实当前约束,增加实例才可能提速;这些是出版环境数据,不能当本机结果或无限扩容保证。 详见扩容上限模型需要实测校准。
批次太小,进程启动、调度与提交的固定成本占比高;太大,节点失败后重做更多工作、结果更晚可见。书中几分钟只是经验量级,实际应按响应速度、失败概率、超时与允许恢复时间选择,且重试前必须定义批次身份和结果去重。没有容错机制时,单纯把批次缩小也不能保证不丢。 详见批次大小折中启动与重做成本。
原书依据 · 24 处
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.1 房产的标题是如何影响价格的 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.2 Scrapyd · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.2 Scrapyd · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.3 分布式系统概述 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.3 分布式系统概述 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.3 分布式系统概述 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4 爬虫和中间件的变化 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.1 索引页分片爬取 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.1 索引页分片爬取 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.2 分批爬取URL · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.2 分批爬取URL · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.2 分批爬取URL · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.2 分批爬取URL · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.2 分批爬取URL · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.2 分批爬取URL · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.3 从设置中获取初始URL · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.4.4 在Scrapyd服务器中部署项目 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.5 创建自定义监控命令 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.6 使用Apache Spark流计算偏移量 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.6 使用Apache Spark流计算偏移量 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.6 使用Apache Spark流计算偏移量 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.7 运行分布式爬取 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.8 系统性能 · 查看原书依据
- 第11章 使用Scrapyd与实时分析进行分布式爬取 11.9 关键要点 · 查看原书依据
精通Python爬虫框架Scrapy · 附录A 必备软件的安装与故障排除
附录提供开发示例环境及故障定位入口,Docker与Vagrant隔离的层次和生命周期不同。镜像、容器、虚拟机、卷和主机路径分别保存不同状态,故障恢复前要先识别对象。环境可重建有助练习,却仍受镜像来源、架构和历史工具支持影响;本次只读取材料,未创建或销毁环境。
用本地伪站点和可重建的Vagrant/Docker环境,可以避开真实网页布局变化,并允许练习失败后重来。不过镜像、软件源、主机架构和工具本身仍会变化,不能据隔离就保证示例永远运行。书中多个容器承载交互式开发环境,已明确不用于生产;重建前还需确认数据保存位置,本次没有销毁或创建环境。 详见受控练习环境也有版本边界。
容器内部端口、容器间网络与宿主发布端口是不同层次。表中Scrapyd内部6800映到宿主6801—6803,访问地址要依观察位置选择。不能将书中旧链接配置解释成所有Docker网络必须显式声明端口才可互访;当前同一bridge网络内可直接访问容器端口,向外暴露才涉及发布与宿主绑定。连接失败应先画清路径,再查监听、路由和映射。 详见端口可达性取决于访问路径。
书中用dpkg -I声称安装deb包,但大写-I是查看包信息,安装动作为小写-i。排查时应对照实际工具帮助和退出状态,区分已下载、能查看与已安装。此处Ubuntu14.04的软件源、apt-key与docker-engine包名均为旧环境步骤,不能直接当当前安装手册;本次没有运行安装或添加软件源。 详见安装命令的大小写改变动作。
把用户加入docker组并重新登录,可使该用户访问典型root守护进程的socket,减少每次使用sudo;它不等于无特权运行容器。当前官方明确该组提供root级管理能力,因此应理解权限变化与rootless模式的区别。书中仅把它作为安装后能运行docker ps的步骤,本次没有修改任何用户组。 详见容器管理权限不只是省略命令。
旧版Docker Toolbox把Git和VirtualBox等捆绑安装,简化当时Windows/Mac教程的前置步骤。该项目现已归档,不能把原截图的下载和兼容性当作当前保证。恢复历史实验应先列出确切宿主架构、虚拟化提供者、Vagrant与镜像版本,再核对各官方支持范围,而不是只按旧向导点下一步;这里没有替用户安装或推荐固定新组合。 详见旧工具捆绑安装需重新选型。
64位来宾选项缺失或VT-x/AMD-V不可用,可能来自硬件能力、固件开关或当前虚拟化提供者配置。原书在其x86/VirtualBox环境用能力检查再查BIOS,避免直接断言机器过旧。这个历史排查路径不能推广为所有平台只需改BIOS即可;缺少该扩展也不等于任何容器方案都绝对不能运行。未改变本机固件或虚拟机设置。 详见虚拟化报错先区分支持与启用。
当系统找不到已经安装的ssh时,可先确认可执行文件位置,再把对应目录追加到当前用户PATH,保留其他项并用新终端验证。书中的Git目录和Windows界面只属于当时安装布局,不应先假定所有Windows都缺ssh,也不能覆盖整个PATH来修复单个命令。配置后命令可见只证明解析到程序,不证明认证或网络连接成功。 详见追加工具路径要保留原值。
获取代码后进入含Vagrantfile的项目目录,再执行启动,才能使工具读取正确的系统定义;–no-parallel是该示例采用的串行启动方式,不保证下载或配置一定成功。仓库存在与环境依赖可用是两件事,当前完整外部源码本次未获取成功。本卡只记录原书命令依赖顺序,没有实际clone、启动虚拟机或访问伪站点。 详见启动教程环境要先定位项目。
首次环境建立可能包含基础虚拟机下载、启动、Docker安装、镜像下载和各服务初始化;后续已有缓存时才可能更快。图123的12分30秒、1.5GB及跳过前三步省4分钟是特定网络和旧镜像估计,不能据时间超出就判失败。观察当前下载、CPU和日志,比只盯总时长更能区分等待与故障。 详见首次启动耗时要按阶段观察。
先看进程资源、下载活动与日志,区分正在安装、网络停顿、端口冲突和宿主命令缺失。书中建议中断重试并列举转发端口、docker不存在两类错误,但重试不消除持续占用或未安装的原因。60秒是其经验提示而非超时协议;修改前保留报错与已完成阶段,避免盲目多次重启掩盖问题。 详见启动无响应不能只靠反复重试。
保存虚拟机状态会保留运行内存以便恢复,通常比重新引导更快;关机要重新启动系统,销毁重建则会替换环境。书中图125选择Save State,对应其VirtualBox提供者,不是持久备份方案。改变资源配置或宿主环境后应核对提供者是否允许继续旧状态;共享目录与未落盘数据也不能仅凭保存状态就认定安全。 详见保存状态不同于关机和重建。
旧示例先停止Docker provider虚拟机、改配置后启动,若共享目录异常再重建dev/spark。它把停止、重启和销毁混称“完全重置”,实际影响不同。操作前应识别目标ID及数据在共享目录、容器层还是卷中;global-status只是查看状态与索引清理,不会自动重置机器。书中两处示例ID不一致不能原样照抄,本次未停止或销毁任何对象。 详见重置层次决定数据受影响范围。
书中vb.memory与vb.cpus作用于Docker host虚拟机,再由容器共享这些资源;它们不是每个容器的独立配额。改文件后需要按相应提供者的生效流程处理,不能只凭配置文本变化宣称新资源已经可用。应恢复后观察来宾与实际负载,避免把虚拟CPU数当新增物理核心。本次仅记录旧环境的配置位置。 详见资源配置要连同生效方式确认。
宿主端口已占用时,可保留服务的来宾端口,改成另一个空闲宿主端口,例如guest9312映host9316,并相应更改宿主访问地址。先区分原生Docker与嵌套虚拟机是哪层冲突;去掉发布可能仍可内部访问,但失去原宿主入口。原文Linux段把含forwarded_port的文件称Dockerfile,与前后Vagrant定义不一致,应查实际配置,不能盲改文件名。 详见端口冲突可修改宿主映射。
下载涉及Vagrant、来宾APT、Docker守护进程与容器应用时,某一层有代理不保证其他层可达。先定位发起连接者,再配置代理与可信证书链;TLS拦截环境应通过获授权CA建立信任,不能把错误提示中的-k当修复。书中proxy_url/crt_filename是自定义脚本入口,当前Docker daemon与Desktop还各有配置方式;凭据不应写进公开配置。 详见代理配置需要覆盖实际执行层。
在原生Linux中Docker守护进程就在当前宿主;旧Windows/Mac组合则先进入docker-provider虚拟机,再查内部容器。使用global-status找到实际目标ID并ssh到该机,避免在外层终端误判容器不存在。书中自动别名只是按输出筛选ID的便利写法,输出变化或多个同名环境时要人工确认目标,不把某个示例ID当固定值。 详见嵌套容器排查要进入真正宿主。
多个镜像可共享基础层,镜像显示的总大小之和不等于新增磁盘占用。应分别看共享、独有、容器和卷等对象,当前docker system df -v能展示共享与独有空间;旧dockviz只是图示层依赖的工具。看到GB级数字不能直接认定全部虚假,也不能仅凭镜像表推断整个磁盘使用。挂载Docker socket给分析容器还改变其管理权限边界。 详见镜像共享层不能按大小直接累加。
原文声称停止并删除全部容器会移除所有Docker层,但docker stop只停进程,docker rm删除容器;示例rmi又只筛选特定未命名镜像,不等于删掉所有已下载镜像。更不能把全宿主对象列表用于共享机器清理。恢复前应限定本实验对象并明确容器层、镜像、卷的保留策略;这里没有执行任何停止、删除、重启或镜像拉取命令。 详见清理必须区分容器和镜像对象。
把实验放入一台独立Linux虚拟机,可以改变容器宿主兼容性问题的边界,但并未自动保留宿主端口转发与同步目录。应明确代码在哪里编辑、服务从哪里访问,再决定手工配置还是直接在来宾开发。原书Ubuntu14.04.3只是历史备选,不能据该段保证当前镜像可用或全部代码必然运行;本次没有下载第三方镜像。 详见替代运行环境仍需补齐接口。
原书依据 · 19 处
- 附录A 必备软件的安装与故障排除 A.1 必备软件的安装 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.2 系统 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.4 在Linux上安装 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.4 在Linux上安装 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.5.3 安装VirtualBox和Git · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.5.4 确保VirtualBox支持64位镜像 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.5.5 在Windows中启用ssh客户端 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.5.6 下载本书代码并创建系统 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.1 我应该下载什么以及需要花费多少时间 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.2 如果Vagrant无法响应应该怎么办 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.3 如何快速关闭/恢复虚拟机 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.4 如何完全重置虚拟机 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.5 如何调整虚拟机大小 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.6 如何解决端口冲突 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.7 如何隐藏在公司代理背后工作 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.8 如何连接Docker provider虚拟机 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.10 如何查看Docker容器镜像的大小 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.6.11 当Vagrant无法响应时,如何重置系统 · 查看原书依据
- 附录A 必备软件的安装与故障排除 A.7 有一个无法解决的问题,怎么办 · 查看原书依据
精通Python爬虫框架Scrapy · 欢迎来到异步社区!
本项是异步社区的出版与运营介绍,涵盖图书购买、随书资源、作译者互动、勘误、写作和会议信息。它提供查找配套资源的线索,没有展开新的编程机制,故逐单元记录零卡去向。上线时间、规模、积分及折扣均属于出版时宣传,不当作当前服务承诺;本次没有注册、购书、下载附加资源、扫描加入社群或发送消息。
精通Python自然语言处理 · 内容提要
第三册提要定义自然语言处理的任务范围,并列出从预处理、统计建模到语义、检索及评估的十章路线。这里没有额外算法推导,机制留待正文完整读取。
精通Python自然语言处理 · 作者简介
三位作者简介围绕计算语言学、机器翻译、本体与印度语言技术项目,最后表达致谢。履历与TDIL为出版背景,未展开具体模型机制,不由人物身份推出模型质量结论。
精通Python自然语言处理 · 审阅者简介
审阅者简介说明其高性能计算与自然语言处理研究和语言能力,只提供出版参与背景,没有实质方法候选。
精通Python自然语言处理 · 译者简介
译者简介说明王威的研发与阅读背景,人物经历仅按出版时介绍,不据列出的语言名称补造技术知识卡。
精通Python自然语言处理 · 前言
第三册前言按文本、模型、结构与评估安排NLP任务,示例环境为Python2.7或3.2以上及NLTK3.0。这个历史声明不保证同一代码兼容今天全部版本;排版、下载、勘误及反馈说明不等于本次已访问服务或运行代码。
精通Python自然语言处理 · 第1章 字符串操作
自然语言处理先要决定文本怎样成为可计算的对象。句子与词元切分、规范化和停用词处理会改变保留下来的信息,频数和相似度必须在这个约定上解释。字符编辑比较序列修改,集合指标比较成员重合,它们不是同一种“意思相近”;后续模型和评估都依赖这些输入口径。
文本切分把连续文本变为句子或token等较小单位。token常译词元,不保证每项都是语言学上的单词,也可能是标点或缩略词片段。先决定下游任务需要的粒度,再计算频率、长度和相似度;对不同切分结果直接比较词数会混合口径。NLP并不因执行切分就已经理解句义。 详见切分粒度决定后续计数对象。
sent_tokenize对整段文本识别句子边界;Punkt类方法利用语言相关的缩写和上下文,区别于按每个句点直接split。输出仍需适合目标文本,短句、缩写和领域文本可能出错。原书english.pickle是旧资源入口,当前资源布局需按安装版本核对;本次没有下载模型或运行分句。 详见句子边界识别需要语言资源。
在支持的语言中选择对应Punkt参数,而不是把法语等文本一律送进默认英语模型。原书通过french.pickle演示同一tokenize接口替换语言资源;这只是法语分句案例,不证明所有语言或领域都能由该模型覆盖,也不是中文分词方案。实际输出和资源路径仍须按当前版本检查。 详见分句模型应匹配文本语言。
word_tokenize把文本转换为token列表,len得到的是该规则下的token数,逗号、缩略词片段等也可能各算一项。书中“Today is a pleasant day”得到5,只因这个简单例子与空格词数一致。原示例引号和部分输出空白有排版问题,不能原样当可执行验证;Python2的input还不等同Python3读取文本。 详见分词长度不是自然单词数。
Treebank式规则把Don’t一类缩略词拆为Do与n’t,WordPunct则按词字符与非空白标点切出Don、撇号、t。两者目标约定不同,不能据token多就判断更准确。当前Treebank是正则规则实现,原文“已训练”措辞不适合直接概括该类;单独对多句调用Treebank还可能保留内部句末标点,不能假定与高层word_tokenize完全相同。 详见分词规则会改变缩略词表示。
RegexpTokenizer提供tokenize(text)和span_tokenize(text),子类主要选择正则模式与间隔语义。图1-1表达这种复用方向,但其中旧Tokenizer/PunktWordTokenizer名称不作为当前API保证。此处类图只画官方现行源码可核对的子集:Whitespace和WordPunct继承RegexpTokenizer,后者继承TokenizerI。不要把不同分词器间的“可替换选择”画成彼此继承。 详见正则分词子类复用通用切分。
RegexpTokenizer默认把匹配到的片段作为token;gaps=True则把匹配片段当分隔符,取它们之间的文本。前者对应findall,后者对应split,选择相反会反转保留对象。空结果和捕获组也可能影响返回值,应按实际规则核对,不能只看正则中出现了单词字符就认定输出单词。 详见正则切分可匹配词元或间隔。
原书RegexpTokenizer构造行缺少合法字符串引号,不能照抄运行;即便使用完整的\w+,Don’t中的撇号也不属于词字符,不会自动保留整个缩略词。大写模式[A-Z]\w+还至少要一个后续词字符,因此示例不匹配单字母X。需先用代表性输入明确边界条件,不能把书中输出当模式正确性的证明。 详见正则示例输出要与模式一致。
str.split()把连续空白当一个分隔区并去掉首尾空项;split(” “)只认空格且保留相邻分隔产生的空项,制表和换行仍在token里。split(”“)会抛ValueError,不是按空格切分;原书在此漏掉了空格。SpaceTokenizer可类比指定空格,WhitespaceTokenizer更接近无参数split,不能混用。 详见空白切分与指定空格并不相同。
LineTokenizer以单行边界切分,并可选择保留或丢弃空行;BlanklineTokenizer用连续空行分开段落,单个换行通常留在同一段。原例没有空白行,所以两种blanklines选项结果相同,不能证明选项无效。应按输入真实换行与空行测试预期,不能从屏幕排版换行推断字符串里有换行。 详见按行切分与按空行切分不同。
span_tokenize返回原字符串的左闭右开字符区间(start,end),可用text[start:end]回取词元。spans_to_relative把它改为(距上一词元末尾的间隔,本词元长度),不是新的绝对起止坐标。下游标注和高亮需要保留同一原文版本;删除标点或改变大小写长度后,旧偏移不一定仍可用。空字符串分隔的string_span_tokenize例同样不能直接照用。 详见词元跨度保留原文定位。
标准化把不同表面形式映到便于处理的表示,如大小写、标点、数字与缩略词规则。它也可能抹掉专名、否定、情感和数值信息;不是所有步骤都应该无条件执行。应为目标任务明确需要保持哪些区别,并保留原文或映射以便解释结果,不把统一形式当成语义已经一致。 详见标准化选择应服从任务。
示例先分词,再用由string.punctuation构造的字符类替换token内标点,最后丢弃空token;这既会移除独立标点,也会改写含撇号或连字符的token。string.punctuation只给ASCII标点,不能据此声称中文标点等全部清除。是否删除应依任务决定,尤其要防止情感、缩略词和结构信息丢失。 详见删除标点可能改变词元含义。
lower与upper生成统一大小写表示,可减少按大小写分开的词表项,但会抹掉专名或缩写线索,也不是语义归一或拼写纠错。原例HARdWork转成hardwork,没有把粘连单词拆开。做检索或统计时应明确保留原文与使用归一文本的不同用途,不能把大小写统一当成已完成所有文本清洗。 详见大小写归一会合并表面区别。
把所选语言的停用词表转set,再过滤词元,可减少某些检索或统计中的常见功能词。但匹配受到大小写、缩略词切分和词表版本影响;not等否定词也可能对情感至关重要,不能无条件删除。fileids给当前安装语料支持的语言,书中14项是旧快照,不应当固定全集;words()不传语言混合词表也不代表适合当前文本。 详见停用词过滤依赖切分和任务。
para_fraction先选出小写后不在停用表中的词,再返回其数量除原词数,算的是非停用词保留比例。若需要被删比例,应在同一口径取1−该值。空文本分母为零,Python2整数相除还会截断;语料、切分与词表版本改变会改变Reuters和就职演说的样本数字。函数名或节标题“计算停止词”不能替代实际计算语义。 详见保留词比例不等于停用词比例。
RegexpReplacer按列表顺序对上一轮结果执行re.subn,因此前一个改写可能改变后一个匹配。先列won’t/can’t等特殊形式,再用带反向引用的一般规则,能避免把特殊缩写按机械词尾展开。模式默认仍有大小写、词边界和直弯撇号范围;subn的次数被丢弃,不代表没有发生替换。需要保留与目标文本匹配的约定。 详见替换规则顺序会影响后续匹配。
机械把’s展开成is、’d展开成would,可能误处理所有格、has或had等语境;字面替换不会自动理解句义。规则应当只在有依据的文本范围内使用,并保留原文以检查歧义。原书演示must’ve和didn’t等较确定形式,不足以证明整张缩写映射对任意英语句子都正确。 详见缩略词展开不是无歧义还原。
先展开Don’t再分词得到Do、not,先分词则得到Do、n’t,两者词表和后续停用词命中可能不同。应在训练与推断中使用一致流水线,并核对否定是否保留;先替换不是所有任务的唯一正确顺序。原例用于展示缩写表示变化,没有证明展开一定提升分类或检索质量。 详见预处理顺序会改变模型输入。
RepeatReplacer用反向引用找到相邻相同词字符,每次压缩一个,再在结果变化时递归,最终得到不再变化的字符串。它能把lotttt缩成lot,也会把合法双字母压坏;极长重复串还可能触及递归深度。判断输入“有重复”不等于判断它“拼错”,应结合实际语言与业务保留规则。 详见重复字符压缩需要终止条件。
在继续压缩前查WordNet,若当前形式有synset就返回,可让happy不被变成hapy,也允许逐步压缩到词典词。但词典覆盖、语言、专名和词形都会影响结果;找到某个词条不证明它在当前语境正确,没找到也不证明一定拼错。该方法没有解决通用拼写纠错,更未比较候选含义。 详见词典命中只能作为压缩护栏。
WordReplacer通过word_map.get(word,word)把已知表面形式改为指定形式,未登记词保持原样。congrats映到congratulations是缩写归一,不是自动发现任意同义词;maths保持不变也不证明它没有同义表达。大小写、词形和多义需要另定策略,不能从字典查找推导出语义理解能力。 详见映射替换只处理显式登记词。
Zipf型关系把词按频率降序编号为秩r,频率近似随1/r下降,呈现少数常见词与大量稀有词。它是语料与统计口径相关的经验规律,不是每个文档每个词都精确服从的定理。大小写、分词、样本规模与是否包含标点会改变曲线,单幅log-log近直线也不能证明普遍成立。 详见词频秩关系是经验分布。
先累计词频并按频率降序得到ranks、freqs,再画loglog(ranks,freqs),横轴应标rank、纵轴frequency;原书标签写反。当前FreqDist迭代按频率排序,但显式most_common更清楚,旧inc接口需按当前版本替换为计数更新。图形后端也受环境影响,不应把旧TkAgg例当本机已运行图表。 详见词频作图要核对秩轴与计数接口。
accuracy比较相同位置预测是否等于参考,再除以项数;例中六标签有四项一致,得到4/6。它衡量token标签一致,不等于实体边界与类型都正确的NER实体级指标,也不能仅凭数值判断少数类别表现。需要明确参考数据与测试数据的对应关系,不能把训练标签当任意系统的客观金标准。 详见逐项准确率依赖对齐单位。
把标签序列转成set,PERSON的多次出现和所有位置全丢失。书中precision=1、recall=2/3、F1=0.8只说明预测出现的两类都在参考三类中,不能说明PERSON识别位置准确或召回2/3实体。做实例/实体评估应保留被评估对象身份;集合指标可用,但集合元素必须就是目标对象。 详见标签去重会改变评估问题。
令D(i,j)是s前i字符变成t前j字符的最小单位代价,D(i,0)=i、D(0,j)=j;每格取删除D(i−1,j)+1、插入D(i,j−1)+1、替换或匹配D(i−1,j−1)+字符是否不同的最小值。结果在D(len(s),len(t)),越小越接近;单位代价下长度差是下界,但字符接近不等于语义相似。原文插入/删除下标说明与此方向有交换,代码可核对。 详见编辑距离求最小转换代价。
默认Levenshtein只算插入、删除、替换;启用转置还可把相邻交换视为一步,例如ab变ba在单位代价下由两次替换改为一次转置。原书只查前两字符,属于其旧实现范围,不能无条件等同现行更完整转置算法。比较两组分数时要保持操作集合与代价相同;表中3或7只是特定字符串的结果。 详见允许转置会改变距离定义。
Jaccard相似度=交集大小/并集大小,忽略重复与顺序。X={10,20,30,40}、Y={20,30,60}时交2并5,相似度0.4;NLTK jaccard_distance返回1−0.4=0.6,越小越接近。两集合都空时分母为零,要由应用定义约定;Python2直接整数相除还会截断。不能把函数名distance的输出当成相似度使用。 详见杰卡德相似度与距离方向相反。
Smith–Waterman在每格取0、对角匹配得分、上方/左方扣gap惩罚的最大值,以全表最高分选最佳局部片段。原例匹配奖励2、失配与gap各扣1;示范AB对ZABZ可让AB局部匹配得4,其余不计入,该示范为规则演算而非本机测试。分数越大局部吻合越好,不是必须满足同一对象距离为零的度量;阈值依得分配置,不能与编辑距离混比。 详见局部对齐通过归零重新起步。
binary_distance对相同标签返回0、不同返回1;当输入为集合,它仍只判断整个集合是否相等,不按交集给部分分。用于需要严格一致的比较很直接,但会把只差一项与完全不重叠都视作不同,不能反映差异程度。书中两个集合返回1并非计算集合大小或字符串编辑步骤。 详见二值距离只判断完全相同。
MASI距离为1−Jaccard相似度×权重,集合相同权重1、一方为另一方子集约0.67、部分重叠约0.33、不相交0。例X四项、Y三项仅交一项并六项,距离=1−(1⁄6)×0.33=0.945,比只看交并更惩罚部分重叠;并集为空仍需约定。它用于集合标签一致性,不是任意文本语义相似算法,权重取法也要保持一致。 详见部分集合一致可分层计分。
原书依据 · 32 处
- 第1章 字符串操作 1.1 切分 · 查看原书依据
- 第1章 字符串操作 1.1.1 将文本切分为语句 · 查看原书依据
- 第1章 字符串操作 1.1.2 其他语言文本的切分 · 查看原书依据
- 第1章 字符串操作 1.1.3 将句子切分为单词 · 查看原书依据
- 第1章 字符串操作 1.1.4 使用TreebankWordTokenizer执行切分 · 查看原书依据
- 第1章 字符串操作 1.1.4 使用TreebankWordTokenizer执行切分 · 查看原书依据
- 第1章 字符串操作 1.1.5 使用正则表达式实现切分 · 查看原书依据
- 第1章 字符串操作 1.1.5 使用正则表达式实现切分 · 查看原书依据
- 第1章 字符串操作 1.1.5 使用正则表达式实现切分 · 查看原书依据
- 第1章 字符串操作 1.1.5 使用正则表达式实现切分 · 查看原书依据
- 第1章 字符串操作 1.1.5 使用正则表达式实现切分 · 查看原书依据
- 第1章 字符串操作 1.2 标准化 · 查看原书依据
- 第1章 字符串操作 1.2.1 消除标点符号 · 查看原书依据
- 第1章 字符串操作 1.2.2 文本的大小写转换 · 查看原书依据
- 第1章 字符串操作 1.2.3 处理停止词 · 查看原书依据
- 第1章 字符串操作 1.2.4 计算英语中的停止词 · 查看原书依据
- 第1章 字符串操作 1.3.1 使用正则表达式替换单词 · 查看原书依据
- 第1章 字符串操作 1.3.1 使用正则表达式替换单词 · 查看原书依据
- 第1章 字符串操作 1.3.3 在执行切分前先执行替换操作 · 查看原书依据
- 第1章 字符串操作 1.3.4 处理重复字符 · 查看原书依据
- 第1章 字符串操作 1.3.5 去除重复字符的示例 · 查看原书依据
- 第1章 字符串操作 1.3.6 用单词的同义词替换 · 查看原书依据
- 第1章 字符串操作 1.4 在文本上应用Zipf定律 · 查看原书依据
- 第1章 字符串操作 1.4 在文本上应用Zipf定律 · 查看原书依据
- 第1章 字符串操作 1.5 相似性度量 · 查看原书依据
- 第1章 字符串操作 1.5 相似性度量 · 查看原书依据
- 第1章 字符串操作 1.5.1 使用编辑距离算法执行相似性度量 · 查看原书依据
- 第1章 字符串操作 1.5.1 使用编辑距离算法执行相似性度量 · 查看原书依据
- 第1章 字符串操作 1.5.2 使用Jaccard系数执行相似性度量 · 查看原书依据
- 第1章 字符串操作 1.5.3 使用Smith Waterman距离算法执行相似性度量 · 查看原书依据
- 第1章 字符串操作 1.5.4 其他字符串相似性度量 · 查看原书依据
- 第1章 字符串操作 1.5.4 其他字符串相似性度量 · 查看原书依据
精通Python自然语言处理 · 第2章 统计语言建模
语言模型为词或词序列分配概率,n-gram用有限上下文近似依赖,平滑为未见事件保留质量。HMM再把不可直接观察的状态与可观察符号分开,通过转移和发射关系表达序列。模型给出的概率依赖语料、词表和估计方法;困惑度只有在比较口径一致时才有意义,概率高也不证明句子所述事实为真。
n-gram把连续n个token组成滑动窗口;unigram是单项元组,bigram、trigram分别长2、3。窗口出现不代表它具有特别强的语言搭配关系,后者还需要频率或关联分数判断。把整个语料平铺后生成窗口会跨句,语言模型通常要显式处理句界;书中示例保留标点,所以标点也会进入窗口。 详见连续词组不同于统计搭配。
CollocationFinder可用likelihood_ratio等关联分数排序,也可查看ngram_fd中的原始计数;nbest末参数10选择前10项,不是把频率改成10。raw_freq是归一频率分数,sorted只取词组会丢分数并按字典序排,不能再称频率排名。比较搭配前应明确是否含标点、大小写归一与使用哪种分数。 详见搭配分数不等同出现次数。
apply_word_filter过滤含指定词的候选词组,区别于先删掉所有停用词再把原本不相邻的词拼接成新bigram。示例len还会删掉短实体或有用词,需按任务决定;它不是识别所有标点的通用规则。原代码把set命名为变量遮住内置类型,另处nltk.collocation少写s,均不能照当完整可运行示例。 详见搭配过滤不应重新拼接词序。
对split所得token列表生成5-gram,会保留跨句窗口,如句点后接If;默认不自动理解文档边界或补开始结束标记。若要句内语言模型,应先按句分开再生成相应窗口,并约定边界符。没有填充时长度L的序列生成max(L−n+1,0)个窗口;这由滑动窗口定义推得,不是本次运行统计。 详见窗口边界由输入序列决定。
最大似然估计是在指定模型族中选择让观测数据似然最大的参数,是估计原则;多项词频模型的经验估计可为c/N。最大熵分类器则是在特征约束下构建条件分布的模型框架,常与条件对数线性/多类逻辑模型联系。两者可以在训练中关联,却不是同义词;原文把MLE说成多元逻辑回归并归于1996年,是概念混淆。 详见最大似然估计不是最大熵模型。
输入特征描述未标注对象,如前一个词;联合特征把输入属性与候选标签结合,用于给不同标签计分。示范:同一前词属性可分别与名词、动词标签形成不同数值特征,它们不是“标签已知后才可预测”的矛盾。这里只解释最大熵框架术语,原书导入列表未构成可独立运行的分类训练程序。 详见输入特征与联合特征区分标签。
FreqDist保存每种结果的计数,N是所有结果出现次数之和,B是不同结果种数;MLEProbDist.prob返回该项计数除N。它从已有频率估计概率,而不是先有概率再“生成频率”。例示:两次a一次b的经验概率为2/3和1/3,未见c为0;这保留稀疏数据的零概率问题,不能把未见等同不可能。 详见经验概率来自计数归一。
Lidstone对每个可能结果加γ,概率为(c+γ)/(N+Bγ),其中B是预先约定的可能结果总数,不只是该词频。Laplace取γ=1,ELE取0.5;γ常选0到1但不是定义上只能处于该区间。须对已见和未见项一同处理并把B设对,不能只给某个未知词加数却不改分母;γ越大越向词表上的均匀分布靠近。 详见加性平滑必须连同词表归一。
ProbDistI提供prob(sample)等概率接口,MLE直接用经验频率,Lidstone增加伪计数;Laplace和ELE继承Lidstone,只把γ固定为1和0.5。WittenBell走另一种未见质量分配,直接继承ProbDistI,不能因同为平滑就画成Lidstone子类。图只保留原文已给定义与签名,不表示一次创建会自动尝试全部估计器。 详见概率估计类以接口和特例复用。
Witten–Bell以已见不同类型数T与总出现次数N保留T/(N+T)总质量,再把它均分给Z个未见类型;每个未见项为T/[Z(N+T)],已见项计数c对应c/(N+T)。T不是只出现一次的类型数,Z=bins−T而非随意规范因子。必须明确有限结果空间及Z>0,否则除零或质量无处可分;样本为零也要单独定义。 详见未见概率质量不同于逐项概率。
28.76%、69.16%、86.17%等来自原书train_and_test设置,不证明γ=0.1在任何任务都最好。必须固定训练测试划分、标签空间、未知词处理和指标,调参后用独立测试数据比较;片段未给完所有名称,不能只复制调用就保证运行。它们是书中报告数字,本次未训练HMM或复现成绩。 详见估计器样本成绩不是算法排名。
HMM用状态链描述不可直接观察的标签,状态间转移并在每一位置发出观测。图中x是隐状态、y是观测;做词性标注时可把词性作状态、单词作观测。常见一阶模型只依赖前一状态,当前观测只依赖当前状态,这些是建模条件,不是自然语言必然满足的事实,也不是从单词直接读取真实标签。 详见隐藏状态通过转移解释观测。
示例700句按下标逢10取1得70测试、630训练,但tag_set和symbols先从全部700句构造,因此测试标签/词已影响模型空间。若目标是评估严格未知词泛化,应只用训练数据建立词表或明确转导设置;按位置规律切分也未必代表独立分布。evaluate通常报告逐词标签准确率,不能据90/10比例本身认定评估可靠。 详见测试划分还要检查词表来源。
bigram概率P(b|a)由c(a,b)/c(a)估计,加一后是[c(a,b)+1]/[c(a)+|V|]。分母用当前上下文的后继总数与同一词表大小,不是整个语料N。ConditionalFreqDist再配不同ProbDist可复用计数,便于比较MLE与Laplace;未见上下文加一后成为词表上的均匀分布,但词表外输入仍需约定。 详见条件平滑按每个上下文计数。
训练串有独立和,但测试写成how与doing再split,会生成粘连的新token,零计数可能是预处理不一致而非语言本身未知。训练中you有两个后继,所以其平滑分母13+2=15在给定口径下合理,不能因出现零项就把全部计数视为错误。应先核对分词、边界和词表,再判断平滑是否合理;加一不会自动修好错误切分。 详见边界标记必须先成为独立词元。
Good–Turing把原计数r改成r*=(r+1)N(r+1)/N®,N®表示恰出现r次的不同类型数,区别于总次数N。未见事件总概率质量用N(1)/N估计,不是给每个未见词N(1)概率。若相邻频次缺失,直接公式会退化,因此需要后续拟合、切换和归一;它不是任意数据上必然提高任务表现的保证。 详见频率的频率用于估计稀有事件。
Simple Good Turing先在log-log空间拟合平滑的频率数量,按差异与估计误差选择从原频次切到拟合值,再把已见项缩放到剩余概率质量;未见总质量还要除未见类型数。bins必须覆盖已见之外的类型,拟合不合适的警告不能忽略。原样片段的check引用未给定义的_Nr,不能把它当已经运行的概率和验证。 详见简单古德图灵需要切换与归一。
书中KneserNeyProbDist实现要求三元组频率表,不代表Kneser–Ney思想只能用于trigram。把HMM观测与状态改成三元组后,状态空间、样本任务与前一实验均改变,0.86%不能直接与原单词标签准确率比较。更不能把这个特殊估计器塞进任意单项计数;先检查其训练和prob所需的事件结构。 详见平滑估计器必须匹配事件形状。
只调用train_and_test(WittenBellProbDist)并看到6.90%,不足以说明分配了合理未知词概率。按本章实现,若bins默认等于已见类型数,则Z为0,未见质量无法均分;调用方必须提供与目标事件空间一致的bins。保留未知空间与比较同一任务的指标是两项前提,不能只靠算法名字判断设置正确。 详见平滑测试需显式保留未见空间。
高阶上下文没有该事件时,Katz式回退转向去掉最早词的低阶上下文,并乘该上下文的alpha来分配剩余概率;已见项使用高阶分布。它不同于不加权地任取低阶概率,也不普遍以“次数大于阶数n”为分支。摘出的prob只显示路由,完整正确性还依赖折扣、alpha计算和终止分布,不能凭这一段证明归一。 详见回退依赖低阶分布和质量权重。
加性bigram对同一上下文未见后继给相同伪计数,不能反映这些词总体常见程度。可将bigram与unigram概率按非负、总和为1的权重混合,让低阶分布也贡献信息;这不同于只有高阶缺失才回退。权重要由合适的留出数据确定,不能任凭混合就保证提升。原段SRILM命令只展示训练单一阶模型,没有完整混合步骤。 详见插值同时利用高低阶信息。
困惑度Perplexity为2的交叉熵次方;对同一token口径,交叉熵可理解为测试序列平均负log2预测概率。低困惑度表示该模型给此文本较高平均概率,不等于文本本身简单或语义理解更好。零概率会导致无限困惑度;比较需同一测试集、词表和边界处理。原书称“复杂度”易与时间复杂度混淆,旧nltk.model路径不是当前接口保证。 详见困惑度是模型对文本的平均惊讶。
Metropolis–Hastings以提议分布生成候选,再按目标与提议关系接受或保留原状态。后节以当前点为中心、固定协方差的正态随机游走是对称提议,所以接受率可写min(目标新值/目标旧值,1);不能把此简式套到任意不对称提议。目标只需与后验成比例,但要在支持集外正确为零,并防止数值下溢和零分母。 详见对称提议才可省略反向比率。
Gibbs在其他参数当前取值给定时抽一个参数,随后用更新后的值继续抽下一参数;扫完全部参数是一轮。若某个条件分布难以直接抽样,可在该步嵌入满足要求的Metropolis更新。它不是每轮随意重抽所有独立先验,也不因单次遍历就等于取得独立后验样本;一般仍需检查链的收敛与混合。 详见吉布斯按完整条件分布逐项更新。
示例给两枚独立硬币各Beta(2,3)先验,观测11/14与7/14次正面,因此条件后验分别Beta(13,6)、Beta(9,10)。代码的Gibbs每步无需另一参数,因为该例本来独立;不能据此认为一般Gibbs都可独立抽取。likelihood省去与theta无关的组合常数,不影响后验比例;两币演示说明采样原理,未建立词序列模型。 详见硬币后验演示不等于语言模型。
niters10000、burnin500只规定留9500个状态,不证明已经收敛或有9500个独立样本;用KDE画2D/3D图也不等于验证目标分布。应检查支持集、链轨迹、多链和有效样本信息。原段缺np/stats/partial等导入、inrange排版和旧np.float名称,未构成当前可直接运行程序;sigma在multivariate_normal中表示协方差,不是标准差。 详见采样次数和图形不能替代诊断。
原书依据 · 26 处
- 第2章 统计语言建模 2.1 理解单词频率 · 查看原书依据
- 第2章 统计语言建模 2.1 理解单词频率 · 查看原书依据
- 第2章 统计语言建模 2.1 理解单词频率 · 查看原书依据
- 第2章 统计语言建模 2.1 理解单词频率 · 查看原书依据
- 第2章 统计语言建模 2.1.1 为给定的文本开发MLE · 查看原书依据
- 第2章 统计语言建模 2.1.1 为给定的文本开发MLE · 查看原书依据
- 第2章 统计语言建模 2.1.1 为给定的文本开发MLE · 查看原书依据
- 第2章 统计语言建模 2.1.1 为给定的文本开发MLE · 查看原书依据
- 第2章 统计语言建模 2.1.1 为给定的文本开发MLE · 查看原书依据
- 第2章 统计语言建模 2.1.1 为给定的文本开发MLE · 查看原书依据
- 第2章 统计语言建模 2.1.1 为给定的文本开发MLE · 查看原书依据
- 第2章 统计语言建模 2.1.2 隐马尔科夫模型估计 · 查看原书依据
- 第2章 统计语言建模 2.1.2 隐马尔科夫模型估计 · 查看原书依据
- 第2章 统计语言建模 2.2.1 加法平滑 · 查看原书依据
- 第2章 统计语言建模 2.2.1 加法平滑 · 查看原书依据
- 第2章 统计语言建模 2.2.2 Good Turing平滑 · 查看原书依据
- 第2章 统计语言建模 2.2.2 Good Turing平滑 · 查看原书依据
- 第2章 统计语言建模 2.2.3 Kneser Ney平滑 · 查看原书依据
- 第2章 统计语言建模 2.2.4 Witten Bell平滑 · 查看原书依据
- 第2章 统计语言建模 2.3 为MLE开发一个回退机制 · 查看原书依据
- 第2章 统计语言建模 2.4 应用数据的插值以便获取混合搭配 · 查看原书依据
- 第2章 统计语言建模 2.5 通过复杂度来评估语言模型 · 查看原书依据
- 第2章 统计语言建模 2.6 在语言建模中应用Metropolis-Hastings算法 · 查看原书依据
- 第2章 统计语言建模 2.7 在语言处理中应用Gibbs采样法 · 查看原书依据
- 第2章 统计语言建模 2.7 在语言处理中应用Gibbs采样法 · 查看原书依据
- 第2章 统计语言建模 2.7 在语言处理中应用Gibbs采样法 · 查看原书依据
精通Python自然语言处理 · 第3章 形态学:在实践中学习
形态学关注词如何由语素组成,以及词形如何承载语法信息。词干提取按规则截去片段,词形还原则试图回到词典形式;字串变短并不是正确形态分析的充分证据。本章还把词形与语言识别、文本相似等任务联系起来,下一章再加入上下文词类线索,不能只由一个词尾确定所有语言或句法角色。
语素是带意义或语法功能的最小构词单位。unbelievable可用un、believe、able说明词根与词缀;但“词根”描述结构地位,“自由/粘着”描述能否独立出现,不能把所有词根一律叫自由语素。前缀、后缀、中缀、环缀按相对基底位置区分,中间出现的词缀也不必就是中缀。分析应依具体语言和证据,不能只按字符串位置猜词义。 详见语素结构与自由性是两个维度。
屈折通常表达同一词位的时态、数、人称等语法形式;派生形成新词位或新意义,可能改变词类,也可能保持词类。不能把“词性变了”当派生的唯一判据。孤立、粘着、屈折是形态组织特征,不能从少屈折推出汉语无法表达时态或数量;表达信息与是否用词内屈折编码是不同问题。 详见屈折与派生不只靠词性区分。
词干提取按规则削减或改写词缀,以合并检索和统计中的表面变体。working→work、happiness→happi显示结果不保证是可独立使用的词,也不等于真实词根。合并可能提高召回,也可能把不同意义误并,不能普遍声称提升准确率或把同干当同义。Porter是规则算法,原文“类已训练掌握词形”的说明不适合直接描述这个实现。 详见词干提取可能得到非词典形式。
Porter和Lancaster采用不同后缀处理规则,同一个输入可能产生不同词干。Lancaster不是以“涉及更多情感词”为核心区别,也不因此具备情感理解。应比较目标语料的过度合并、遗漏合并与实际版本模式;书中少量working/happiness输出只能展示案例,不能证明某算法全面更准确。本次未运行词干提取。 详见词干算法区别应看具体规则。
RegexpStemmer删除所有匹配子串,不会自动判断前缀后缀。模式ing能在词中间也命中,若只想去词尾应明确写ing$,并考虑最短长度、合法词形与例外。原例working/pairing等简单后缀结果不能证明规则对任意输入正确,也不意味着只要其他词干器失败就一定适合改用正则。 详见正则删词缀需要锚定边界。
SnowballStemmer按语言参数选择规则,西班牙语comiendo和法语manger演示语言专属处理;不能把一个英语规则实例通用于全部语言。languages给所安装版本支持项,原文语言数量与porter兼容名称混在一起,不是长期固定覆盖。代码里导入多种类也不等于实际调用了多算法,原尾例只循环Porter且有变量/入口拼写问题。 详见多语词干提取先选择语言。
StemmerI约定stem(token),Porter、Lancaster、Regexp和Snowball经由继承提供词干操作;这个契约让调用方统一调用,但词干规则与所需参数仍不同。图3-1表达的是继承和接口复用,不是四阶段串行流水线。图示方法签名按原文接口及实际类实现,具体算法初始化参数未全部展开,不把它们虚构成同一构造方式。 详见共同接口不代表算法结果相同。
词形还原把屈折形式映到词元,而不是把任何词切成最短字符串。WordNetLemmatizer默认按名词,working保持原样而pos=v时得到work,说明同一表面形式的处理依赖词性。若候选不存在会保留输入,但返回原样也可能因为它本身已是合适词元,不能据此断言WordNet没有happiness。词干happi与词元happiness服务不同表示目的。 详见词形还原需要词性条件。
WordNetLemmatizer.lemmatize取可用候选中的最短形式,无候选返回输入;morphy返回首先找到的形式或None,_morphy返回候选列表。当前接口不能因为都依WordNet就混称同一个返回语义。选择接口取决于是否需要候选集合、缺失信号还是便于文本流水线保留原样;它们都不自动决定上下文里的正确词义。 详见查找词元的不同接口有不同返回。
Polyglot用每语言常见词训练的Morfessor模型预测词内语素,unconditional、precooked等例展示可能拆分,不等于把所有文本恢复成正确词根。应选择模型语言、核对资源可用性和具体输出;135种及每语言50000词是该说明的训练覆盖,不是任意领域精度保证。它没有给出重新训练的完整步骤,本次未下载模型或训练。 详见学习语素切分仍依赖语言模型。
词内语素切分与句子分词是不同任务。把Ihopeyoufindthebookinteresting交给形态模型,不保证得到I/hope/you等自然单词;原书列出的理想结果缺乏泛化验证,不能当稳定API契约。对粘连文本应另定义词边界和歧义处理,并保留未知片段;不能把某次morphemes输出作为所有无空格文本都可恢复的证明。 详见语素预测不保证无空格分词。
从最长前缀向短尝试词典命中,再递归处理余串,是贪婪分词思路;早选最长合法词可能使余串无解,需回溯或全局评分才能处理某些歧义。原片段循环j却切st1[0:i]、又引用st而非当前串,tok还为全局状态,不能由示例列表证明实现正确。能查词典也不等于输出了性、数和词类等完整形态分析。 详见词典最长前缀未必给正确切分。
-ness/-ment常提示名词,句法位置和地名等语义信息也可帮助判断词类,但线索可能冲突,不能仅凭一个后缀或含义定词性。开放类容易吸收新词,封闭类成员相对稳定;不等于开放类只有名词。plays也可作复数名词或第三人称单数动词,要依语境,不能直接把表面-s固定解释成一个语法特征。 详见形态与上下文提示都不是定论。
形态分析从表层词推词元和语法特征,生成则从词元与特征输出表层形式:go加动词、现在时、第三人称单数可生成goes。二者方向相反但未必一一可逆,一个词可能多种分析,输出也受语言规则限制。软件列表说明有专门语言资源,不证明任意工具覆盖所有语言或已经由本章训练出生成器。 详见形态生成把特征映回表层形式。
先建立词到维度的固定映射,每篇文档和查询再按同一预处理计算各维次数,才可比较向量。每篇独建词表会让相同位置代表不同词;直接空串连接多个文档也可能粘连边界。原示例是词频模型,未使用TF-IDF或语义向量,停用词与词干策略需在查询和索引保持一致,不能把同干都视为相同含义。 详见文本向量必须共享维度定义。
余弦相似度为向量点积除以两长度乘积,非负词频下通常在0到1。1表示方向相同,不保证两篇内容相同;0表示当前词表维度不重叠,不证明自然语义完全不相关。零向量分母无定义需另定处理。注意SciPy spatial.distance.cosine返回1−相似度,和原书自写cosine函数的分数方向相反。 详见余弦只比较表示空间中的方向。
把查询与各文档算余弦后,应保留(doc_id,score)再排序,才能知道返回的是哪篇文档。原片段只排序ratings数值,丢掉对应关系;遇到重复分数更无法可靠回查。未知查询词、空向量和并列结果还需明确策略。此章伪代码另有大小写变量、split空分隔和未定义名称,不能把“六步骤”当已运行搜索引擎。 详见搜索排序要保留文档身份。
把文本独特小写词与各语言停用词表求交,再选交集数量最多的语言,是一个简单词表启发。该数量不是归一概率,短文本、混合语言、相近语言与全零并列会不可靠。原代码生成wor却使用words存在变量不一致,不能由长英语案例输出断言任意文本识别准确;语言检测也不是一般语义理解。 详见停用词交集只是语言判断启发。
原书依据 · 18 处
- 第3章 形态学:在实践中学习 3.1 形态学简介 · 查看原书依据
- 第3章 形态学:在实践中学习 3.1 形态学简介 · 查看原书依据
- 第3章 形态学:在实践中学习 3.2 理解词干提取器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.2 理解词干提取器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.2 理解词干提取器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.2 理解词干提取器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.2 理解词干提取器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.3 理解词形还原 · 查看原书依据
- 第3章 形态学:在实践中学习 3.3 理解词形还原 · 查看原书依据
- 第3章 形态学:在实践中学习 3.4 为非英文语言开发词干提取器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.4 为非英文语言开发词干提取器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.5 形态分析器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.5 形态分析器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.6 形态生成器 · 查看原书依据
- 第3章 形态学:在实践中学习 3.7 搜索引擎 · 查看原书依据
- 第3章 形态学:在实践中学习 3.7 搜索引擎 · 查看原书依据
- 第3章 形态学:在实践中学习 3.7 搜索引擎 · 查看原书依据
- 第3章 形态学:在实践中学习 3.7 搜索引擎 · 查看原书依据
精通Python自然语言处理 · 第4章 词性标注:单词识别
词性标注为每个token预测上下文词类,标签集决定可表达的区别。默认、正则、查找和n-gram等标注器利用不同线索,回退在当前器无法给出标签时才生效。分块将标签序列进一步组合为浅层短语;标签准确率与完整短语边界正确率需要分开评价,并向后面的句法结构分析过渡。
POS标注按上下文给每个token分配词类,如bear可标动词或名词,从而区分容忍与动物这类跨词类歧义。但同为名词的多个词义仍无法只靠POS区分;词性标注、词义消歧和文档分类是相关但不同任务。示例输出是某标注器对该句的预测,不证明每个句子都能被正确理解。 详见词性区别不能代替词义消歧。
Penn Treebank用NN/NNS/NNP等细粒度代码,VB/VBD/VBG等描述动词形态;upenn_tagset可查询含义与示例。VB.*查到的是动词词性标签,不是句法树里的VP动词短语。切换到universal会合并类别,NN、N、NOUN不能随意混作同一套标准;评估和规则解析都要使用一致映射。 详见标签解释必须指定标记集。
(token,tag)元组保留每个词的标签,str2tuple与tuple2str只是文字形式与元组形式转换,不会验证语言标注正确。例中visit被给NN,转换后仍是NN,不能据成功解析证明它在此句作名词。字典只为每个词存单标签也会丢掉逐位置与上下文歧义,需要按实际任务保留完整句序列。 详见标注序列是数据表示而非裁定。
FreqDist可统计标签次数,bigrams再筛第二项NOUN可计名词前常见标签,但得到的是该语料观察分布,不是所有名词必须如此的语法。若先平铺tagged_words,句末和下句开头也会组成邻接对;要做句内分析应逐句统计。字典beautiful→ADJ只是手工词表,不能替代上下文标注器。 详见词性邻接统计要保持句界。
DefaultTagger把所有token给同一标签,可作最低复杂度基线或回退链末端,让未知上下文也有结果。给Beautiful标NN不表示它真是名词,而是明确的兜底策略;默认器若先放链首且总返回标签,后面的复杂器就不会被问到。untag只移除标签保留词序,不能撤销训练或恢复被前处理删掉的文字。 详见默认标签可作有界基线。
TaggerI约定对token序列标注;SequentialBackoffTagger从左到右调度choose_tag(tokens,index,history),当前器不给标签才问回退器,DefaultTagger实现固定选择。图中Choose_tag大小写应按真实choose_tag。evaluate(gold)为旧接口,当前accuracy(gold)承担逐项准确评估;统一接口不代表各种器都自动训练或具有相同能力。 详见顺序标注接口分离选择与调度。
os.path.exists只确认路径存在,path in nltk.data.path检查它是否属于NLTK搜索根。创建~/nltkdoc不会自动把它加入搜索列表,后一个False不能据此判目录未创建。需要显式设置搜索根或使用明确资源地址,再区分相对资源路径与文件系统路径;format=raw表示按原始内容加载,也不意味着文本已经变成标注语料。本次未创建用户目录或加载外部语料。 详见目录存在与资源可发现是两事。
Names与words提供名字或词条列表,fileids选择其中某文件,words长度只是该版本的列表项数;它们本身不提供每个句子位置的正确POS。训练监督标注器还需真实对齐的词—标签序列、分句与标签约定。2943、5001或235886都是出版样本,不是当前资源固定计数;默认pos_tag内部预训练器也不应永远叫旧Maxent Treebank实现。 详见词表资源不同于标注句子语料。
训练时从可获得的输入与历史信息抽特征,把正确标签作为监督目标;推断时必须用同样可获得的信息,不能把当前真实标签直接当输入特征。邻词、前后缀和历史预测标签是不同信息来源,“前一词或前缀”不能当同一概念。原文二阶分类器措辞未给足定义,不据此给所有词性分类器冠名二阶。 详见监督标注要分开特征与目标。
Brill式方法先由基础标注器产生标签,再学习上下文条件下的修正规则。UnigramTagger可作初始器,但规则系统不因此只是一元词典;模板限定可学的改标签条件。书中FastBrill与Proximate类是旧接口,句子变量也未给,不能直接当当前可运行训练代码。规则数量上限100是配置,不证明规则已覆盖所有错误。 详见转换规则学习不同于词表查找。
监督条件分类常最大化各训练实例正确标签概率的乘积,或等价的对数概率和;原文把概率直接求和称整体似然不成立。按标签归一时分母需遍历候选标签,保证同一输入下总概率为1。最大熵分类器的这种训练关联见[[最大似然估计不是最大熵模型]],不能把模型框架、优化目标和任意求和混在一起。 详见条件似然不是概率直接相加。
UnigramTagger把当前词当上下文,从训练中选择该词最常见标签,或接收手工model字典;没有记录且无回退时给None。Vinken唯一映射例不等于所有未知词都应作名词,也不利用句中前后语境区别同形词义。单看训练句预测正确不能证明泛化,因为它可能只是记住已见词的频率。 详见一元标注按词的最常见标签决策。
ContextTagger在上下文到标签表中查找;NgramTagger把当前词与前n−1标签作为上下文,UnigramTagger把它简化成当前词。图4-3写ContentTagger应为ContextTagger。这里的继承关系不是运行时回退顺序,回退是另一个对象的配置关系;不能把所有相邻框都理解为顺序执行。 详见上下文模型通过继承选择特征。
训练取前7000句、测试从2000句到末尾,只要语料超过2000句,两者就会重叠;若全语料少于7000,训练甚至包含整个测试集。切片不会补足到7000句,不能据代码声称实际训练7000。原书96%等数字只能记为该设置报告值,应重新做不相交、符合任务的数据划分才能评估泛化;本次未重跑训练或评估。 详见切片重叠会高估泛化表现。
ContextTagger可按上下文中最常见标签的计数筛掉罕见条目,减少弱证据记忆,但也会让更多输入落入回退。书中cutoff=5准确率下降只是示例效果;当前实现比较hits>cutoff,需核对版本,不能把5误解成至少有五种标签或单词长度5。截止值的选择与回退能力、数据量一起影响结果,没有通用最优数字。 详见频次截止会改变覆盖与回退。
BigramTagger用当前词和前一预测标签,Trigram再用前两标签;并非只看前一/前两词,也不是词序列语言模型中的同名窗口。上下文更具体可能更能消歧,也更难在训练出现,前面标签错误还会传播。NgramTagger(4)可扩历史长度,但不保证阶数越高准确率越高,应在独立测试集比较并配置回退。 详见高阶标签历史会增加稀疏风险。
可按高阶、低阶、默认器设置链,从当前器开始找第一个非None的标签;它不是把多个答案投票,也不会自动检查已给答案是否正确。默认器返回NN会终止该词的回退,因此应处在合适末端。原书的一元+默认例只说明一种顺序,构造名或继承树不决定实际链方向;有标签但错了并不会自动回退修正。 详见回退只在当前器不给标签时发生。
AffixTagger按固定长度子串学习标签,正长度取前缀,负长度取后缀,4与−3分别示例四字符前缀、三字符后缀。这些子串不必是真正语言学词缀,短于条件的词还可能不给标签;多种长度可配置回退,但链顺序影响谁先决定。21%到33%的原书值受重叠划分影响,不能据此认定某后缀长度普遍更好。 详见词缀标注的长度符号决定方向。
TnT(unk=unknown,Trained=True)里的Trained描述未知词标注器是否已训练,不表示整个TnT已学好。原例创建tagger_tnt带该配置,却继续训练和评估另一个tnt_tagger,报告结果无法验证新配置的效果。必须沿实际对象确认训练、预测与评估都用期望实例;名字相似不能代替对象身份,本次没有执行该例。 详见参数必须配置到实际运行对象。
TnT把标签序列的低阶统计结合起来选择标注,二阶马尔科夫语境指当前标签条件涉及前两标签,不等于词典永不缺失。未知词可由单独标注器处理,基础计数与回退能力都需与任务相容。原书报告98.8%仍用同样重叠切片,不能据此宣布超过所有其他器;本节没有提供独立测试或完整误差分析。 详见统计标注还需要未知词策略。
RegexpParser规则NP:{??}把可选限定词、若干形容词、名词及可选介词/名词串组为NP。它作用于已给POS,非直接证明语法正确或完成NER;financial若误标NN,+仍会机械合块。规则还允许IN之后零个名词,这是量词含义,不保证所有结果都是完整自然短语。 详见短语分块按标签序列匹配。
chunking把若干token标为一个语块,chinking则从候选块里排除某些成分、可能把块分开。原文把“消除语块一部分”也叫分块,容易混淆。两者都只是浅层结构处理,不能当作完整句法解析;某段是否保留取决于明确定义的规则,不是任意删掉读起来不重要的词。 详见删块内成分与寻找块是两操作。
可把已有分块树转成(word,POS,IOB)序列,再用POS等特征预测B/I/O标签并转回块树;标签逐项准确率与整块边界精确率/召回率不同。原UnigramChunker片段有_init_、parsing接口、chunking变量及treeconlltags/conlltaags2tree拼写不一致,评估函数还混用参数外变量,不能声称已实现可运行分块器。要按目标完整语块验收,而不只比较每词标签。 详见学习分块需区分标签与边界指标。
原书依据 · 24 处
- 第4章 词性标注:单词识别 4.1 词性标注简介 · 查看原书依据
- 第4章 词性标注:单词识别 4.1 词性标注简介 · 查看原书依据
- 第4章 词性标注:单词识别 4.1 词性标注简介 · 查看原书依据
- 第4章 词性标注:单词识别 4.1 词性标注简介 · 查看原书依据
- 第4章 词性标注:单词识别 4.1.1 默认标注 · 查看原书依据
- 第4章 词性标注:单词识别 4.1.1 默认标注 · 查看原书依据
- 第4章 词性标注:单词识别 4.2 创建词性标注语料库 · 查看原书依据
- 第4章 词性标注:单词识别 4.2 创建词性标注语料库 · 查看原书依据
- 第4章 词性标注:单词识别 4.3 选择一种机器学习算法 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
- 第4章 词性标注:单词识别 4.3 选择一种机器学习算法 · 查看原书依据
- 第4章 词性标注:单词识别 4.3 选择一种机器学习算法 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.4 涉及n-gram的统计建模 · 查看原书依据
- 第4章 词性标注:单词识别 4.5 使用词性标注语料库开发分块器 · 查看原书依据
- 第4章 词性标注:单词识别 4.5 使用词性标注语料库开发分块器 · 查看原书依据
- 第4章 词性标注:单词识别 4.5 使用词性标注语料库开发分块器 · 查看原书依据
精通Python自然语言处理 · 第5章 语法解析:分析训练资料
句法分析寻找句子在文法下可以具有的结构。CFG描述允许的组合,PCFG再为规则分配概率,图表分析复用子问题,特征统一则把一致性限制带进组合过程。算法可能找到多个结构或因文法覆盖不足找不到结构;找到一棵树不等于已经确认语义解释或现实真值,后章正是在此处继续展开。
句法分析寻找输入在所给文法下可能的成分结构,同一句可能有多个解析,也可能因文法覆盖不足而无解析。Book bought a Ram即使能按某规则组成树,也不因此符合通常现实情境;反过来拟人或特殊上下文可能改变解释。句法、语义和事实判断应分别处理,不能把生成一棵树当理解完成或普遍正确性证明。 详见句法树表达结构而非现实真值。
自顶向下从开始符展开规则,要求最终与输入相符;自底向上从已见词及局部结构组合,直到覆盖整个句子的开始符。前者可能预测无用分支,后者可能组合出最终用不到的局部片段。它们是搜索和控制策略,可在左角或Earley等方法中结合,不能把所有线图解析笼统归为同一方向。 详见解析方向决定搜索起点。
线图记录某个输入跨度的已完成结构和待完成假设,让后续推导复用状态。它可减轻朴素递归反复求同一片段的浪费,但状态仍可能很多,展开全部歧义树也可能很大;不能从动态规划推出所有解析都便宜或绝无重复工作。ParserI是解析结果接口,算法与中间状态组织由具体实现决定。 详见线图共享中间结构减少重复。
fileids列资源文件,words取词序列,tagged_words取词与标签,parsed_sents取带层次的句法树,chunked_sents则是较浅的块结构。使用前先确认语言、标注集和结构层次,不能把同名Treebank视图当同一数据类型。读取已有树库只提供输入,真正建设新树库还需标注方案和一致性处理,本章片段未实施这些步骤。 详见树库视图提供不同粒度数据。
在分块树里叶子本身是(word,POS)元组,所以leaves返回这些元组;pos再把叶子与其直接父节点标签配对,输出可能是((word,POS),NP)。它不等于重新做一遍词性标注。productions从当前树的父子结构提取规则,若叶子是元组,终结项也保留元组;换成普通句法树的字符串叶子,输出对象就不同。 详见树方法的结果取决于叶子类型。
新建FreqDist后立刻items得到空集合,因为还没有把任何标签加入,不能据此声称已经计算Treebank标签频率。应从明确语料视图提取标签再累计,并保留标记集和版本口径。原文长频次表可以作为出版样本,但跟在后面的空构造代码没有产生该表;Sinica示例也需保留自己的标签约定,不与Penn代码直接合并计数。 详见语料统计必须先填入计数。
CFG由非终结符、终结符、开始符和产生式构成,产生式左部是单个非终结符,右部可为一串符号。S→NP VP规定父节点的子结构,不自动表达语义、所有英语规则或任意一致关系。原书括号与星号是便捷规则记法,若输入只接受普通产生式的解析器,需要展开成实际规则,不能原样当NLTK文法语法保证。 详见上下文无关规则约束局部展开。
Nonterminal包装NP等类别,避免与同名终结词混淆;Production用lhs/rhs表示一条规则,CFG持有开始符和规则集合。Production相等要求左右结构一致,不是只比较规则名字。图中关联表示对象用于描述规则及文法,没有把一条Production画成一个CFG子类;树节点实际标签也不必保留Nonterminal包装。 详见文法对象区分符号与规则。
同一ATIS句子和文法下,BottomUp、LeftCorner、TopDown等策略报告不同边数,却都得到11个解析,说明中间搜索量与最终树数不同。边少可提示较少状态,不直接证明总耗时或内存必更低,还取决于索引、规则应用和树枚举。原书数字是特定样本,本次未运行策略性能比较,也不能据一句结果决定全局最佳。 详见线图边数和解析数衡量不同对象。
增量线图策略要求先完成较早结束位置的边,再处理更晚位置,可用于随输入推进的解析组织。它不表示每个词一到就有唯一完整句义,也不保证比对应非增量策略状态少;书中两组策略边数相同。应区分输入推进顺序、最终解析完整性与性能,不把incremental理解成只更新某个已完成句子的差异。 详见增量解析按输入位置推进状态。
PCFG给每条规则条件概率,同一左部A的所有备选规则概率应和为1,而不是整本文法所有规则总和1。给定一棵推导树,其概率为每次使用规则概率相乘,重复使用要重复乘。A的0.3⁄0.7、B的0.5⁄0.5分别归一;若改变哪些规则为零概率,也要区分结构可生成与正概率支持。局部归一还不能单独保证递归文法必然有限终止。 详见规则概率按共同左部归一。
给toy_pcfg2的句子含told、to、bring,但展示文法的动词只列saw、ate、ran等,文法不能仅凭概率为未覆盖词创造词法规则。应先检查终结符覆盖和句界,再谈解析或选最高概率树。这里只打印文法,导入induce_pcfg并不等于实际从树库估计了概率,本次未运行解析或构建训练文法。 详见词汇覆盖决定示例能否解析。
基本CKY/CYK在适合的二元文法形式下,先用词法规则填每个单词跨度[i,i+1),再按跨度长度增长,对每个切分点k组合[i,k)与[k,j),查A→B C后加入A。若开始符覆盖[0,n),说明该文法存在解析。固定文法下三层跨度/起点/切分循环给O(n³)识别框架,文法规模与规则查找成本仍需另外计入。 详见二元跨度合成是线图的核心。
同一跨度可能有多个类别或同一类别的多种来源,RHS也可能对应多个LHS。原示例index[rhs]=lhs与表格每格只存一个值会覆盖候选,无法一般性保留全部解析;prod[0]还只拿首个词法类别。若要返回解析树,另需保存可重建的子跨度/规则关联,不能把识别表有一个S就当已经枚举所有歧义树。 详见歧义解析需要保留多种候选。
CYK段出现多余感叹号、start/start1与mid/mid1混用、index/index1错配,以及定义init_nfst却调用init_wfst等不一致。它能用于理解跨度递推,不能直接宣称该片段已运行生成正确表格;旧nltk.parse_cfg接口也需按版本核对。修复语法仍不自动解决多候选和树恢复等算法限制,本次只生成学习卡,没有执行或部署解析器。 详见算法意图不能替代可运行代码。
Earley状态可用A→α·β和起止位置表示:点左边已识别,右边待识别。I saw a dog示例中S→NP·VP表示前段NP完成,仍需VP;S覆盖[0,4)且点到末尾才是整句完成。局部完整VP覆盖[1,2)不表示整个输入已解析,不能只看到规则完成星号就忽略跨度和起始符。 详见带点规则记录已匹配与待匹配。
Earley对待匹配非终结符预测其规则,对匹配当前终结词的状态向右扫描,再用完整子结构推进等待它的状态。通过记录并合并等价状态,可处理朴素递归下降容易困住的左递归,也无需先强制转成CNF。它具有自顶向下预测,不宜只叫自底向上算法;效率和树恢复还依具体文法与状态实现。 详见预测扫描完成形成线图闭包。
Stepping演示在同一文法与句子上切换自顶向下和自底向上规则,让读者观察中间边如何增加。37条边与另一演示33条是搜索历史差异,不代表生成了37或33棵正确树。演示切换次数不证明策略优劣,也不能把交互观察等同实时部署的自动选路;本次没有启动步进GUI或运行演示。 详见步进观察展示搜索而非新语法。
FeatureChart规则让Det与Noun共享pl=?x,a标−pl会把变量绑定为False,后续名词必须与该取值相容。它把数一致等约束放进结构推导,区别于只有无特征NP/VP标签的CFG;但局部特征统一不等于理解整句语义或解决所有英语一致现象。未给出的特征不能由解析器自行补成完整知识。 详见特征统一把一致条件带入规则。
demo调用EarleyChartParser再统计chart.parses;numparses用于核对期望树数的assert,不是保证只找到指定数量,也不实现Earley核心规则。期望数要与当前文法、输入和版本相符;旧time.clock计时也不能直接当当前Python可执行代码。这里保留调用流程与输出职责,不声称本次通过断言、测得耗时或完成解析器实现。 详见演示断言不构成算法实现证据。
原书依据 · 20 处
- 第5章 语法解析:分析训练资料 5.1 语法解析简介 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.1 语法解析简介 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.1 语法解析简介 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.2 Treebank建设 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.2 Treebank建设 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.2 Treebank建设 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.3 从Treebank提取上下文无关文法规则 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.3 从Treebank提取上下文无关文法规则 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.3 从Treebank提取上下文无关文法规则 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.3 从Treebank提取上下文无关文法规则 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.4 从CFG创建概率上下文无关文法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.4 从CFG创建概率上下文无关文法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.5 CYK线图解析算法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.5 CYK线图解析算法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.5 CYK线图解析算法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.6 Earley线图解析算法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.6 Earley线图解析算法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.6 Earley线图解析算法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.6 Earley线图解析算法 · 查看原书依据
- 第5章 语法解析:分析训练资料 5.6 Earley线图解析算法 · 查看原书依据
精通Python自然语言处理 · 第6章 语义分析:意义很重要
语义分析给结构中的表达式规定含义与组合规则。逻辑表示、类型和模型帮助区分对象、谓词与真值条件,命名实体识别和WordNet关系则提供不同粒度的词汇线索。它们需要明确任务和上下文,不会因句法分析完成就自动完成消歧;后续情感与检索是在这些线索上选择特定输出目标。
句法结构给组合关系,语义表示再说明对象、属性和关系如何解释;上下文与知识还会影响指称。把句法树建好就称语义分析完成,会跳过这些解释步骤。ELIZA式模式替换和某些受限领域表示可以产生有用输出,也不能单凭像自然回答就推出通用理解。本章工具和覆盖语言数量属于出版介绍,不是已验证的实际处理能力。 详见意义表示需要独立解释规则。
命题符号先通过与、或、非、蕴含等构成合式表达式,再在给定Valuation下求真假。X真、Y假时X&Y假、其否定真;这是指定赋值上的结果,不等于现实事实验证。P→Q也不是声称P导致Q的因果机制;模型改变赋值,表达式的真值可能改变,格式解析成功不能代替语义解释。 详见逻辑表达式与真假赋值要分开。
一阶谓词run(marcus)中,marcus可取实体类型e,run若声明为表示接收实体并返回真值t。未指定结果类型时可能只推得,需提供签名并按所用接口启用类型检查。原书声明后打印e与所述函数类型不一致,不能据这段输出把一元谓词当实体;类型正确也不证明陈述为真。 详见类型签名约束谓词的输入输出。
为词和短语附加语义片段,并在句法规则中组合,可把受限格式的城市问题转成数据库查询再读取结果。它依赖明确词表、模式和数据映射,不能因一个Greece示例就推广到任意自然语言数据库问答。多解析、无解析、单位映射和参数边界还需定义;本次没有生成待执行查询脚本或连接数据库。 详见受限问句可沿语法组合成查询。
NER要找文本中的实体跨度并分类,如人、地点、组织;标签集取决于具体任务,可能还含时间、数值等。它不等于只收专有名词,也不等于已把名字链接到现实唯一对象。12类IIIT标签、Stanford三类和NLTK细分类是不同设计,不能混用标签名就直接比较准确率或宣称覆盖相同。 详见实体识别同时判断边界与类型。
(实体,关系,实体)可以存储结构化事实,列表推导式按第二实体为Rajasthan筛选,返回已登记城市。这个操作展示如何查询现成关系,不包含从原始句子识别实体、判断关系或验证地理事实的算法。真正信息抽取还需要这些步骤,不能据返回三个名字就声称NER或关系抽取已成功。 详见筛选已知三元组不是自动抽取。
ne_chunk处理已带POS的句子;binary=True把命中的实体统一标NE,默认细分则可给PERSON/GPE/ORGANIZATION。两种模式的输出都保留块范围,但二元模式不再表达具体类型。未命中不等于现实不存在实体,调用也依赖对应训练资源;读取CoNLL已标注块只是展示数据,不是现场模型预测或新训练。 详见二元实体标签会丢失类别信息。
一阶HMM把标签作为状态、词作为发射观测,π描述句首状态分布,A描述给定前态的后态分布,B描述给定状态的观测分布。监督计数时aij为i→j次数除i出发总次数,bj(k)为j发出k的次数除j发射总次数。原文B分子写概率再除次数量纲不对;分布需按各条件归一,未见项还需约定平滑。 详见隐状态参数要按事件次数估计。
Viterbi求给定观测下概率最高的一整条状态序列;前向后向计算各位置隐藏状态的后验边缘。逐位置选最高边缘标签不必组成那条整体最优路径。Baum–Welch利用这些期望信息迭代估计参数,通常求局部改进,不能保证任意初始化下得到全局最优。模型描述与训练、解码任务应分开,不是HMM对象自动“生成正确答案”。 详见路径最优与状态边缘是两目标。
demo_pos输出Brown风格词性、熵和284 token的92.96%报告,展示的是POS模型评估。Brown的NP标签在此表示专名词性,不是已预测NP短语块,更不是PERSON等NER类型。即使可在后处理中利用专名信息,也需实体边界和分类评估;本章长输出不证明已经训练或测试一个NER系统,本次未运行任何HMM演示。 详见词性演示未验证实体识别。
精确率衡量预测实体中正确的比例,召回率衡量金标实体被找回的比例。按原段每个Incorrect同时占一个预测与一个金标的对应约定,P=C/(C+I+Spurious),R=C/(C+I+Missing);原文二者的Missing/Spurious位置颠倒。实际跨度匹配须明定边界、类型及重叠对齐方式,不能任意让一个错误抵多次。F1=2PR/(P+R),零分母另定约定。 详见实体指标分母要对应预测与金标。
名单与规则、HMM、MEMM、CRF、SVM或决策树提供不同NER方案;选择取决于标签、数据、领域、成本和误差。规则与统计组合也要有一致的冲突处理与同一评估口径。原段没有给比较数据,因此“机器学习必优于规则”“组合必提升”不能作为通用结论;这里只登记方法范围,不假装已完成工具包训练。 详见识别方案优劣需要同任务证据。
NNP可提示专名,不能同时给出实体跨多个词的边界、PERSON/地点分类或现实身份。Brown专名码NP与Penn的NNP不同,None表示当前模型无法给标签,不证明该词从未在任何地方训练过。John/NY/Germany示例只展示线索与有限词表的覆盖;NER还需自己的输出约定和评估,不能把所有NNP无条件当完整实体。 详见专名词性只能提供实体线索。
WordNet的synsets返回某个词可能关联的多个概念,synset(name)按标识查一个概念;cat.n.01中的n是词性、01是该命名体系的义项序号,不表示cat只有一个意思。先用POS缩小候选仍可能多义,单取第一项也不是上下文消歧。名称依资源版本和命名约定,不能把序号当语义强度或概率。 详见同义词集编号标识特定义项。
Synset表达一个概念,可有cat/true_cat等多个lemma;lemma.name取得词条字符串,lemma.synset回到概念。hypernyms是较一般类别、hyponyms是较具体类别,holonym是整体关系,不是同义词列表;某些反义关系在lemma层。最低共同上位概念说明分类上共同祖先,不证明两个词在任意句中可互换。 详见词条与概念关系不能混作同义。
Open Multilingual WordNet可用语言码取得同一概念的不同语言lemma,但某语言/概念可能缺词条,列表还受已加载资源影响。意大利语gatto是特定cat概念的对应,不等于任意上下文把所有cat翻成同一个词。原文语言列表和日文计数为资源快照;all_lemma_names可为迭代器,不能不看版本就直接对其len或假定一次加载全部语言。 详见多语词条共享概念不保翻译覆盖。
all_synsets按文件逐行yield并用偏移缓存对象,暂停迭代时其他调用可能移动共享文件指针,所以代码另开句柄并在正常或异常退出时关闭。缓存减少重复解析,不等于立刻生成或改造全部义项;惰性消费也意味着未遍历部分尚未读。不能把all_synsets的名字理解成已经为某个词消歧。 详见迭代器读取要保留自己的文件位置。
path_similarity按is-a路径邻近程度计分,Wu–Palmer还利用概念与共同上位的深度,Leacock–Chodorow结合路径和分类最大深度。它们输入为具体synset,不先解决上下文该选哪个词义;无可比路径或词性限制需处理。lion/cat的0.25、约0.897与2.25属于不同尺度,不能据数字更大就说某算法更确信。 详见分类路径相似依赖已选概念。
Resnik看最具体共同上位概念的信息量,Lin和Jiang–Conrath还结合两个概念自身的信息量;同一词对换Brown、Genesis或SemCor统计,分数可改变。信息量反映在所选统计中的稀有程度,不能当概念天然固定属性。NLTK jcn_similarity是相应信息量距离的倒数形式,名称相似不代表与0到1分数同尺度,零距离等特例还需按实现处理。 详见信息量相似度依赖统计语料。
遍历两个词的所有synset组合并打印路径/WUP分数,只列候选关系,未利用句子决定实际词义。当前API的name/definition通常为方法,原片段把它们当属性再str,不保证能正确取到标识或解释。还要处理无可比结果和候选筛选,不能把cricket/ball最高组合直接当在任何句中的正确解释,本次未运行该代码。 详见枚举义项对还没有完成消歧。
Lesk示例把上下文token变成集合,对候选词义的定义词求交集,取重叠最多者;可先按POS或候选集缩小范围。它忽略重复、词序和更深语义,大小写、词形与停用词影响匹配。所有重叠为零时仍可能选中某项,并不代表证据充分;无候选才返回None。bank例输出还可能随WordNet与实现变化,不能把旧编号当固定正确答案。 详见定义重叠为词义选择提供基线。
原书依据 · 22 处
- 第6章 语义分析:意义很重要 6.1 语义分析简介 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1 语义分析简介 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1 语义分析简介 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1 语义分析简介 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.1 NER简介 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.1 NER简介 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.1 NER简介 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.2 使用隐马尔科夫模型的NER系统 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.2 使用隐马尔科夫模型的NER系统 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.2 使用隐马尔科夫模型的NER系统 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.2 使用隐马尔科夫模型的NER系统 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.3 NER系统的评估 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.3 使用机器学习工具包训练NER · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.4 使用词性标注执行NER · 查看原书依据
- 第6章 语义分析:意义很重要 6.2 使用Wordnet生成同义词集id · 查看原书依据
- 第6章 语义分析:意义很重要 6.2 使用Wordnet生成同义词集id · 查看原书依据
- 第6章 语义分析:意义很重要 6.2 使用Wordnet生成同义词集id · 查看原书依据
- 第6章 语义分析:意义很重要 6.2 使用Wordnet生成同义词集id · 查看原书依据
- 第6章 语义分析:意义很重要 6.3 使用Wordnet进行词义消歧 · 查看原书依据
- 第6章 语义分析:意义很重要 6.3 使用Wordnet进行词义消歧 · 查看原书依据
- 第6章 语义分析:意义很重要 6.3 使用Wordnet进行词义消歧 · 查看原书依据
- 第6章 语义分析:意义很重要 6.3 使用Wordnet进行词义消歧 · 查看原书依据
精通Python自然语言处理 · 第7章 情感分析:我很快乐
情感分析首先要明确预测的是整段文本极性、某个对象的态度,还是其他标签。词典计分和监督分类使用不同证据,特征选择、否定或重复处理会改变输出。训练样本中的标签不能在预测时混入目标输入,指标也需按预测对象计数;这把前面的表示选择与末章评估连接起来。
情感分析可把文本按积极、消极、中立等标签分类,但文本极性、特定对象上的态度和说话人心理状态不是同一结果。二分类忽略中立、主题情感还需明确对象及其对应评价,不能直接把一个正向词当整个人此刻快乐的证据。这里是识别/估计任务,原书“情感生成”别名容易与生成新内容混淆。 详见情感分类必须先定义预测对象。
词典可给正负类别、连续愉悦度/激活度/支配度,或多种情绪类别。AFINN的−5到+5分数、ANEW三维评分和某些词表1到4类别编码不能直接当同一数轴相加。领域、语言、版本与标注方法影响覆盖,财务词典也不自动适合电影评论。资源词数是出版快照,不是当前保证,词级评分也不等于整句真实态度。 详见情感词典的分值未必同尺度。
对每个候选词记录contains(word)布尔值,可把文档映到固定特征字典;同一词重复十次也只是True,not good与good not的词集合还可能相同。词表应来自训练划分,测试参与选词会改变评估设定;大小写处理在建词表和文档匹配中也需一致。简单表示可作基线,不能因某些词有较强比值就认为已理解否定或因果。 详见词存在特征会丢掉词序与次数。
朴素贝叶斯报告damon、mulan或seagal的类别比值,反映这些特征在该训练集与标签的关联,不证明演员或作品名字具有固定正负意义。跨时间、作品和领域可能失效,需用独立数据验证。0.86是原书样本,shuffle未固定随机状态,且docs/doc、classifier/classifiers与截断引号有错误;本次没有运行或复现分类结果。 详见高信息量特征可能是语料线索。
Splitter先分句再分词,POSTagger把每词包装成(word,word,[POS]),第二项只是复制表面词,没有调用词形还原。后续选择lemma字段因此不会自动归一working到work;输出标签的样本也不保证全部正确。应给字段明确语义并保持各阶段契约,避免仅有三元组外观就声称已经得到词、词元与可靠语法分析。 详见标注元组占位不等于词形还原。
DictionaryTagger从当前位置尝试较长片段,命中词典后推进到片段末端,否则缩短;多词短语会合成一个输出项。它偏向当前位置最长匹配,不枚举全部重叠短语或全局最优切分。max_key_size按len(key)算字符却用于token窗口,通常只是把搜索范围放宽,不能精确表示最大短语词数;单词命中保留旧POS、多词项未必保留每词POS。 详见词典短语匹配需要明确优先级。
词典期待键映射到标签列表,同键合并会延长列表,也可能保留重复标签;需确认解析结果符合该结构。原代码yaml.load没有限定安全加载器,对不可信内容不能照用,应采用合适受限加载并校验;Python3中未消费的map(close,files)也不保证关闭句柄。应在明确生命周期中加载资源,不能把词典可读等同可安全正确用于评分。 详见词典加载也要核对结构与资源。
把positive记1、negative记−1后相加,只衡量命中标签的净计数,不建模否定、程度、反讽或评价对象。未命中词被此基线当中立,不代表语言学上真中立;重复标签还可能重复加分。原sentiment_score(review)实际读取全局dict_tagged_sentences而不使用review,调用者传入新评论并不会自动改变计算对象,必须核对数据流。 详见极性计数只是简单评分规则。
NER可以帮助找到被评论的人、品牌或地点,进一步分析针对谁的情感。若先删除所有实体,可能丢掉目标及相关领域线索;停用词也可能含否定。原书说命名实体与情感无关没有适用前提,不能作通用清洗规则。是否过滤应依文档分类或对象情感等具体任务,在相同评估条件下比较。 详见过滤实体可能丢掉评价对象。
SentimentAnalyzer登记抽取函数与参数,训练前将文档转成特征,预测时再调用同一抽取过程后交给已训练分类器。add_feat_extractor只登记配置,不自动训练模型;train返回由trainer构建的分类器。训练与预测若换词表、过滤或字段含义,即使接口仍接收dict,特征语义也不一致,不能直接复用旧指标。流程见[[监督标注要分开特征与目标]]。 详见特征抽取配置必须在推断复用。
extract_features把抽取结果合入一个字典,若多个函数或参数组返回同名键,后值会覆盖前值,不是特征投票或拼接。应为不同语义约定键名并检查实际合并范围;多参数组是否逐组保留还取决于所用版本的循环缩进。登记多个抽取器不能代替检查最终特征字典,也不自动选出最佳特征。 详见特征合并要防止同名覆盖。
unigram_word_feats按频率排序并保留计数>min_freq的词;bigram_collocation_feats先按最低出现次数过滤,再按PMI等关联分数选TopN词对。高PMI可能来自稀有组合,因此最低频次有用途,但具体阈值需看训练语料。TopN不是频次,语料级词频、文档内是否出现和搭配分数也不能混作同一个数。 详见频率与搭配阈值选择不同对象。
以测试实例索引i分别建立gold[label]与predicted[label]集合,再求交差可算每类精确率和召回率;这保留了每条样本身份,区别于只对标签名字去重。准确率和每类F1回答不同问题,少数类表现不能仅看总准确率。若只遍历金标出现的标签,预测独有类别也需明确报告策略;模型输出指标字典不意味着其任务设定已可靠。 详见类别评估应保留实例身份。
replaceTwoOrMore匹配相同字符连续至少两次,替换为反向引用两次,因此helloooo变成helloo,而不是helo。它可减少社交文本拉长形式,但仍可能改变强调线索或合法拼写;应按特征目标选择。原注释一处说归成一个字符,与实际替换不符,不能按函数名和注释推断输出;本次未运行该规则。 详见重复字符归一保留两次而非一次。
示例只接受字母开头、后续ASCII字母数字的token,会删掉许多emoji、撇号词、非英语字符或带符号表达,也丢掉部分情感信号。停用检查在lower之前,还可能与小写停用表不一致。应让过滤规则与语言、任务及训练推断一致,不能把“通过正则”当无条件更干净或更准确。 详见字符过滤会改变可观察情感。
推文例依赖未给出的processTweet、featureList和training_set,getFeatureVector定义一参却另处传两参,朴素贝叶斯实例名也换成NBClassifier。修复这些接口和数据依赖前,不能从两条测试句宣称情感预测成功。CSV文本模式、Python旧语法和模型参数还需按实际版本检查;本次未读取用户推文文件、训练分类器或提交外部数据。 详见调用链不完整不能当训练完成。
HMM参数计数应针对解析好的每个token标签,而line.count(tg)统计的是整行子串,例如NN会在NNP中出现,也可能在词文本里误命中。起始标签同样应比较首token解析出的标签,不能用stg in tok[0]当精确相等。空行、缺标签和词内分隔符须先有格式规则;否则归一后的数看似是概率,事件计数却已错。 详见词标签统计应先解析结构。
图形界面可组织标注、训练、测试、参数查看和保存,但按钮存在不证明模型逻辑正确。此HMM例依赖vit、转移/发射与搜索等外部模块,且大量全局变量和固定输出文件把UI、计算和存储耦合;跨运行状态易混用。应把每次输入、参数和输出绑定清楚,再评估模型,本次未启动Tk窗口或构建该系统。 详见界面展示不提供模型正确性证据。
界面提示未标注项都不是命名实体,把模型遗漏当成真值。未知词、领域差异、解码或训练问题都可能漏实体;应保留预测状态与金标真值的区别,再统计漏检。使用OTHER占位需要一致的标注约定,也不能把所有未加斜杠词直接称Spurious,后者是多预测实体的评估关系。 详见预测未标出实体不是事实否定。
同一个word/tag在训练或测试金标的任何地方出现过,不能证明当前预测位置正确。示例wDict合并词条后凭成员资格计j,丢掉重复位置、句界和实体跨度,甚至把训练中的标签当测试正确性依据。应先按同一输入对齐金标与预测,明确跨度和类型匹配;否则precision/recall公式再正确也无法修复错误的Correct计数。 详见评估正确与否要对齐当前位置。
界面固定打印Missing为0,实际并未按每个金标实体是否缺失来计算漏检;同时sp来自训练原词缺斜杠,与预测多出实体不同。由j/k/sp算出的P/R与所打印公式和标准基数也不一致,不能把展示的F值当NER评估。需先重建真实匹配计数,再按[[实体指标分母要对应预测与金标]]计算,零分母也要明确。 详见漏检不能用固定零替代测量。
训练/测试函数对多个固定路径以w+清空并传全局状态,保存界面只是再复制某个输出文件;不同输入、重复运行或多窗口容易混淆来源。应给实验输入、参数、预测与金标可核对的对应关系,读文件与可写模式也要有目的。这里没有执行这些文件操作,不能把存在的输出文件或可保存按钮视作完整模型成果。 详见输出文件应绑定一次实验身份。
本章重复机制复用实体指标分母要对应预测与金标,增加本章实际原文定位,不重复生成知识卡。
本章重复机制复用监督标注要分开特征与目标,增加本章实际原文定位,不重复生成知识卡。
原书依据 · 26 处
- 第7章 情感分析:我很快乐 7.1 情感分析简介 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1 情感分析简介 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1 情感分析简介 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1 情感分析简介 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1 情感分析简介 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1 情感分析简介 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1 情感分析简介 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1 情感分析简介 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.1 使用NER执行情感分析 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.3 NER系统的评估 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.3 NER系统的评估 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.3 NER系统的评估 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.3 NER系统的评估 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.3 NER系统的评估 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.3 NER系统的评估 · 查看原书依据
- 第6章 语义分析:意义很重要 6.1.2 使用隐马尔科夫模型的NER系统 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.3 NER系统的评估 · 查看原书依据
- 第4章 词性标注:单词识别 4.3 选择一种机器学习算法 · 查看原书依据
- 第7章 情感分析:我很快乐 7.1.2 使用机器学习执行情感分析 · 查看原书依据
精通Python自然语言处理 · 第8章 信息检索:访问信息
信息检索在文档集合中为查询找候选并排序。倒排索引组织词到文档的访问,TF-IDF等权重突出在某文档中重要又不处处常见的词,向量比较再用于计算接近程度。权重最高的词不是完整查询排名,文本摘要和问答又有各自目标;这些输出都需要相关性或任务标准,而不能用一个公式名称代替评价。
倒排索引维护词项到文档或位置列表的映射,查询时可合并这些列表来找候选,而不必每次扫描全文。布尔检索按与、或、非等条件组合候选集合,排名检索再用分数排序。索引的数据范围、分词和更新会影响可检索内容;并非所有IR算法都只能用倒排索引,列出候选也不等于已判断其相关。 详见倒排索引把词映到出现文档。
令X为返回文档集合、Y为相关金标集合,则P=|X∩Y|/|X|、R=|X∩Y|/|Y|,F1=2|X∩Y|/(|X|+|Y|)。X与Y是集合,不能先把它们当整数再求交。结果依查询、相关性标注和截断范围,P高不保证R高;空集合要约定。这里按文档匹配,与NER按实体跨度或分类按实例的评估单位不同。 详见检索精召率按文档集合计算。
len(tokens)是出现次数,len(Counter(tokens))是不同词元种数,most_common再给计数排序。停止词过滤后的两个长度回答不同问题,不能都叫文章词数。原not_stopwords返回非停用词比例,见[[保留词比例不等于停用词比例]];旧translate调用、print格式及count/count1不一致还需按版本核对,本次未读用户文档或运行清洗。 详见词元数与词表大小不能混报。
TF可用原始次数、除以文档token总数,或0.5+0.5×当前次数/最大次数等增强形式;它们不是同一数值。原文文字说相对词频,却展示增强TF,而后续代码用总数归一。应明确采用哪种,未出现词一般权重为0,不能直接给所有未见词套增强式得到0.5;空文档也需另行处理。 详见词频归一存在多种定义。
IDF常写log(N/df),N为文档总数,df为含该词的不同文档数;不是该词在语料中的总出现次数。TF与IDF相乘,强调某文档中较常出现而跨文档较少出现的词。一个词在同文档重复百次也只对df贡献1;普遍出现时该原式IDF为0。不同平滑和外加常数会改变结果,需保持同一约定。 详见逆文档频率衡量跨文档稀有度。
代码把单词、二元与三元词组都加入ftokens,分母也按混合特征项数算,因此它是该特征空间的相对频率,不能无条件解释成每单词占文档词数。词组在过滤前生成,后续仅判断整个词组是否在单词停用表中,不会自动删除词组内部停用词。索引和查询要复用同一规则,否则同维特征意义会变。 详见混合词组要先定义特征空间。
用于IDF的语料应每个文档登记一次。原片段缩进不足以确认vocabulary.append(ftokens)的循环层级;若把它放进每token循环,同一文档会登记多次、长文档影响更大,此时N与df就不再按不同文档计数。应先明确每个文档身份,再每文档登记一次;docs以整段文本作键还会合并相同文本,与重复列表统计可能不一致。本次未抓取远程评论。 详见文档频率须按文档身份计数。
原代码返回log(N/(1+df)),在词出现在全部N文档时为负值;它与前文无平滑log(N/df)不同,也不同于常见log((N+1)/(df+1))+1。负数本身不必判程序崩溃,但会改变权重含义和阈值,不能宣称所有实现都得到同样TF-IDF。应记录确切公式、词表和归一方式,再比较分数。 详见平滑公式要按同一约定解释。
代码为每词保留它在所有文档中的最大TF-IDF,再按词排序,输出是高权重词清单。它没有接收查询并返回相关文档,不能把“最相关词”当完整检索系统性能。建共同维度再累加词频的部分复用[[文本向量必须共享维度定义]],仍需定义未知词、空向量、评分及文档身份。 详见跨文档最大词分数不是查询排名。
窗口上下文记录目标词附近的词,依赖上下文记录与目标词有特定句法关系的词;相同窗口距离不等于相同语法角色。词干/词元归一、维度定义与权重决定向量所含信息,选择相似度前要先明确表示。词项文档向量与词的上下文向量也不是同一矩阵对象,不能只因都叫向量就套相同解释。 详见上下文表示可按窗口或依赖构造。
图中Euclidean、Cityblock、Chebyshev先算L2/L1/最大坐标差,再用1/(1+d)改成越大越近的相似度。它们已不是原距离本身,量纲和特征缩放仍影响分数;不能把1/(1+d)与余弦当同尺度概率。选阈值前应确认输入向量、归一与方向,零范数等边界按具体度量处理。 详见距离变相似度需保留数值方向。
对非负向量,图中Dice可按2Σmin(u,v)/(Σu+Σv),加权Jaccard可按Σmin/Σmax;二值向量时对应集合重叠。图148另标Jaccard的dot/(Σu+Σv)缺少标准交并分母,对相同非空二值向量仅得0.5,不能当通常Jaccard。Lin/Tanimoto行的范数记号未充分定义,不能混用L1、L2及平方范数来保证其性质。 详见重叠指标公式应先校验自相似。
相关系数比较去均值后的方向,其分子为中心化向量点积,分母也应取两个中心化向量的长度;图148只在分子减均值而分母写原向量长度,与通常相关系数不一致。常量向量中心化后为零还需定义。SciPy correlation返回1−相关系数的距离,不能把该输出直接当图里的相似度。 详见相关相似度需一致地中心化。
Jensen–Shannon使用两个概率分布与其均值的KL散度组合,通常其平方根才称JS距离;α-skew也依赖合法混合分布。图148把相关式改写成“1减某归一项”,不是可无条件套任意向量的通式。应先明确非负归一、对数底和零项处理,再核对要用散度、距离还是相似度;不能用行名相同推定数值一样。 详见散度比较要先明确概率输入。
图149混列词频、TF-IDF/TF-ICF、BM25、归一加权和关联统计。各式的fij、fi、fj、N、nj若未定义行列对象,就无法可靠复现;不能只按同一字母或数值大小拼接权重。MI一行描述联合概率相对于独立乘积的对数比,PosMI把负值截为0;稀有事件和零概率仍需约定。仅有公式清单不足以证明整套检索已实现。 详见加权表需要一致的频率单位。
LSI对词项文档等数值矩阵做截断SVD,保留较低维结构来表示文档及查询,可能缓解部分表面词不一致。保留维度、预处理和训练语料都会影响结果,不保证发现真实概念或靠极小训练集完成任何分类。跨语言检索还需对应数据与共享表示条件;本节应用名单和方法介绍没有实际构建可运行IR系统。 详见低秩分解提供潜在共同表示。
Summarize_Frequency先分句与分词,去停用词后按最高词频归一,再过滤两端频率,按句内保留词权重之和评分并取TopN句。它是抽取式摘要,返回原句,不生成新的概括语;词频高不等于内容必重要,长句也更容易积累分数。cut_min/cut_max是归一权重阈值,不是句子数量或绝对出现次数。 详见词频摘要通过句子累计分数抽取。
去停用后无词时max(freq.values())无定义;Python3遍历freq.keys同时删键会出错。过滤后有分数的句子可能少于n,仅断言n≤原句数并不保证返回n句;结果按分数排列还可能破坏原文叙述顺序。若要连贯摘要,需要保留原句位置并另定排序与冗余策略,不能只看TopN操作成功。 详见摘要边界需要处理空集和顺序。
问答可分事实/关系抽取、问题理解和答案生成,知识库内容重要,但检索、消歧、推理及答案表达也会影响正确性。构造句法树或只留关键词不会自动得到答案。原片段只是输入、lower和去停用词,且ques/question混用;集合差还丢失词序与重复,可能丢否定和关系。没有执行检索、建立知识库或产生被验证答案。 详见问答需要把证据连接到问题。
原书依据 · 19 处
- 第8章 信息检索:访问信息 8.1 信息检索简介 · 查看原书依据
- 第8章 信息检索:访问信息 8.1 信息检索简介 · 查看原书依据
- 第8章 信息检索:访问信息 8.1.1 停止词删除 · 查看原书依据
- 第8章 信息检索:访问信息 8.1.2 使用向量空间模型进行信息检索 · 查看原书依据
- 第8章 信息检索:访问信息 8.1.2 使用向量空间模型进行信息检索 · 查看原书依据
- 第8章 信息检索:访问信息 8.1.2 使用向量空间模型进行信息检索 · 查看原书依据
- 第8章 信息检索:访问信息 8.1.2 使用向量空间模型进行信息检索 · 查看原书依据
- 第8章 信息检索:访问信息 8.1.2 使用向量空间模型进行信息检索 · 查看原书依据
- 第8章 信息检索:访问信息 8.1.2 使用向量空间模型进行信息检索 · 查看原书依据
- 第8章 信息检索:访问信息 8.2 向量空间评分及查询操作符关联 · 查看原书依据
- 第8章 信息检索:访问信息 8.2 向量空间评分及查询操作符关联 · 查看原书依据
- 第8章 信息检索:访问信息 8.2 向量空间评分及查询操作符关联 · 查看原书依据
- 第8章 信息检索:访问信息 8.2 向量空间评分及查询操作符关联 · 查看原书依据
- 第8章 信息检索:访问信息 8.2 向量空间评分及查询操作符关联 · 查看原书依据
- 第8章 信息检索:访问信息 8.2 向量空间评分及查询操作符关联 · 查看原书依据
- 第8章 信息检索:访问信息 8.3 使用隐性语义索引开发IR系统 · 查看原书依据
- 第8章 信息检索:访问信息 8.4 文本摘要 · 查看原书依据
- 第8章 信息检索:访问信息 8.4 文本摘要 · 查看原书依据
- 第8章 信息检索:访问信息 8.5 问答系统 · 查看原书依据
精通Python自然语言处理 · 第9章 语篇分析:理解才是可信的
单句表示不足以处理跨句指称时,语篇表示结构把已经引入的对象与条件放到可延续的上下文中。后句代词可以提出与前文对象的关联,但候选集合并不意味着系统已自动选中唯一指代。人工构造DRS有助解释结构边界,省略的时间、地点或事件细节不会因图形画出而自动补齐。
DRS把已引入对象放在refs,把关于它们的条件放在conds;第二句可复用前句对象来表达He与John的关系。线性形式([x],[John(x),Went(x)])是结构化输入,不是从任意自然语言自动抽取的结果;它还省略了原句club、时间等细节。模型只表达已编码部分,不能从绘图成功推出完整理解或所述事件真实发生。 详见语篇表示积累指称对象与条件。
普通DRS的对象在转成FOL时常成为存在量词;嵌在蕴含前件的学生对象可对应全称约束,后件书对象仍在其内存在。all x.(student(x)→exists y.(book(y)&read(x,y)))说每个学生可读不同书,不是存在一本书被所有学生读。DRS条件也可含嵌套蕴含等复杂结构,不能一概只当原子公式。 详见嵌套条件改变量词作用域。
用+可组合两个DRS,simplify把可合并的对象与条件整理到一起;新对象应避免变量名碰撞,而同一对象的复用需要有意义的绑定。John与Sam各eats例只把两组条件并置,不会自动发现两人是同一人或判断事实相容。fol转换与draw展示也不是推理器,不会单靠合并替你证明逻辑或现实正确。 详见语篇合并要保持变量身份清楚。
例中resolve_anaphora把PRO(u)变成u=[x,y,z],返回多个可访问候选,不是已经确定u必等于ram的x。food与coffee也进入候选,说明还缺语义类别、生命性或上下文筛选;调用名“resolve”不能替代观察实际返回。规则只能使用已编码对象与可达范围,未提供的常识不会自动补齐。 详见候选先行词列表不是唯一消解。
自由变量与量词或lambda绑定变量不同,替换时不能把新表达式里的自由变量意外捕获。replace的replace_bound决定是否触及绑定变量,alpha转换用于避免名字冲突;normalize处理命名形式,simplify按表达式规则化简。它们不自动修正不合语义的条件,也不能把variables/free/constants几个查询一律理解成“所有待替换项”。 详见替换变量要尊重绑定作用域。
原图9-3展示DRT表达式家族复用逻辑操作,又提供get_refs、fol等语篇接口。当前可核对的DRS同时继承DrtExpression和Expression:前者组织语篇构造与消解入口,后者给逻辑表达式行为;不是整个模块互相继承。图只画这项已核对的子集,出版图中的AbstractDrs/ConcatenationDRS旧名称不能作为当前完整API。 详见语篇对象复用逻辑与语篇两套行为。
中心理论把参与者注意焦点、目的以及语篇结构联系起来,先按适当语篇单元考察哪些对象持续被关注,再分析表达如何衔接。它可为指代候选的优先考虑提供方向,但本节没有给候选排序与中心转移的完整算法。不能据“关注”一词就机械选最近名词,也不把它宣称为所有语料注释必须采用的第一步。 详见注意焦点有助于解释局部连贯。
回指通过前文对象解释代词、有定描述或one等替代表达;预指则先出现表达,再由后文说明对象,如his先于Sam。必须结合语境和可访问范围,词面最近或同一语法位置不保证同指。关系还可能是由前文推得的对象或关系,而不是找到完全相同字符串;书中例句为解释,不是当前系统已正确识别的实测。 详见指代关系可能向前也可能向后。
书中扩展先按绑定、局部/中级/全局纳入等优先级生成操作,复制当前表示产生候选,再递归处理剩余操作并按需检查可接纳性。分支失败应换候选,成功记录仍依该策略的继续/停止规则,不能据流程图认定枚举了所有语义读法。不同readings需要隔离状态,副本存在也不证明推理条件充分或答案唯一。 详见消解搜索要区分候选与接纳。
历史扩展用AbstractDrs.resolve(verbose=False)协调,具体表达式覆写readings(trail)与deepcopy(operations),使DRS、变量、应用、布尔等节点参与候选生成与复制。继承是分派机制,不代表每个节点都能独立完成通用AR。原文未给扩展模块明确名称、源码或运行环境,这张图仅记录书中设计,不宣称标准NLTK存在同一套可调用API。 详见扩展接口要求节点给出候选读法。
历史扩展以PresuppositionDRS从上下文DRS列表找可能绑定,is_possible_binding筛匹配触发特征的一元谓词,再为代词、专名、有定描述提供不同候选读法。触发分类与先行词选择是两步,不是所有一元谓词都自动同指。NewInfoDRS与预设分支在图中分开;这些是原书设计,当前可用性和完整语义检查未验证。 详见预设触发与绑定候选需要分工。
图158将个体、事件、状态、时间及话语时间与常量/特征/专名区分,图160将一般应用、事件查找和时间应用分开。类型不同可承载不同候选操作,但仅有继承图未说明具体语义约束或完整推理方法;不能从类名就保证时间一致或真实事件检测。以下只画书中变量分支关系,应用和布尔分支另作已读类型登记,均非当前标准接口承诺。 详见语义扩展按变量与事件分支建模。
原书依据 · 12 处
- 第9章 语篇分析:理解才是可信的 9.1 语篇分析简介 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1 语篇分析简介 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1 语篇分析简介 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1 语篇分析简介 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1 语篇分析简介 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1 语篇分析简介 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1.1 使用中心理论执行语篇分析 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1.2 指代消解 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1.2 指代消解 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1.2 指代消解 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1.2 指代消解 · 查看原书依据
- 第9章 语篇分析:理解才是可信的 9.1.2 指代消解 · 查看原书依据
精通Python自然语言处理 · 第10章 NLP系统评估:性能分析
评估把任务定义、参考标注、数据划分、预测和指标联系起来。训练集分数观察已见数据拟合,独立测试更接近未见样本表现;分词、标签、完整块、依存边与整句结构又有不同匹配单位。本章回到前面所有任务,强调先核对接口输入和计数口径,再讨论改进;书中打印的分数不构成本机复现实验。
金标准是按任务规范人工标注、用于比较输出的参考,不是摆脱人工判断或永不出错的事实。要说明标记集、边界、领域和一致性处理,再在未参与训练的数据上评估;不同可接受答案也需约定。构建成本高使早期错误分析更有价值,但“与某个人相同”不能单独代表系统在所有使用场景正确。 详见金标准需要明确标注与适用范围。
一元器在训练过的全部Brown news上评估约93.49%,改成前80%训练、后20%测试约80.28%,两者回答记忆拟合与未见样本表现的不同问题。切分仍需符合来源/时间等任务条件,单个划分不证明稳定最优。这些是原书报告,未在本机复现;不能把第一组高分用作生产预期。 详见训练集得分不能代替泛化评估。
tag需要未标注token列表,原bigram示例把(word,gold_tag)元组作为token传入,词表键形状不匹配,因而出现((word,tag),None)。这种None不能证明句子所有词都未知或模型完全无能。evaluate的标准接口会按金标生成未标注输入,两个调用范围不同;要先核对输入契约再解释模型失败。 详见标注器输入应去掉参考标签。
ChunkScore可比较参考块与预测块,分别报告IOB标签准确率和完整块P/R/F;一个短句100%只说明该例匹配。原例同时构造cp与chunk_parser,实际调用cp,不能把分数归给未调用的新规则。训练集上统计好看的数字仍需独立测试;简单规则覆盖高也不等于其他领域或复杂边界准确。 详见单句全对不足以证明语块泛化。
从词尾1—3字符挑常见片段,再记录endswith布尔特征,可让决策树利用词形线索;常见项可能是标点或整个短词,不必是真正后缀。词表选择应基于训练范围,原文取整个Brown后再划分news会改变独立评估设定。变量suffix_freqdist/suffix_fdist和方法名错配也未形成可直接运行程序,0.627是原书样本。 详见后缀特征是数据线索而非语素证明。
RegexpTagger按规则顺序选择,具体词尾规则应先于兜底.*;简单s结尾规则会把was或this误作复数,体现词形线索的局限。数字模式中未转义的点还可匹配任意字符,不能当小数点限定。需用代表性正反例核对覆盖与误报,再在目标标签集评估;原样约20.3%不证明增加正则规则必然改善。 详见正则标注的优先级影响结果。
查找标注器给高频词保存最常见标签,规模变大可覆盖更多已见词,但同时增加存储与查表数据,不保证解决上下文歧义。原performance又在建立频率表的同类语料上评估,模型大小曲线主要反映此设置的覆盖拟合;应使用独立数据并保持回退策略一致,不能据曲线就选生产词表大小。 详见词表规模曲线要区分覆盖与测试。
展示achievement→achiev只说明一个算法在该输入的输出,未给期望词干与比较规则,不能称完整评估。词干允许非词典形式,不能拿词形还原结果直接当所有stemmer的金标。形态分析还可能需评估词元与语法特征的不同组合;必须先明确任务接受哪些输出,再汇总错误和覆盖。 详见词干器评估需要目标答案集合。
ConseNPChunker负责把块树训练样本转成((word,POS),IOB)序列,并把预测IOB转回树;ConseNPChunkTagger逐token抽特征、调用Maxent分类器。对象组合把树格式与标签预测分开,不是两个类彼此继承。训练依赖外部megam与正确函数/数据,书中类名和片段标记有错,不能只建对象就称本机训练成功。 详见分块器连接输入与块标签。
训练标签器时history写入金标,推断时写入自身预测;若特征使用过去IOB标签,就存在错误传播与两阶段历史分布差异。此章列出的pos、previpos、word等特征实际主要取当前/相邻输入POS,尚未读取history,不能因此宣称那些改进来自预测标签历史。变量名字像“前标签”也要检查它是POS输入还是已预测块标签。 详见历史特征要核对训练推断差异。
POS、前后POS、当前词、相邻POS组合和自上个DT以来的标签集合,表达不同上下文线索。tags_since_dt用集合去重并排序,丢掉次数和顺序;不等于完整历史序列。83.2到89.8等F值是原书同类设置的报告,需保持数据与训练条件再归因,不能据特征更多保证泛化更好或任意任务都适用。 详见增加特征要保持比较条件一致。
LAS检查依存词的句法中心与关系标签是否同时正确;整句标记精确匹配要求整棵目标结构满足约定。成分解析P/R则可比较带标签跨度,它们不是同一单位。金标准POS可用于控制上游错误,但会改变评估设定,应区分金标输入与真实预测流水线。最高单指标不自动代表最适用的解析器。 详见解析指标先明确结构匹配单位。
相同文档、查询与相关性标注下比较P/R/F才能分析检索质量,还需看延迟、资源、查询辅助和用户能否找到所需内容。更高相关性分数不意味着更快、更省或更易用,也不应靠更换文档集来虚构提升。资源与用户指标各自回答具体目标,不能无依据合成唯一系统优劣结论。 详见检索评估还包括成本与使用效果。
TP/FP/FN/TN应按既定相关性真值与预测组合计数;P分母含预测正项、R分母含真实正项。示范:1000文档仅10篇相关,全部判无关可有99%准确率,却漏掉全部10篇,召回为0,精确率分母还为空。这是规则演算,不是测试结果,说明大量TN不能证明找到了所需信息;业务应按漏检与误报目标选指标。 详见类别不均衡时准确率会误导。
interval_distance返回数值差的平方,可惩罚较大偏差,但不满足通常度量距离的三角不等式。示范0、1、2:d(0,2)=4而d(0,1)+d(1,2)=2,故不能因模块名含distance就当严格度量。非数字输入的异常处理也只是打印,不能解释为有效零距离;用于评估前先明确返回数值含义。 详见平方差不必满足距离三角性质。
presence(label)在两集合对该标签“同有或同无”时返回1,不同返回0,实际是该标签一致指示,不能直接当相同为0的距离。fractional_presence还按集合长度分配单标签权重,空集合会触及除零,应另定语义。它们只看指定标签,对其他标签差异未必敏感,不是任意整个集合相等性的证明。 详见标签存在函数的方向要辨明。
custom_distance把标签对放进frozenset作为键,因此查表对输入顺序对称;重复同一对会由后行覆盖,缺失对会查不到。文件里随意填的数不自动满足非负、自同为0或三角性质,应按应用约定验证。frozenset还使自配对只含一项,表中要明确定义;查表函数本身没有证明输入是合法度量。 详见自定义距离表需要验证约束。
Tree的相等比较完整嵌套表示,修改子节点标签或交换子树会改变结构;len(tree)只给直接子节点数,不能作树中词或所有节点数。完全相等是严格判定,与局部跨度、依存边或标签指标不同。原例主要演示创建、索引和变更树,没有给独立测试集的结构得分,不能把操作成功当解析器已通过评估。 详见树相等与局部结构得分不同。
原书依据 · 18 处
- 第10章 NLP系统评估:性能分析 10.1 NLP系统评估要点 · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.1 NLP工具的评估(词性标注器、词干提取器及形态分析器) · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.1.2 使用黄金数据执行解析器评估 · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.2 IR系统的评估 · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.3 错误识别指标 · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.4 基于词汇搭配的指标 · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.4 基于词汇搭配的指标 · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.4 基于词汇搭配的指标 · 查看原书依据
- 第10章 NLP系统评估:性能分析 10.5 基于句法匹配的指标 · 查看原书依据
精通Python自然语言处理 · 欢迎来到异步社区!
本项是异步社区的出版与运营介绍,涵盖图书购买、随书资源、作译者互动、勘误、写作和会议信息。它提供查找配套资源的线索,没有展开新的编程机制,故逐单元记录零卡去向。上线时间、规模、积分及折扣均属于出版时宣传,不当作当前服务承诺;本次没有注册、购书、下载附加资源、扫描加入社群或发送消息。
跨章综合
跨章综合的第一条联系是“身份与表示必须沿边界保留”。第一册中的str/bytes、参数协议和包元数据,第二册的请求、Item与作业ID,第三册的token、标签和实体边界,处理的都是不同对象。输入接口成功接收了某种Python对象,不表示接收的是任务所需的对象;例如带金标的元组不能直接当未标注词输入,也不能把只有URL的分发当作保存了完整请求状态。
第二条联系是“吞吐收益依赖等待和资源的位置”。线程、进程、本地扩展和事件循环分别改变执行、隔离或等待方式。Scrapy的Deferred链把网络等待接到后续处理,但一个阻塞回调仍会挡住反应器,异步写入也可能把压力移到连接池和外部服务。应按同一种工作对象计算速率、逗留时间和在途数量,再根据测量选方案;把任务完成信号与最终数据确认分开。
第三条联系是“测量有目标、单位和样本边界”。程序性能基准需要代表性负载,抓取性能需要明确请求或记录口径,NLP评估需要独立数据和适合任务的匹配单位。更快不代表字段正确,更高训练分数不代表泛化,更高准确率在稀有正例时可能仍漏掉所有目标。比较前固定目标和条件,才知道观察到的差异说明了什么。
第四条联系是“历史实现与可复用思想要分开携带”。本书涉及Python3.5、Scrapy1.0与NLTK3.0等环境。对象契约、故障边界和数据独立等问题仍值得追问,具体命令、接口、部署服务和示例代码则需按目标版本重新核对。书中类名、变量、公式和标签有明确错配的地方已在对应讲解中注明;这些说明不声称完成了所有运行验证。
发散与实践
以下是读者延伸的研究计划,不作为作者已验证的结果。两份计划已附公开源码首轮映射与固定版本入口,完整深读和实验尚未执行。
- 沿管道追踪异步结果:把Deferred与协程适配、Item成功/失败信号连成可定位的链路。
- 沿标注评估核对数据边界:把金标、去标签输入、预测与匹配计数分开,核对独立数据责任。