此笔记位置已失效,请从目录继续阅读。
全书导读
算法是一套把合法输入变成规定输出的有限计算步骤。本书围绕三个彼此联系的问题组织:算法算得对不对,为什么对,以及付出了多少时间和空间。正确性给出答案的可靠依据,复杂度让不同方案可以比较;数据结构与计算模型则规定这些比较成立的条件。
这份笔记按前言、八部分导言、35章和数学附录的原书顺序展开。每章先解释对象与概念之间的关系,再分节保留具体机制、证明思路与适用边界。随文卡片链接供独立查阅和继续关联,本文本身包含理解各章所需的说明。习题或章末引出的扩展问题仍保留其边界,不把它们都当作已完整展开的算法。
全书主线
先把计算任务表述成可核验的输入输出关系,再通过不变式、归纳和数学工具证明具体算法。排序和基本结构让这些工具落实到可操作的例子;分治、动态规划、贪心和摊还分析把局部技巧提升为可复用方法。图算法将它们组合成路径、连通、流量和分配的解法。专题篇改变模型或问题领域,复杂性与近似则说明哪些目标应当调整。
# 如何设计、证明并分析算法
## 分析基础
- 问题模型与正确性
- 渐近增长与递归式
- 概率分析与随机化
## 排序与数据组织
- 比较下界与线性排序条件
- 顺序统计量
- 基本结构与平衡搜索树
- 结构扩张与外存索引
- 不相交集合
## 设计与分析方法
- 分治与动态规划
- 贪心选择与交换论证
- 摊还分析
## 图问题
- 遍历与连通性
- 最小生成树与最短路径
- 网络流与二分图匹配
## 专题与效率边界
- 并行和在线模型
- 矩阵、线性规划与多项式变换
- 数论、字符串与机器学习
- 难解性、归约与近似
## 数学支持
- 求和与离散结构
- 计数、概率与矩阵
图中分支表示主题归属,不表示各算法构成一条必须依次执行的流水线。数学附录为这些分支提供公共语言。
前言
本书把算法看作可以描述、证明和分析的计算过程。读者需要的不是记住某种语言的代码,而是能解释输入、输出、正确性和代价。伪代码因此集中表现计算步骤,工程中的异常处理和系统约束仍须另行考虑;后文各章都沿用这一分工。
本节在全书中的作用:说明本书面向学生、教师与专业读者的用途、先修知识和论述范围,并交代第四版的组织方式。
展开顺序:由算法在现实系统中的作用进入本书的设计、证明与运行时间分析目标;随后说明教学、自学和工程使用边界,最后概述按设计技巧与问题领域混合组织的第四版内容。
# 前言
## 读者与使用边界
- 算法影响现实决策与系统
- 本书讲设计、证明与效率
- 教师、学生与专业读者的使用方式
## 编排与表达
- 伪代码强调算法本质而非工程异常
- 第四版按技巧和问题领域混合编排
伪代码不覆盖工程异常
伪代码优先展示算法的核心步骤,通常省略依赖运行环境的异常处理等工程细节。
把书中伪代码移植为程序时,仍须补上输入边界、错误处理和资源约束;不能把算法描述直接当作可交付实现。
独立卡片:伪代码不覆盖工程异常。
原书依据 · 1 处
第一部分 基础知识
基础篇建立三种共同语言:用伪代码描述动作,用不变式和归纳论证正确性,用输入规模与渐近记号讨论代价。分治展示如何从子问题构造解,概率工具则说明随机性从何而来。它们是后面比较具体算法所需的基础,而非独立的术语清单。
本节在全书中的作用:为后续各部分建立算法描述、正确性与效率分析的入门框架,并说明第一部分五章及数学附录如何使用。
展开顺序:先由算法在计算中的作用与排序例子引入伪代码和渐近运行时间,再深化分治与递归式分析,最后区分依赖输入分布的概率分析与主动使用随机数的随机算法;附录作为数学参考。
# 第一部分 基础知识
## 算法描述与分析
- 算法在计算中的作用
- 排序例子与伪代码
- 渐近记号描述增长
## 设计与随机性
- 分治与递归式分析
- 概率分析区分输入分布与算法随机性
## 数学支持
- 数学附录提供参考
随机算法主动引入随机性
随机算法把随机数纳入计算步骤,使相同输入也可能走出不同执行路径。
它能打散特定坏输入对确定性策略的持续打击,也可能用可控错误率换取效率;评价时须区分运行时间随机与答案可能出错。
独立卡片:随机算法主动引入随机性。
原书依据 · 1 处
第1章 算法在计算中的作用
计算问题规定哪些输入合法、什么输出算正确;一个实例就是某次给定的具体输入。算法提供把实例转成所需输出的有限步骤。数据结构决定信息如何存放及访问,因此同一问题可能因算法和表示不同而具有很不同的代价。先澄清问题,再讨论效率,才能避免把快速算出错误结果当成成功。
本节在全书中的作用:界定算法、问题实例与正确性的基本含义,并论证算法效率为何是计算技术的核心。
展开顺序:先用排序说明问题的输入输出关系和对所有实例的正确性,再通过多种应用引出数据结构、设计技巧与难解问题的取舍;随后比较插入排序与归并排序的增长率,说明算法选择可压过硬件优势,并指出并行与在线输入等不同计算模型。
# 第1章 算法在计算中的作用
## 问题与正确性
- 计算问题规定输入输出
- 算法求解每个问题实例
- 正确性要求停机且输出正确
## 算法选择与应用
- 数据结构与设计技巧支持应用
- 难解问题考虑近似等路径
- 增长率决定大规模效率
- 算法贯穿硬件、网络与新计算模型
算法连接输入与输出
算法是在有限步骤内把输入变成输出的明确计算过程;问题说明的是输入与目标输出之间的关系,算法说明如何对每个合法实例实现这种关系。
评价实现前,应先写清输入约束与输出条件。
独立卡片:算法连接输入与输出。
原书依据 · 1 处
正确性覆盖全部实例
正确性要求算法对每个合法问题实例都在有限时间内终止并给出符合问题定义的答案。
只在常见样例上成功不足以证明正确;若允许概率错误,必须另行声明错误率及其控制条件。
独立卡片:正确性覆盖全部实例。
原书依据 · 1 处
问题实例是具体输入
计算问题规定一类输入及其目标关系;问题实例是其中一个满足约束的具体输入。
排序问题可以有任意长度的序列,而一次给定的数字序列只是一个实例。
把实例误当问题,容易只为样例设计解法。
独立卡片:问题实例是具体输入。
原书依据 · 1 处
数据结构服务访问修改
数据结构组织数据以支持读取和修改;选择它时要看操作分布,而非只看能否存下数据。
不同结构的访问、更新与空间代价不同,没有一种结构对所有用途都最优。
独立卡片:数据结构服务访问修改。
原书依据 · 1 处
NP完全先看判定版
严格说,NP 完全性作用于答案为“是/否”的判定问题。
旅行商的最短路线优化版与“是否存在总长不超过阈值的路线”判定版有关,但不能在论证中把两者直接当作同一种形式。
独立卡片:NP完全先看判定版。
原书依据 · 1 处
近似算法换取可行效率
当精确最优解暂无已知高效算法时,近似算法用可接受的解质量换取可执行的计算成本。
选择它前要明确“好解”的衡量标准、可接受偏差和问题假设;近似不等于无条件正确。
独立卡片:近似算法换取可行效率。
原书依据 · 1 处
增长率可压过硬件优势
比较算法不能只看单次运行速度。
低阶常数可能让平方时间算法在小输入上更快,但输入规模增长后,n log n 与 n² 的增长率差会压过硬件和编译器优势;选择要依据目标规模与实测交叉点。
独立卡片:增长率可压过硬件优势。
原书依据 · 1 处
第2章 算法入门
插入排序每次把一个元素放进已经排好序的前缀;循环不变式描述每轮开始时始终成立的性质,并通过初始化、保持和终止来证明结果。归并排序换一种构造:先排序两个较小区间,再线性合并。两个例子把描述、证明和计数连起来,也为下一章的渐近语言和第4章的递归分析提供具体对象。
本节在全书中的作用:以插入排序和归并排序建立本书贯穿使用的算法描述、正确性证明、运行时间分析与分治设计框架。
展开顺序:先用有序前缀解释插入排序,并以初始化、保持、终止三步证明循环不变式;再在 RAM 模型下按输入规模和执行次数分析最好、最坏及平均情况,用增长阶比较算法;最后由分治的分解、递归求解、合并构造归并排序,并用递归式与递归树说明其运行时间。
# 第2章 算法入门
## 描述与证明
- 插入排序维护有序前缀
- 循环不变式证明正确性
- 明确伪代码与RAM模型
## 效率分析
- 按输入规模计算运行时间
- 用增长阶比较不同情形
## 分治设计
- 分治构造归并排序
- 递归式与递归树分析代价
插入排序维护有序前缀
插入排序每轮取出当前位置的键,向右移动有序前缀中更大的键,再把它放入空位。
比较条件为“大于”时,相等的键不会被越过。
实现记录排序时,移动的应是键连同卫星数据,而非只移动键。
独立卡片:插入排序维护有序前缀。
原书依据 · 1 处
循环不变式连接终止条件与结果
证明循环正确性要依次检查初始化、保持和终止。
插入排序的不变式是每轮开始时前缀 A[1:i−1] 恰由原来这些元素按序组成;循环在 i=n+1 结束,代入不变式即可得整个 A[1:n] 已排序且没有丢失元素。
独立卡片:循环不变式连接终止条件与结果。
原书依据 · 1 处
伪代码的索引与引用语义须先核对
把书中伪代码改写成程序前,先核对数组起点、切片终点和对象传参语义。
本书的 A[i:j] 包含 j;对象参数复制的是引用,重绑形参不影响调用者,修改共享对象的属性或数组元素则会影响调用者。
独立卡片:伪代码的索引与引用语义须先核对。
原书依据 · 1 处
RAM模型的边界
RAM 模型把顺序执行的常见指令和数组访问视为常数时间,但不能把排序等复杂操作伪装成一条指令。
字长也须有界,通常随输入规模按 O(log n) 位计;模型未计缓存和虚拟内存,落地性能仍应测量。
独立卡片:RAM模型的边界。
原书依据 · 1 处
输入规模要按问题对象定义
分析时间复杂度前先声明输入规模:排序通常取元素数,整数乘法需考虑二进制位数,图算法常同时使用顶点数和边数。
同一规模的不同输入仍可能使运行时间不同,因此还要注明分析的是最坏、最好还是平均情况。
独立卡片:输入规模要按问题对象定义。
原书依据 · 1 处
插入排序的耗时取决于初始次序
插入排序对已排序输入,每轮只检验一次,最好情况为 Θ(n);
对逆序输入,第 i 轮须扫描此前全部 i−1 个元素,最坏情况为 Θ(n²)。
分析循环时还要计入最后一次使条件为假的测试。
独立卡片:插入排序的耗时取决于初始次序。
原书依据 · 1 处
最坏情况与平均情况回答不同问题
最坏情况给出同规模输入的耗时上界,适合期限约束;平均情况则必须说明输入分布。
插入排序在随机次序下平均仍为二次量级。
不能把“所有输入等可能”默认当作实际业务分布。
独立卡片:最坏情况与平均情况回答不同问题。
原书依据 · 1 处
增长阶比较需要留意小输入
Θ 记号关注大输入下的增长阶,忽略常数系数和低阶项。
Θ(n²) 最终会比 Θ(n³) 增长慢,但在小输入上,常数和低阶项可能让前者实际更慢;选实现时须结合预期规模与测量。
独立卡片:增长阶比较需要留意小输入。
原书依据 · 1 处
分治递归须写清分解求解合并
分治先把问题拆成更小的同类子问题,递归求解,再合并答案,并为足够小的输入设直接求解的基本情况。
归并排序以单元素为基本情况,递归排好左右半区,再把两个有序段归并。
独立卡片:分治递归须写清分解求解合并。
原书依据 · 1 处
归并过程线性扫描两个有序段
归并两个有序段时,只比较各段尚未取出的首元素,每次向结果写入一个值;一段耗尽后复制另一段余项。
每个元素恰写回一次,因此归并用 Θ(n) 时间;相等时先取左段,可保持跨段相等元素的原次序。
独立卡片:归并过程线性扫描两个有序段。
原书依据 · 1 处
归并排序递归树每层成本相同
归并排序满足 T(n)=2T(n/2)+Θ(n)。在二的幂规模下,递归树每往下一层,节点数翻倍、各节点处理量减半,整层仍耗 Θ(n);约有 lg n 层,总时间 Θ(n lg n)。
非二的幂规模须核对取整项。
独立卡片:归并排序递归树每层成本相同。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
霍纳法按嵌套形式求多项式值
对多项式 a₀+a₁x+⋯+aₙxⁿ,霍纳法把它改写成 a₀+x(a₁+x(⋯+xaₙ))。从最高次系数开始令累加量 p=0,再按 i=n,n−1,…,0 执行 p←aᵢ+x·p;每个系数只参与一次乘加,避免分别重算各幂次。
补充教学演示:计算 2+3x+4x² 在 x=5 的值,依次得到 p=4、p=3+5×4=23、p=2+5×23=117。
独立卡片:霍纳法按嵌套形式求多项式值。
原书依据 · 1 处
原书依据 · 1 处
第3章 运行时间的刻画
运行时间函数把输入规模映射为成本。O表示渐近上界,Ω表示下界,Θ同时约束两侧;这些记号必须附着在明确的成本函数和输入情形上。它们忽略固定常数与低阶项,便于比较大规模增长,却不直接预测某台机器的小样本耗时。后续递归式和概率分析都使用这套语言陈述保证。
本节在全书中的作用:把上一章的非正式增长阶分析建立在精确的渐近记号和常见函数性质上,为后续复杂度证明提供共同语言。
展开顺序:先借插入排序说明 O 上界、Ω 下界与 Θ 紧界的用途,再给出常数和阈值形式定义并区分最坏、最好等输入情形;随后解释渐近式中的集合语义、小 o 与小 ω 的严格关系及不可比较函数,最后整理多项式、指数、对数、阶乘、迭代函数等常见增长阶。
# 第3章 运行时间的刻画
## 渐近界的含义
- 关注输入增大时的增长阶
- O上界、Ω下界、Θ紧界
- 用常数与阈值形式定义
## 情形与记号边界
- 限定最坏、最好等输入情形
- 解释渐近等式与严格界
- 比较函数并识别不可比较情形
## 常见增长函数
- 整理常见函数的增长层次
渐近上下界与紧界
O(g) 表示增长率的渐近上界,Ω(g) 是下界;同一函数同时属于两者才可称 Θ(g)。
证明时须找常数和阈值 n₀,使不等式对所有 n≥n₀ 成立。
O(n⁴) 可以描述 n³ 函数,但不是其紧界。
独立卡片:渐近上下界与紧界。
原书依据 · 1 处
最坏情况的下界只需构造困难输入
证明算法“最坏情况”有 Ω(n²) 下界,只需对每个足够大的 n 找到至少一个耗时达到 cn² 的输入,无须证明所有输入都这么慢。
插入排序把最大的一批值置于最前面,迫使它们逐格跨越中间区,即构造了二次下界。
独立卡片:最坏情况的下界只需构造困难输入。
原书依据 · 1 处
复杂度结论必须指明输入情形
“插入排序最坏情况为 Θ(n²)”只约束各规模最慢的输入;省掉“最坏情况”而说“运行时间为 Θ(n²)”会误指所有输入,因为最好情况是 Θ(n)。
若要不分输入给出上界,可说运行时间为 O(n²)。
独立卡片:复杂度结论必须指明输入情形。
原书依据 · 1 处
小o与小ω的严格界
O(g) 允许同阶,o(g) 要求 f 相对 g 渐近可忽略:每个正倍数 c·g 最终都大于 f。
对应地,ω(g) 表示 f 最终超过 g 的任意正倍数。
故 2n=o(n²),但 2n² 不是 o(n²)。
独立卡片:小o与小ω的严格界。
原书依据 · 1 处
渐近式中的等号不是普通等号
写 f(n)=O(g(n)) 时,等号通常表示集合成员关系;写 2n²+Θ(n) 时,Θ(n) 代表一个未命名的函数。
链式渐近等式是逐步丢弃细节,不能按普通等式任意反向替换。
独立卡片:渐近式中的等号不是普通等号。
原书依据 · 1 处
渐近比较不一定能排序任意两函数
渐近比较具有传递性,O 与 Ω 可互换方向;但它没有实数比较的三歧性。
若两函数的相对增长反复震荡,可能既无 f=O(g),也无 f=Ω(g),不能强行给它们排一个固定增长顺序。
独立卡片:渐近比较不一定能排序任意两函数。
原书依据 · 1 处
常见增长阶的层次
对固定正幂与固定大于 1 的指数底数,多对数增长慢于任意正幂多项式,而多项式增长慢于指数;阶乘又有自己的更快增长界。
比较算法时先确认指数底数和幂次是否真为常数,再用这些层次。
独立卡片:常见增长阶的层次。
原书依据 · 1 处
对数底数变换只改变常数
固定且大于1的对数底数互换,只差一个常数倍,因此渐近复杂度常省略底数。
本书的lg n指以2为底;换底只能消去常数因子,不能把lg n、(lg n)^k或lg(lg n)视作同一增长阶。
独立卡片:对数底数变换只改变常数。
原书依据 · 1 处
软大O忽略多项式对数因子
软大O记号允许在O(g(n))的界上额外乘以log^k n,其中k为常数;它只隐藏多项式对数因子,不能忽略任意多项式因子。
不同文献可能把对数作用于g(n),须核对定义。
独立卡片:软大O忽略多项式对数因子。
原书依据 · 1 处
迭代函数计数达到阈值的次数
先定义 f^(0)(n)=n,f^(i)(n) 表示从 n 开始连续应用 f 共 i 次。给定阈值 c,迭代函数 f_c^*(n) 是满足 f^(i)(n)≤c 的最小非负整数 i;如果不存在这样的 i,结果未定义。
补充教学演示:取 f(n)=n/2、c=1、n=8,依次得到 8→4→2→1,所以 f_1^*(8)=3。这个记号计数的是“达到阈值要迭代几次”,不是第 i 次迭代后的函数值。
独立卡片:迭代函数计数达到阈值的次数。
原书依据 · 1 处
斐波那契数指数增长
斐波那契数以F₀=0、F₁=1起始,后项是前两项之和。其闭式的主项为φⁱ/√5,另一项绝对值随i衰减,所以Fᵢ随i指数增长(i≥1)。
递推只做加法,不意味着数值本身只按线性速度增长。
独立卡片:斐波那契数指数增长。
原书依据 · 1 处
迭代对数增长极慢
lg* n 是从正数n开始反复取以2为底的对数,直到结果≤1所需的最少次数;lg*2=1、lg*16=3、lg*65536=4。
它增长极慢,却不是渐近意义的常数;比较复杂度时须区分“实际规模下很小”和“数学上有界”。
独立卡片:迭代对数增长极慢。
原书依据 · 1 处
第4章 分治策略
分治把问题拆小、递归求解,再合并结果;基例让递归能够终止。递归式把各子问题成本与本层成本写在一起。矩阵乘法说明改变分解方式可以减少乘法次数;代入法、递归树和主定理则解释这种改变怎样影响总成本。选求解工具前,必须先检查子问题规模和附加函数是否满足其条件。
本节在全书中的作用:用矩阵乘法展示分治设计如何改变复杂度,并系统建立递归式的求解工具及其适用边界。
展开顺序:先说明分解、递归求解与合并及有限终止条件,再比较朴素矩阵乘法、八路矩阵分治与七路 Strassen 算法;随后以代入法、递归树和主定理分析递归成本,最后处理不同规模子问题、取整与扰动的条件,并介绍 Akra–Bazzi 方法。
# 第4章 分治策略
## 分治建模
- 分治:缩小问题并在基例终止
- 用递归式描述运行时间
- 矩阵乘法比较三重循环、八路与七路分治
## 递归式求解
- 代入法猜测并归纳证明
- 递归树汇总各层成本
- 主定理按驱动函数选择情形
## 适用边界
- 不同规模、取整与Akra–Bazzi边界
分治须明确缩小与合并
分治要写清三件事:把当前实例拆成更小的同类子问题、递归求解、把子结果合成原问题答案。
基例给出终止点。只证明递归调用“变小”还不够;合并步骤的成本也须计入运行时间递归式。
独立卡片:分治须明确缩小与合并。
原书依据 · 1 处
递归式须有有限终止路径
算法运行时间递归式不仅要给小规模输入一个 Θ(1) 基例,还要保证从足够大的任意合法规模出发,每条递归路径有限步到达基例。
否则形式上可写出递归关系,也不能代表一个会结束的正确算法。
独立卡片:递归式须有有限终止路径。
原书依据 · 1 处
递归不等式只给单侧界
把递归运行时间写成“≤”只约束上界,应求 O 界;写成“≥”只约束下界,应求 Ω 界。
仅有一侧不等式不能直接宣称 Θ 界,除非再给出相匹配的另一侧证明。
独立卡片:递归不等式只给单侧界。
原书依据 · 1 处
省去取整须有适用条件
分析规模按比例缩小的递归式时,常把整数输入上的上取整、下取整去掉,改在实数上求渐近界。
这是简化记号的惯例,不是普遍等价;必须核查递归式满足相应充分条件,并保留基例与终止路径。
独立卡片:省去取整须有适用条件。
原书依据 · 1 处
主定理有递归式形状要求
主定理处理每次产生 a 个、各为原规模 1/b 的子问题,另有分解与合并代价 f(n) 的递归式。
子问题规模不等时,不能机械代入这三个参数;可先用递归树理解成本,再考虑更一般的 Akra–Bazzi 方法。
独立卡片:主定理有递归式形状要求。
原书依据 · 1 处
矩阵乘法三重循环为立方界
稠密 n×n 矩阵乘法逐个计算 n² 个输出元素,每个元素累加 n 个乘积,因此三重循环耗时 Θ(n³)。
先把输出矩阵清零只需 Θ(n²),不改变总渐近界;后续分治算法应以这个基线比较。
独立卡片:矩阵乘法三重循环为立方界。
原书依据 · 1 处
矩阵分块宜用索引视图
递归矩阵乘法只需记录子矩阵在原矩阵中的位置,就能以 Θ(1) 时间完成分块,并原地更新结果。
若复制各块,每层还要搬运 Θ(n²) 个元素。
二者在八路递归乘法中同为 Θ(n³),但实现代价不同;对递归矩阵加法,复制成本甚至会改变总复杂度。
独立卡片:矩阵分块宜用索引视图。
原书依据 · 1 处
八路矩阵分治仍为立方
把 n×n 矩阵分为四块后,每个结果块由两次子矩阵乘法累加而来,共有 8 个规模 n/2 的递归调用。索引分块和原地累加使额外工作为 Θ(1),故递归式 T(n)=8T(n/2)+Θ(1),解仍为 Θ(n³)。递归树分支数会压过单节点工作量的减少。
独立卡片:八路矩阵分治仍为立方。
原书依据 · 1 处
少一次乘法可改变指数
Strassen 用 7 次而非 8 次半规模矩阵乘法,换取常数次矩阵加减。
加减只需 Θ(n²),形成 T(n)=7T(n/2)+Θ(n²),解为 Θ(n^lg7),小于三次方。
优化重点是减少递归分支;比较时仍需考虑额外内存和常数成本。
独立卡片:少一次乘法可改变指数。
原书依据 · 1 处
斯特拉森重组七个乘积
Strassen 先以 10 个子矩阵和差构造中间量,再计算 7 个乘积,最后用 12 次加减将其组合进四个输出块。
展开每个乘积并消去交叉项,可验证四块恰等于普通矩阵乘积;右侧展开式只是正确性证明,不是实际执行的额外乘法。
独立卡片:斯特拉森重组七个乘积。
原书依据 · 1 处
代入法须猜测并归纳
代入法先猜递归式解的渐近形式,再把带具体常数的猜测代入较小规模子问题,用数学归纳法验证并确定常数。
证明 Θ 界时可分别证明 O 上界和 Ω 下界。
猜测只是起点;递归步骤与基例都必须成立。
独立卡片:代入法须猜测并归纳。
原书依据 · 1 处
归纳基例须覆盖终止区间
递归式的代入证明不能只算归纳步。若递归子问题可能落入若干常数规模,需选一个能覆盖全部终止情况的基例区间,再调大前导常数使猜测在该区间成立。
如此才能把局部不等式扩展到全部允许的 n。
独立卡片:归纳基例须覆盖终止区间。
原书依据 · 1 处
归纳假设可减低阶项
当递归式的紧上界猜测差一个低阶正项而无法闭合时,可加强归纳假设,例如由 T(n)≤cn 改为 T(n)≤cn−d。若有两个子调用,负的 d 会重复出现,抵消递归式中的常数开销;仍须另外验证基例。
独立卡片:归纳假设可减低阶项。
原书依据 · 1 处
代入证明应显式写常数
在归纳假设里只写 T(n)=O(n) 会隐藏可变的常数,使 T(n)≤cn+Θ(n) 被误当成 T(n)≤cn。
代入法应写明同一个 c、起始 n₀ 和待证的精确不等式;最后一步必须回到该不等式,不能只得到相同量级。
独立卡片:代入证明应显式写常数。
原书依据 · 1 处
递归树逐层汇总成本
递归树中每个节点代表一次子问题调用的非递归成本。
先求每层节点成本之和,再对各层及叶子求和,便可估计总成本并提出递归式解的猜测。
若画树时用了近似,应再用代入法严格验证。
独立卡片:递归树逐层汇总成本。
原书依据 · 1 处
根成本可主导递归树
对 T(n)=3T(n/4)+Θ(n²),深度 i 的非叶成本为 (3⁄16)^i·Θ(n²),逐层构成收敛等比级数;叶子成本仅 Θ(n^log₄3)。
因此根的 Θ(n²) 已给出下界,全树也为 Θ(n²)。
须把叶子单独计入,不能只看内部节点。
独立卡片:根成本可主导递归树。
原书依据 · 1 处
非均匀递归要单算叶子
对 T(n)=T(n/3)+T(2n/3)+Θ(n),树高 Θ(log n),每层内部成本至多 Θ(n)。
按完整二叉树上界估算叶子会过松;单列叶数递归 L(n)=L(n/3)+L(2n/3),得 O(n) 个叶子,故总上界 O(n log n)。
不等高递归树尤其要区分真实叶数与包络树叶数。
独立卡片:非均匀递归要单算叶子。
原书依据 · 1 处
主递归式含驱动函数
主方法处理 T(n)=aT(n/b)+f(n):a>0 表示同规模子问题数,b>1 表示规模缩小倍数;f(n) 是拆分与合并的非递归开销。
比较基准 n^log_b a 是递归叶子数量级,书中称为分水岭函数。
只有递归形状及函数条件满足时才可套用。
独立卡片:主递归式含驱动函数。
原书依据 · 1 处
主定理按分水岭分三类
对递归式 T(n)=aT(n/b)+f(n),T(n) 是规模为 n 的总成本,a≥1 是子问题数,b>1 是规模缩小倍数,f(n) 是递归调用之外的工作量。令分水岭函数 w=n^log_b a:
- 若
f(n)=O(w/n^ε),叶子主导,T(n)=Θ(w); - 若
f(n)=Θ(w log^k n)且k≥0,递归各层的代价累加后使对数因子增加一阶,T(n)=Θ(w log^(k+1)n); - 若
f(n)=Ω(wn^ε),且存在常数c<1,使足够大的n都满足正则条件a f(n/b)≤c f(n),则根主导,T(n)=Θ(f(n))。
其中 ε 必须是正常数;第一、三类都要求 f 与分水岭函数之间存在多项式级差距。
独立卡片:主定理按分水岭分三类。
原书依据 · 1 处
主定理第三类须正则
主定理第三类除要求 f(n) 比 n^log_b a 多项式级更大,还要求 af(n/b)≤cf(n),其中 c 且 n 足够大。
这确保递归到下一层的总驱动成本按固定比例下降;局部增长异常的函数即使整体较快,也可能不适用。
独立卡片:主定理第三类须正则。
原书依据 · 1 处
主定理存在适用间隙
仅有 f(n)=o(n^log_b a) 不足以应用主定理第一类;还须有多项式级差距。
例如 T(n)=2T(n/2)+n/log n,驱动项只比 n 慢一个对数因子,第一类不成立,第二类又要求 k≥0。
应改用代入法等方法。
独立卡片:主定理存在适用间隙。
原书依据 · 1 处
主递归成本分叶与内部
连续主递归式 T(n)=aT(n/b)+f(n) 的递归树第 j 层有 a^j 个规模为 n/b^j 的子问题,因此该层非递归成本为 a^j f(n/b^j)。从根层 j=0 累加到叶前一层,再加上约 n^log_b a 个叶子的常数成本,就得到“内部各层成本 + 叶子成本 Θ(n^log_b a)”的分解。
主定理三种情况本质上是在比较这两部分及内部各层的成本分布;不能只比较根层的 f(n) 与递归调用次数。
独立卡片:主递归成本分叶与内部。
原书依据 · 1 处
缩放阈值可统一递归基例
连续主定理证明先设基例阈值为 1,再对任意阈值 n₀ 定义 T′(n)=T(n₀n)、f′(n)=f(n₀n)。
常数倍缩放保持驱动函数的渐近类别和正则条件,因此可把一般基例归约到标准情形;这解释了算法分析常省略常数规模基例。
独立卡片:缩放阈值可统一递归基例。
原书依据 · 1 处
忽略取整须多项式增长
Akra–Bazzi 递归式可含不同规模子问题,但不能无条件忽略取整。
若驱动函数满足多项式增长条件,常数倍改变自变量只使函数值变化常数倍,则向上或向下取整不改变解的 Θ 界。
常见多项式乘对数函数通常满足,指数函数不满足。
独立卡片:忽略取整须多项式增长。
原书依据 · 1 处
阿克拉巴齐解不等规模递归
Akra–Bazzi 方法处理 T(n)=f(n)+ΣaᵢT(n/bᵢ) 等不等规模分治:aᵢ>0 表示第 i 类子问题的数量系数,bᵢ>1 表示其规模缩小为原来的 1/bᵢ,f(n) 是本层非递归工作。
- 先求唯一的
p,使Σaᵢ/bᵢ^p=1; - 再由
Θ(n^p(1+∫₁ⁿ f(x)/x^(p+1)dx))得解。
使用取整版递归时,还须核对驱动函数的多项式增长条件。
独立卡片:阿克拉巴齐解不等规模递归。
原书依据 · 1 处
传参策略改变递归成本
分析分治算法时,传递数组指针通常只需 Θ(1);
若按值复制完整 N 元素数组,每次调用多出 Θ(N),只复制将访问的 n 元素子范围则多出 Θ(n)。
同一算法在不同传参语义下递归式会改变,不能把“传数组”默认视为零成本。
独立卡片:传参策略改变递归成本。
原书依据 · 1 处
生成函数编码数列
生成函数把数列各项作为形式幂级数的系数,例如斐波那契数列可写成 F(z)=ΣFᵢzⁱ。借助数列递推式建立关于 F(z) 的代数方程,再通过展开恢复系数。作为形式幂级数使用时,重点是系数恒等式,不要求先证明数值级数收敛。
独立卡片:生成函数编码数列。
原书依据 · 1 处
蒙日数组满足四点不等式
Monge 数组要求任意 i、j 均有 A[i,j]+A[k,l]≤A[i,l]+A[k,j]。它限制跨行列的相对成本。
由此可推得各行最左最小值的列索引单调不减,便于分治缩小搜索区间;这是习题 4-7© 要求证明的推论,不是题干已证结论。
独立卡片:蒙日数组满足四点不等式。
原书依据 · 1 处
矩阵乘法须权衡误差
Strassen 的渐近乘法次数较少,但实际选择还取决于矩阵规模、稀疏性、缓存行为和数值误差。
书中指出其有限精度结果的误差通常大于三次方算法;工程实现应结合输入结构与精度要求测量,而非只按大 O 选择。
独立卡片:矩阵乘法须权衡误差。
原书依据 · 1 处
第5章 概率分析和随机算法
概率分析是在假定的输入分布下计算性能,随机算法则主动在执行中引入随机选择;两者的随机性来源不同。指示随机变量把事件是否发生写成0或1,期望线性性让总成本可拆成多项期望,即使变量并不独立也能相加。雇用、排列和抽样等例子展示这些工具,也为随机快速排序与随机选择作准备。
本节在全书中的作用:以雇用问题建立概率分析与随机算法的区别,给出指示变量和期望线性性的分析工具,再通过均匀排列及多种随机过程展示概率界、期望和在线选择的用法。
展开顺序:从固定输入上的最坏雇用次数出发,区分假定输入随机的概率分析与算法自行掷随机数;用指示变量推得随机顺序的调和雇用次数。随后证明逐位洗牌与无放回抽样的均匀性,分析生日碰撞、集齐空箱和最长正面连串,最后讨论先观察再录用的在线策略、概率计数以及无序数组随机搜索。生日碰撞的发生概率与碰撞对数期望是不同问题;最长连串的上、下界也需分别论证。
# 第5章 概率分析和随机算法
## 概率与随机性的区别
- 雇用问题:固定顺序的最坏成本
- 概率分析依赖输入分布
- 随机算法主动生成随机选择
## 分析工具与抽样
- 指示变量与期望线性性
- 逐位洗牌与无放回抽样
## 应用及边界
- 生日碰撞、集齐空箱与最长连串
- 在线雇用:观察阈值与成功概率
- 概率计数和随机搜索的应用边界
雇用问题计数纪录更新
雇用问题每次面试都付低成本 cᵢ,仅当新候选胜过当前最佳才付高成本 cₕ。总费用取决于面试 n 次和“最佳纪录”更新 m 次,可写作 O(cᵢn+cₕm)。它把成本分析转为计数操作次数;最坏顺序质量递增时 m=n。
独立卡片:雇用问题计数纪录更新。
原书依据 · 1 处
概率分析依赖输入分布
概率分析先指定或推断输入分布,再对输入求成本期望,得到平均情况界。
若无法合理描述输入分布,计算出的“平均”便缺少依据。
雇用例把所有 n! 种候选质量排列设为等概率,这是明确假设,并非现实招聘的已知事实。
独立卡片:概率分析依赖输入分布。
原书依据 · 1 处
随机算法自控随机选择
随机算法的行为由输入和内部随机数共同决定。
与假定外部输入是随机的不同,它可主动随机选择处理顺序;分析时对内部随机选择取期望。
书中的 RANDOM(a,b) 假定区间内各整数等概率且各次调用独立,真实伪随机实现需另核对。
独立卡片:随机算法自控随机选择。
原书依据 · 1 处
指示变量把事件转成期望
事件 A 的指示变量 I{A} 在事件发生时为 1,否则为 0,所以 E[I{A}]=Pr(A)。若计数 X 等于若干事件发生的总次数,就可写成 X=ΣI{Aᵢ},进而有 E[X]=ΣPr(Aᵢ);事件之间即使相关,期望仍可逐项相加。
补充教学演示:公平硬币投两次,令 A 为“第一次是正面”,B 为“至少出现一次正面”。两事件相关,但 E[I{A}+I{B}]=Pr(A)+Pr(B)=1/2+3/4=5/4,无须先求二者的联合分布。
独立卡片:指示变量把事件转成期望。
原书依据 · 1 处
随机顺序雇用约为对数次
若 n 名候选的质量次序是均匀随机排列,第 i 位刷新前 i 人最佳纪录的概率为 1/i。用指示变量得雇用次数期望 Σ₁ⁿ1/i=ln n+O(1),因此高成本雇用费用期望为 O(cₕ ln n)。该结论依赖随机顺序假设。
独立卡片:随机顺序雇用约为对数次。
原书依据 · 1 处
边际均匀不保证排列均匀
均匀随机排列要求 n! 种完整排列各以 1/n! 出现。
仅证明每个元素落到每个位置的边际概率都是 1/n 仍不够:这些位置事件可相关,完整排列的概率仍不相等。
验证洗牌算法应证明联合分布或等价的前缀不变量。
独立卡片:边际均匀不保证排列均匀。
原书依据 · 1 处
逐位洗牌生成均匀排列
原地洗牌在第 i 轮从 A[i:n] 均匀选一项与 A[i] 交换,此后固定该位置。
循环不变量是每个长 i−1 的无重复前缀等可能;第 i 轮乘以 1/(n−i+1),最终每个完整排列概率为 1/n!。
需保证每次 RANDOM 调用独立且均匀。
独立卡片:逐位洗牌生成均匀排列。
原书依据 · 1 处
碰撞概率不同于配对期望
生日碰撞分析有两种不同问题:至少一对相同生日的概率达到 1/2,或相同生日的配对数期望达到 1。
均匀且独立地从 n 天取样时,两者阈值都为 Θ(√n),但常数和具体人数不同;不能把“期望有一对”直接当成“发生概率过半”。
独立卡片:碰撞概率不同于配对期望。
原书依据 · 1 处
集齐空箱约需调和次数
把每次独立、均匀投出的球装入 b 个箱子。已有 i−1 个非空箱时,命中新箱的概率为 (b−i+1)/b,等到第 i 个新箱出现所需投球数的期望为 b/(b−i+1)。
从第一个新箱累加到全部箱子,总期望为 b(1+1/2+⋯+1/b)=bH_b≈b ln b,其中 H_b 是第 b 个调和数。后期只剩少数空箱时成功概率很低,因此等待时间主导总成本。
独立卡片:集齐空箱约需调和次数。
原书依据 · 1 处
最长正面连串为对数量级
独立公平硬币投掷 n 次,长度 k 的指定全正面片段概率为 2^−k。
对所有起点用并集界得最长连串的期望上界 O(log n);把投掷分成独立的约 (log n)/2 长块,可证至少一块全正面的概率趋高,得到下界 Ω(log n)。
独立卡片:最长正面连串为对数量级。
原书依据 · 1 处
在线雇用先观察再选择
在线雇用只能当场接受或拒绝。
总共有 n 名候选人时,先拒绝前 k 人并记下其中最高分,再录用之后第一个超过该门槛的人。均匀随机顺序下,若全体最优者出现在位置 i>k,算法成功还要求前 i−1 人中的最佳者落在观察期;这两件事的概率乘积为 (1/n)·(k/(i−1))=k/[n(i−1)]。
对所有 i=k+1…n 的互斥位置求和,并取 k≈n/e,可保证成功概率至少约 1/e。这个结论依赖候选顺序是均匀随机排列。
独立卡片:在线雇用先观察再选择。
原书依据 · 1 处
概率计数用精度换范围
Morris 概率计数不直接保存真实计数,而用 b 位状态 i 代表预先选定的估计值 nᵢ。每来一个待计数事件,只以 1/(nᵢ₊₁−nᵢ) 的概率把状态从 i 增至 i+1;状态不变时估计值也不变。这样从 nᵢ 跳到 nᵢ₊₁ 平均需要 nᵢ₊₁−nᵢ 次事件。
选指数增长的 nᵢ 可显著扩大计数范围,但单次结果会有随机误差;应分析估计的期望、方差及溢出风险,不能当作精确计数。
独立卡片:概率计数用精度换范围。
原书依据 · 1 处
均匀无放回样本的判据
从n个不同对象中抽取m个组成集合,均匀随机样本要求每个m元素子集出现的概率相同。仅保证每个对象被抽中的边际概率相同还不够,需检验整个子集的联合分布。
独立卡片:均匀无放回样本的判据。
原书依据 · 1 处
逐轮抽样生成均匀子集
习题 5.3-5 的 RANDOM-SAMPLE 从 k=n−m+1 到 n 迭代,每轮均匀取 i∈[1,k];若 i 已在样本 S 中则加入 k,否则加入 i。
每轮只调用一次随机数,共 m 次。
按目标子集是否含 k 分类作归纳,可证明每轮后 S 在当前范围的同大小子集中均匀。
独立卡片:逐轮抽样生成均匀子集。
原书依据 · 1 处
第二部分 排序和顺序统计量
排序把记录按键重新排列,记录还可能带有随键移动的其他数据。顺序统计量只问第几小的元素,不要求所有元素有序。把这两个目标分开,就能理解为何选择可以比完整排序便宜;同时,比较模型、键值范围、稳定性和额外空间决定后面几种排序方法各自适用的条件。
本节在全书中的作用:界定排序和顺序统计问题,比较后续各章算法的时间、空间与输入假设,并说明比较排序下界的适用范围。
展开顺序:排序输出按键重排记录时必须保留卫星数据;插入、归并、堆与快速排序展示原地性、最坏时间和期望时间的不同取舍。比较排序受决策树的 Ω(n lg n) 下界约束;计数、基数和桶排序借助键范围、位数或分布假设获得线性情形。最后把第 i 小元素定义为顺序统计量,预告可在不完整排序时用线性时间选择。
# 第二部分 排序和顺序统计量
## 排序对象与代价
- 排序:按键重排记录并携带卫星数据
- 比较排序的时间与空间取舍
- 决策树给出比较排序下界
## 额外条件与选择问题
- 键范围、位数或分布假设支持非比较排序
- 顺序统计量:不必完整排序即可选择第i小
排序记录须携带卫星数据
实际排序对象通常是记录:键决定顺序,卫星数据必须随键一起移动。
若卫星数据较大,可改排记录指针,减少搬运;算法比较次数相同,不代表程序的数据移动和缓存成本相同。
独立卡片:排序记录须携带卫星数据。
原书依据 · 1 处
比较排序有通用下界
比较排序仅靠元素之间的比较确定次序,最坏情况需要 Ω(n log n) 次比较。
归并排序和堆排序的 O(n log n) 与此匹配;计数、基数、桶排序可更快,是因为额外利用整数范围、位数或输入分布等条件。
独立卡片:比较排序有通用下界。
原书依据 · 1 处
顺序统计量是第i小元素
第 i 顺序统计量是 n 个数中第 i 小者。
先完整排序再取第 i 项可行,却做了多余工作;本书指出可直接选择,在任意实数输入上达到 O(n) 最坏界,随机版本则达 O(n) 期望界。
独立卡片:顺序统计量是第i小元素。
原书依据 · 1 处
第6章 堆排序
堆把数组解释为一棵近似完全的二叉树,并让父子之间满足局部大小约束,因此根能直接给出极值。维护堆的操作既可服务于排序,也可支持反复提取最优项的优先队列。理解局部修复如何恢复全局堆性质,比单记数组下标更重要;这种接口会在最小生成树和最短路径算法中再次出现。
本节在全书中的作用:从数组表示的二叉堆出发,建立维护堆序、线性建堆和原地堆排序的正确性与复杂度,并把堆用于优先队列。
展开顺序:先定义完全二叉树的数组下标、有效堆前缀及最大/最小堆序;堆化以两个子树已有堆序为前提沿一条向下路径修复。自末个内部结点逆序建堆,按结点高度求和得到 O(n);堆排序反复把最大值移入已排序后缀,耗时 O(n lg n)。优先队列按键执行取极值、插入和增键,须在元素移动时维护对象与堆下标映射;章末问题讨论 d 叉堆与杨氏矩阵,注记补充单调取最小值的专门队列。
# 第6章 堆排序
## 堆结构与维护
- 数组化二叉堆与堆序性质
- 堆化:子堆先有效再向下修复
- 逆序建堆:按高度求和为线性
## 排序与队列接口
- 堆排序:最大值逐个进入有序后缀
- 优先队列:极值、插入与增键
- 对象句柄与堆下标同步
## 变体
- d叉堆、杨氏矩阵及单调提取变体
二叉堆是数组化完全树
二叉堆用数组表示近乎完全的二叉树:除底层外各层填满,底层从左填充。
以 1 起始索引时,父节点为 ⌊i/2⌋、左右孩子为 2i 和 2i+1;heap-size 只标示数组中属于堆的前缀,后续位置可存其他数据。
独立卡片:二叉堆是数组化完全树。
原书依据 · 1 处
堆序性质区分大小堆
最大堆要求每个非根节点的键不大于父节点,因此根是全堆最大值;
最小堆反向,根是最小值。
堆序只约束祖先与后代,不要求兄弟或任意两节点有序;堆排序用最大堆,优先队列按取极值方向选堆。
独立卡片:堆序性质区分大小堆。
原书依据 · 1 处
堆化须已有子堆前提
MAX-HEAPIFY 假设左右子树已分别是最大堆,仅根 i 可能过小。
把 i 与两孩子中的最大值交换,再沿被换下的子树递归,直到堆序恢复。
每层常数比较与交换,最多下降树高,故耗时 O(log n);没有子堆前提则不能保证修复整个树。
独立卡片:堆化须已有子堆前提。
原书依据 · 1 处
建堆从末个内部节点逆行
BUILD-MAX-HEAP 从 ⌊n/2⌋ 到 1 逆序调用 MAX-HEAPIFY。更大索引的叶子天然成堆,处理某节点时两子树已成堆,正好满足堆化前提;正序处理则无法维持这个不变量。
独立卡片:建堆从末个内部节点逆行。
原书依据 · 1 处
建堆总成本为线性
把 n 次堆化都按最坏树高 O(log n) 估算会得到宽松的 O(n log n)。
实际上高度 h 的节点至多约 n/2^(h+1),每个只需 O(h),总和 O(n Σh/2^h)=O(n)。大多数节点靠近叶子,代价很低。
独立卡片:建堆总成本为线性。
原书依据 · 1 处
堆排序维护已排序后缀
堆排序先在线性时间建最大堆,然后反复将堆根最大值与当前堆尾交换,缩小 heap-size 并重新堆化根。堆前缀始终保留未排序元素,后缀按序积累较大元素;额外空间 O(1),总时间 O(n log n)。
独立卡片:堆排序维护已排序后缀。
原书依据 · 1 处
优先队列按键提取极值
优先队列维护带键元素集合,支持插入、查看极值、提取极值和调整键。
- 最大堆实现最大优先队列,适合取最高优先级任务;
- 最小堆实现最小优先队列,适合取最早事件。
改变键方向时须选择相应上浮或下沉操作。
独立卡片:优先队列按键提取极值。
原书依据 · 1 处
堆元素迁移须维护句柄
把应用对象放入数组堆时,增键或删除需先找到对象当前索引。
可在对象与堆元素间维护句柄,或由优先队列保存对象到索引的映射;每次交换都必须同步更新映射。
否则键调整可能改错位置,复杂度也要计入映射成本。
独立卡片:堆元素迁移须维护句柄。
原书依据 · 1 处
最大堆增键应向上浮动
最大堆中把某节点的键增大后,可能只违反与父节点的关系;沿父链比较并交换,直到不再大于父节点,耗时 O(log n)。
MAX-HEAPIFY 是向下修复根过小的情形,方向相反,不能直接代替增键。
独立卡片:最大堆增键应向上浮动。
原书依据 · 1 处
堆提取插入各走一条路径
最大堆提取最大值时取根、以末元素补根、缩小堆并向下堆化。
插入时在末尾扩一叶,以 −∞ 初始化,再增键向上浮动。
两者只沿一条根叶路径修复,故操作时间 O(log n),另加对象索引映射成本。
独立卡片:堆提取插入各走一条路径。
原书依据 · 1 处
d叉堆以分支数换树高
d 叉堆把二叉堆的每个内部节点扩为最多 d 个孩子,仍保留堆序与紧凑层序存储。
当 2≤d≤n 时,由习题 6-2 可推得树高 Θ(log_d n):增键上浮每层比较常数次,为 O(log_d n);提取最大值下沉每层须扫描至多 d 个孩子,为 O(d log_d n)。
d 的取舍还受操作比例影响。
独立卡片:d叉堆以分支数换树高。
原书依据 · 1 处
杨氏矩阵双向单调
Young tableau 是行从左到右、列从上到下均非降序的矩阵,可用 ∞ 标示空位。左上角最小有限值由定义直接推出。
习题 6-3 要求读者设计提取与插入:提取后让 ∞ 向右下沉,插入时让新值从空位向左上移动;每步只比较相邻行列,路径至多 m+n。
独立卡片:杨氏矩阵双向单调。
原书依据 · 1 处
单调提取可用专门队列
若连续 EXTRACT-MIN 返回的键值随时间单调不减,就是单调优先队列场景。
书中以 Dijkstra 和离散事件模拟为例;在受限整数键范围下,可使用基数堆等专用结构改善某些操作界。
应用前需证明这一单调前提。
独立卡片:单调提取可用专门队列。
原书依据 · 1 处
第7章 快速排序
快速排序先围绕主元分区,再分别排序两侧。分区是正确性的关键,分区平衡程度则决定递归代价。随机选择主元能把期望分析建立在算法自身的随机性上,但不会消除所有坏的执行。重复键、递归栈和原地操作还会影响实现边界,因此期望复杂度与某次运行的保证应分别理解。
本节在全书中的作用:以原地分区建立快速排序,说明分区平衡如何决定复杂度,并在元素互异的前提下证明随机枢轴的期望时间界。
展开顺序:先用枢轴分出小于等于与大于两侧,靠循环不变量证明 Lomuto 分区正确,再分别分析极端分区的 Θ(n²) 与固定比例分区的 O(n lg n)。随机枢轴使任意固定输入的期望分析成为可能,但最坏情形仍为 Θ(n²);按秩考察每对元素首次遇到的枢轴,比较概率为 2/(j−i+1),由期望线性性得 O(n lg n)。章末问题补充等值键三路分区、Hoare 边界分区、尾递归与栈深度及三点取中枢轴。
# 第7章 快速排序
## 分区与递归
- 枢轴分区与循环不变量
- 递归排序两个分区
- 分区平衡决定最坏与较好时间
## 随机化分析
- 随机枢轴:固定输入上的期望分析
- 按秩计算元素对的比较概率
- 调和和得到期望 O(n lg n)
## 实现边界
- 等值键、Hoare边界与递归栈变体
快排先定位枢轴再递归
快速排序先原地分区,使枢轴左侧元素≤枢轴、右侧≥枢轴,再递归排序两侧;枢轴已经位于最终位置,无需合并。每层分区耗时 Θ(n),总时间由枢轴造成的两侧规模决定。
独立卡片:快排先定位枢轴再递归。
原书依据 · 1 处
分区不变量维护四段
对待分区子数组 A[p:r],取末元素 x=A[r] 为枢轴。扫描指针 j 从左向右移动,边界 i 记录“已确认不大于枢轴”区域的末端,循环开始时维护四段:A[p:i]≤x,A[i+1:j−1]>x,A[j:r−1] 尚未处理,A[r]=x。
扫描到 A[j]≤x 时,先扩张左段再把 A[j] 换入;扫描结束后把枢轴放到 i+1。这个不变量同时证明原地分区正确和线性扫描成本。
独立卡片:分区不变量维护四段。
原书依据 · 1 处
极端分区使快排退化
若每层枢轴都取到当前最小或最大值,分区形成 0 与 n−1 两侧,递归式 T(n)=T(n−1)+Θ(n),总时间 Θ(n²)。
固定取末元素的实现遇到某些已排序输入会这样退化;递归栈深也可达 Θ(n),原地分区不等于常数总内存。
独立卡片:极端分区使快排退化。
原书依据 · 1 处
固定比例分区仍近线性对数
快排不必每次对半分区。
只要每层两侧始终按固定正比例分开,如 9:1,递归深度仍为 Θ(log n),每层总分区成本 O(n),故总时间 O(n log n)。
比例越偏只增大常数;真正危险的是比例随规模逼近 0:1。
独立卡片:固定比例分区仍近线性对数。
原书依据 · 1 处
随机枢轴消除固定坏输入
随机化快排从当前子数组均匀选一个枢轴,交换到末位后沿用普通分区。
对固定输入,分区质量由算法内部随机选择决定,因此不存在仅由元素顺序确定的坏输入;但单次仍可能遇到连续差枢轴,最坏时间仍为 Θ(n²)。
独立卡片:随机枢轴消除固定坏输入。
原书依据 · 1 处
用比较次数分析快排
快排每次分区都会将一个枢轴排除出后续递归,因此分区调用至多 n 次。若 X 是所有分区中的元素比较总次数,循环总成本与 X 成正比,调用和循环外开销合计 O(n),故总时间 O(n+X)。分析随机快排时可先求 E[X]。
独立卡片:用比较次数分析快排。
原书依据 · 1 处
枢轴决定元素是否比较
在元素互异的前提下,按排序后秩次记 z_i、z_j。
它们仅当区间 Z_ij 中首个枢轴是端点 z_i 或 z_j 时才比较;若先选中间元素,两者分到不同子问题。
每对元素最多比较一次;同值键不能直接套用。
独立卡片:枢轴决定元素是否比较。
原书依据 · 1 处
秩距离决定比较概率
在元素互异且枢轴均匀随机选择时,Z_ij 中任一元素成为首个枢轴的概率相同。只有两个端点触发 z_i 与 z_j 比较,故概率为 2/(j−i+1)。若有同值键,需另处理,不能直接沿用此式。
独立卡片:秩距离决定比较概率。
原书依据 · 1 处
期望比较次数是调和和
在元素互异的前提下,对每对元素设置是否比较的指示变量;每对至多比较一次。用概率 2/(j−i+1) 与期望线性性求和,得 O(n log n) 期望比较次数,进而得随机快排 O(n log n) 期望时间;同值键需另分析。
独立卡片:期望比较次数是调和和。
原书依据 · 1 处
等值元素宜三路分区
标准二路分区在大量等值元素上可能反复处理同值区。
对待分区子数组 A[p:r],章末题提出三路分区规格:以枢轴 x=A[p] 为基准,在 Θ(r−p) 时间内返回边界 q、t,使 A[p:q−1]<x、A[q:t]=x、A[t+1:r]>x。
递归只需处理两侧未知区间,等值区不再递归。
补充教学演示:对 [2,1,2,3] 取枢轴 2,分区结果可写成 [1 | 2,2 | 3];按 1 起始索引有 q=2、t=3,中间两项无需再次排序。
独立卡片:等值元素宜三路分区。
原书依据 · 1 处
快排尾递归与栈深度
快排的第二次递归可改为循环,但若始终递归同一侧,极端划分仍可能形成 Θ(n) 栈深度。
每轮先递归较小一侧、较大一侧留给循环,活跃栈帧对应的子问题规模每层至多减半,可把最坏栈深度控制在 O(log n),不改变分区工作量。
独立卡片:快排尾递归与栈深度。
原书依据 · 1 处
Hoare分区返回边界
Hoare 分区从两端向内扫描并交换放错侧的元素,返回两段之间的边界 j。
与本章主算法把枢轴放在最终位置不同,枢轴会留在其中一段;正确的递归区间是 [p,j] 和 [j+1,r],且两段非空。
不能把返回值误当枢轴最终下标。
独立卡片:Hoare分区返回边界。
原书依据 · 1 处
三点取中选择枢轴
随机快排的三点取中法从子数组随机抽取三个元素,以三者中位数为枢轴。样本极端值不会成为枢轴,因而降低极端划分的机会;它改变枢轴分布和常数因子,不能把快排最坏时间界改写为 O(n log n)。
独立卡片:三点取中选择枢轴。
原书依据 · 1 处
第8章 线性时间排序
比较排序只能借助键之间的比较获取顺序信息,决策树的叶数给出其最坏情况下的比较下界。计数、基数和桶排序利用键范围、位表示或分布等额外信息,因而能在相应条件下达到线性时间。它们并未推翻比较模型的下界,而是使用了更强的输入条件和不同的操作。
本节在全书中的作用:证明比较排序的最坏比较次数下界,并展示在键范围、位数或输入分布等额外条件下获得线性时间的排序方法。
展开顺序:先用决策树的可达叶子覆盖 n! 种排列,推出比较排序 Ω(n lg n) 下界;计数排序以键值寻址及累计计数定位输出,倒序填充保持稳定。基数排序依赖每位稳定排序,从低位到高位处理,并在位宽与每轮计数范围间权衡;桶排序按值域分桶,均匀独立输入使各桶大小平方和的期望为 O(n)。章末问题还提出输入窗口均值意义的 k 有序、预定比较网络的零一排序引理与列排序,均有各自的额外前提。
# 第8章 线性时间排序
## 比较模型下界
- 比较排序只从两元素比较获取顺序
- 决策树至少覆盖 n! 种排列
- 最坏比较次数为 Ω(n lg n)
## 额外输入条件与方法
- 利用额外输入条件越出比较模型
- 计数排序:键值寻址与稳定输出
- 基数排序:从低位到高位稳定排序
- 桶排序:分布假设控制桶内成本
## 延伸问题
- 章末问题:k有序与预定比较网络
比较排序只靠元素比较
比较排序仅通过元素间的大小比较取得顺序信息,不利用键值本身索引、计数或计算位置。
归并、堆排和快排都属于这一模型;计数排序直接用键值寻址,因此比较排序的下界不能直接套在它身上。
独立卡片:比较排序只靠元素比较。
原书依据 · 1 处
决策树表示比较过程
比较排序的决策树用内部节点表示一次元素比较,用左右分支表示结果,用叶子表示最终排列。一次执行对应根到叶的一条路径;最长可达路径的长度就是最坏比较次数。它抽去搬移和控制细节,只保留排序所需的次序信息。
独立卡片:决策树表示比较过程。
原书依据 · 1 处
排列数给出比较下界
n 个互异元素有 n! 种输入排列,正确的比较排序决策树须有至少 n! 个可达叶子;高为 h 的二叉树至多有 2^h 个叶子,所以 h≥log₂(n!)=Ω(n log n)。归并排序和堆排序达到相同渐近上界,已在比较模型内最优。
独立卡片:排列数给出比较下界。
原书依据 · 1 处
计数排序按键值寻址
计数排序要求键是 0 到 k 的整数。
先统计各键频数,再将频数累加成“≤该键”的元素数,用此前缀数确定输出位置,并在放置后递减以避开重复键冲突。
时间 Θ(n+k),辅助空间随键域 k 增长;k=O(n) 时才是线性时间。
独立卡片:计数排序按键值寻址。
原书依据 · 1 处
稳定排序保留同键顺序
稳定排序使相同键的元素保留原有先后次序。计数排序从输入末尾向前填充,并在每次填充后递减对应累计计数,让较早的同键元素落在较早位置。该性质在元素携带附属数据或作为基数排序的逐位子程序时至关重要。
独立卡片:稳定排序保留同键顺序。
原书依据 · 1 处
基数排序从低位开始
最低位优先的基数排序先按低位、再依次按更高位排序,每一轮都必须稳定,才能在高位相同时保留低位形成的次序。
对 d 位键、每位 k 种值,若每轮稳定排序耗时 Θ(n+k),总时间为 Θ(d(n+k))。
独立卡片:基数排序从低位开始。
原书依据 · 1 处
位宽平衡基数排序成本
把 b 位键按每组 r 位拆分,轮数约 b/r,每轮计数排序的键域为 2^r,总成本 Θ((b/r)(n+2^r))。
r 太小增加轮数,太大扩大计数数组;当 b≥log₂n,选 r 约 log₂n 可使两项平衡到常数因子范围。
独立卡片:位宽平衡基数排序成本。
原书依据 · 1 处
线性渐近界不保证更快
基数排序在适当位宽下可达线性渐近时间,但每轮扫描成本、缓存使用和辅助数组都影响实际选择。
比较排序可能凭更低常数或原地特性胜出。
选排序算法须同时看键域、数据分布、内存和机器,而不能只比大 O。
独立卡片:线性渐近界不保证更快。
原书依据 · 1 处
桶排序依赖均匀分布
桶排序把 [0,1) 划为 n 个等宽桶,用 ⌊n·x⌋ 将输入 x 放入相应桶;桶内排序后按桶号拼接。
跨桶次序由区间位置保证,同桶次序由局部排序保证。
本章用输入独立且均匀作为证明期望线性时间的一项充分假设,使桶内元素数通常很小;非均匀输入也可能线性。
独立卡片:桶排序依赖均匀分布。
原书依据 · 1 处
桶大小平方和决定成本
桶内使用插入排序时,总时间可写为 Θ(n)+ΣO(n_i²),其中 n_i 为第 i 个桶的大小。
均匀独立输入使 E[n_i²]=2−1/n,故期望总时间 Θ(n);更一般地,只要桶大小平方和是 O(n),即便输入不均匀也能线性运行。
独立卡片:桶大小平方和决定成本。
原书依据 · 1 处
预定比较网络不依赖键值
固定序列的比较交换算法在运行前就确定每一步比较哪两个位置。是否交换仍取决于键值,但后续比较位置不能随键值或之前比较结果改变。它适合用同一比较结构处理不同输入,也使 0-1 排序引理可适用。
独立卡片:预定比较网络不依赖键值。
原书依据 · 1 处
零一排序引理缩小验证域
对比较位置预先固定的比较交换算法,只要能正确排序所有 0/1 输入,就能正确排序任意可比较值。
证明可取逆否命题:若某个一般输入留下逆序对,以阈值把值映射成 0/1,固定的比较交换步骤仍会留下相应逆序。
此引理不能无条件用于依比较结果改换比较位置的算法。
独立卡片:零一排序引理缩小验证域。
原书依据 · 1 处
列排序交替排序与重排
列排序把 n=rs 个元素排成 r 行 s 列,交替执行列内排序与固定重排,总共八步;目标是按列优先次序有序。
给定 r 为偶数、s 整除 r 且 r≥2s²,问题要求用 0-1 排序引理证明正确性。
图中 6×3 示例虽不满足该充分条件,不能以示例替代一般证明。
独立卡片:列排序交替排序与重排。
原书依据 · 1 处
k有序只约束窗口均值
k 有序数组要求每个长度 k 的滑动窗口均值不大于紧邻的下一个窗口均值,而非每对相邻元素都有序。相邻窗口的 k−1 个共有元素抵消后,条件等价于 A[i]≤A[i+k];k=1 时才是通常的整体升序。
独立卡片:k有序只约束窗口均值。
原书依据 · 1 处
第9章 中位数和顺序统计量
第i顺序统计量就是第i小的元素,中位数是其中位于中间的特殊秩。选择算法分区以后,只继续处理包含目标秩的一侧,省去了排序另一侧的工作。随机选择给出期望线性时间;确定性线性选择通过控制主元质量保证每轮丢掉足够多元素。求阈值、求完整顺序和处理重复值需要区分。
本节在全书中的作用:在上一章的排序下界之后,说明只求指定秩次无须完整排序,并以随机选择和确定性选择分别建立期望线性与最坏线性时间界。
展开顺序:先定义第 i 顺序统计量与下中位数,用淘汰赛下界说明求最小值需要 n−1 次比较,再以成对比较降低同时求最小值和最大值的比较次数。随机选择只递归包含目标的一侧;中间半区枢轴以至少一半概率产生有用分区,按代际等待次数与几何缩小证明期望 Θ(n),极端划分仍可达到最坏 Θ(n²)。确定性 SELECT 递归选取五元组中位数的中位数,保证目标侧至多 7n/10;连同 n/5 的选枢轴递归,规模系数和为 9/10,故最坏 Θ(n)。章末练习和问题扩展至分位点、加权中位数及两层三元组选枢轴;这些题目的算法或证明须与正文已给结论区分。上述选择分析以元素互异为前提,同值可按原下标打破。
# 第9章 中位数和顺序统计量
## 选择问题与随机选择
- 选择指定秩次而非完整排序
- 最小值比较下界与成对求两端极值
- 随机分区后只递归目标侧
- 有用分区概率与代际几何缩小
- 期望线性,极端分区最坏平方
## 最坏线性选择
- 五元组中位数的中位数选枢轴
- 目标侧至多7n/10
- 双递归规模系数和小于1
- 最坏线性选择
## 变体
- 分位点、加权中位数与三元组变体
顺序统计量定义秩次
第 i 顺序统计量是 n 个元素中第 i 小的值;最小值是第 1 个,最大值是第 n 个。
偶数规模有上下两个中位数,本书默认“中位数”指下中位数。
选择问题只求指定秩次的元素,无须先将所有元素排好序。
独立卡片:顺序统计量定义秩次。
原书依据 · 1 处
找最小值至少比较n减一次
找 n 个元素的最小值至少需要 n−1 次比较:把比较看成淘汰赛,除最终胜者外,每个元素至少要输一次才能排除其最小可能性。顺序扫描恰好用 n−1 次比较,因此在比较次数上最优。
独立卡片:找最小值至少比较n减一次。
原书依据 · 1 处
成对比较同时求极值
同时求最小值和最大值时,每两个输入先互比一次,再用较小者比当前最小值、较大者比当前最大值。
每对共 3 次,整体至多 3⌊n/2⌋ 次;偶数规模需先用首对初始化,实际为 3n/2−2 次,比独立扫描的 2n−2 次少。
独立卡片:成对比较同时求极值。
原书依据 · 1 处
随机选择只递归目标侧
随机选择用随机枢轴分区,设枢轴在当前子数组中的秩为 k。
- 目标秩 i=k 时直接返回;
- i 时只处理左段;
- i>k 时只处理右段且把目标秩改为 i−k。
与快排递归两侧不同,它每层只保留一个子问题。
独立卡片:随机选择只递归目标侧。
原书依据 · 1 处
随机选择的期望收缩
在元素互异(或先以原下标打破同值)时,若枢轴落在中间一半,本轮至少剔除四分之一,留下至多 3n/4 个元素;随机枢轴产生这种“有用划分”的概率至少一半。因此,每次有用划分出现前所需划分轮数的期望至多为 1/(1/2)=2,而各阶段处理规模形成 n+3n/4+(3/4)²n+⋯≤4n 的几何级数;每阶段再乘至多 2 轮,期望总工作量仍为 O(n)。连续极端枢轴仍可能带来 Θ(n²) 最坏时间。
独立卡片:随机选择的期望收缩。
原书依据 · 1 处
有用分区使期望成本收敛
对互异元素(或以原下标打破同值),随机选择把递归侧缩至原规模至多3/4的分区称为“有用”。两次有用分区之间的尝试次数期望不超过2,代际规模按(3⁄4)^k缩小,期望比较成本构成O(n)几何级数;首轮需检查n个元素,故期望时间Θ(n)。
独立卡片:有用分区使期望成本收敛。
原书依据 · 1 处
五元组中位数选枢轴
对互异元素(或先以原下标打破同值),确定性线性选择把元素分成五元组,各组排序并抽取中位数,再递归求组中位数的中位数作枢轴。
组内次序保证分区两侧有足够多可排除的元素,不依赖随机性;代价是额外一次求枢轴递归。
独立卡片:五元组中位数选枢轴。
原书依据 · 1 处
中位数枢轴限制递归规模
在元素互异(或以原下标打破同值)时,五元组中位数的中位数x使至少一半组中位数不大于x,每组还能带来两个更小元素;另一侧对称。因此任一递归侧至少排除约3n/10个元素,目标侧至多7n/10。这个枢轴质量界支撑最坏线性时间。
独立卡片:中位数枢轴限制递归规模。
原书依据 · 1 处
双递归规模和小于整体
在元素互异(或以原下标打破同值)时,确定性SELECT一次递归在n/5个组中位数上选枢轴,另一次至多在7n/10个元素上找目标,其他工作线性。两项规模系数之和为9/10,小于1,使T(n)≤T(n/5)+T(7n/10)+Θ(n)可由代入法界为O(n)。
独立卡片:双递归规模和小于整体。
原书依据 · 1 处
加权中位数按权重分半
加权中位数面对总权重为 1 的有序元素,要求它左侧元素的权重和小于 1/2、右侧权重和不超过 1/2。
它按权重而非元素个数切分两侧;所有元素权重相等时退化为普通中位数。
定义可用于一维加权距离选址。
独立卡片:加权中位数按权重分半。
原书依据 · 1 处
分位点是指定顺序统计量
k 分位点是把排好序的 n 个元素分成 k 个大小尽量相等的集合所需的 k−1 个顺序统计量。它只要求这些边界元素,不要求完整排序;选择算法可作为求边界的子程序,但章末的 O(n log k) 实现属于待解练习。
独立卡片:分位点是指定顺序统计量。
原书依据 · 1 处
两层三元组改善枢轴
对互异元素(或以原下标打破同值),单层三元组求中位数只得O(n log n)上界;SELECT3再把组中位数分成三元子组,取子组中位数的中位数作枢轴。
额外一层筛选意在保证线性最坏时间;原书把证明留为问题,不能套用五元组的7n/10界。
独立卡片:两层三元组改善枢轴。
原书依据 · 1 处
第三部分 数据结构
动态集合允许元素随着操作不断加入、删除或改变。字典强调按键查找、插入和删除,其他接口可能还要最小值、前驱或后继。结构的选择取决于需要支持哪些操作以及各自频率;接下来从数组和链表开始,再比较散列表与搜索树,体现表示方式与接口代价的联系。
本节在全书中的作用:把前两部分讨论的算法设计转向支撑算法运行的动态集合,建立选择数据结构时应先列明操作需求和成本的判断框架。
展开顺序:先区分会增删的动态集合与只要求插入、删除、按键查找的字典,再说明对象的键、附属数据和全序前提。集合接口分为只返回信息的查询与改变集合的修改,删除操作在本书以对象指针为参数。以无序数组和有序数组对比,说明快速更新与快速查找、极值和前驱后继之间的成本转移;最后预告数组、散列表、二叉搜索树和红黑树各自支持的操作及最坏或期望时间边界。
# 第三部分 数据结构
## 动态集合接口
- 算法需要随时间变化的集合
- 先确定字典或更丰富的操作
- 区分键、附属数据与全序前提
- 查询和修改的接口契约
## 表示与操作取舍
- 无序数组:更新便宜而查询昂贵
- 有序数组:部分查询便宜而更新昂贵
- 按操作组合选择后续数据结构
- 数组、散列表、搜索树与平衡树
动态集合随操作改变
动态集合的元素会随算法运行增加、删除或改变。
只需插入、删除和按键查找时,它构成字典;若还要提取最小值或求后继,就需要更丰富的操作。
数据结构的选择取决于实际操作组合,而非集合这个名称。
独立卡片:动态集合随操作改变。
原书依据 · 1 处
键与附属数据职责不同
动态集合中的对象可用键标识,附属数据随对象存储却不参与集合操作。若键具有全序,才能定义最小、最大及前驱后继。把键与附属数据分开看,有助于明确索引依据和业务负载的边界。
独立卡片:键与附属数据职责不同。
原书依据 · 1 处
集合查询与修改分工
动态集合操作分查询和修改两类:
- 查找、最值、前驱后继只返回信息;
- 插入与删除改变集合。
接口的参数也影响成本与契约,例如书中的 DELETE 接收元素指针而非键,不能把“按键删除”默认为同一操作。
独立卡片:集合查询与修改分工。
原书依据 · 1 处
数组有序性转移操作成本
无序数组可让插入、删除为 Θ(1),但查找和次序相关查询为 Θ(n)。
保持数组有序后,极值与前驱后继可为 Θ(1),二分查找为 O(log n),代价是插入、删除最坏 Θ(n)。
预先排序没有消除成本,只是把成本移到更新。
独立卡片:数组有序性转移操作成本。
原书依据 · 1 处
第10章 基本数据结构
数组用连续位置存放元素,便于按下标访问;链表借助指针连接元素,便于在已知位置附近修改连接。栈规定后进先出,队列规定先进先出,它们是访问规则,可以建立在不同表示之上。树的指针表示进一步扩展连接关系,为搜索树和图的遍历提供基础。
本节在全书中的作用:把动态集合的操作契约落到数组、矩阵、栈、队列、链表和树的具体表示上,展示布局与指针组织如何决定访问、更新和空间成本。
展开顺序:先用定长元素的连续数组推导常数时间寻址,再比较矩阵的行优先、列优先、多数组与分块布局。栈和环形队列分别规定后进先出与先进先出,并以栈顶、队首和下次写入位置维护边界;本章环形队列以空槽区分满与空。链表以指针而非下标定义次序,已知节点时可常数时间插删,按键查找和按位置访问仍需遍历;循环双向链表的哨兵可统一头尾边界,临时写哨兵键还能减少搜索循环的检查。最后用父、左、右指针表示二叉树,用左孩子、右兄弟表示任意分支数的有根树;章末紧凑有序链表的随机跳转依赖键互异,复杂度证明留在问题中。
# 第10章 基本数据结构
## 连续存储与接口
- 动态集合的表示决定操作成本
- 数组连续布局与定长寻址
- 矩阵行列优先、多数组与分块
- 栈与环形队列的操作边界
## 链式存储
- 链表靠指针定义次序
- 已有节点的插删与线性定位
- 哨兵统一边界并减少循环判断
## 树与延伸表示
- 二叉树的亲子指针
- 左孩子右兄弟表示任意分支
- 紧凑有序链表的随机跳转变体
数组寻址依赖定长连续布局
定长元素连续存储的数组可由起始地址 a、首索引 s、元素字节数 b 直接算出第 i 项地址 a+b(i−s),因此在随机访问内存模型中按索引访问为常数时间。若对象长度不一,数组通常存等长指针,再多一次解引用。
独立卡片:数组寻址依赖定长连续布局。
原书依据 · 1 处
矩阵布局决定线性索引
m×n 矩阵压进一维数组时,零起始行优先布局把 M[i,j] 放在 ni+j,列优先布局放在 i+mj。
两者都能常数时间寻址,但连续访问方向不同;多数组表示可容纳每行不同长度的锯齿形矩阵,代价是额外指针和间接访问。
独立卡片:矩阵布局决定线性索引。
原书依据 · 1 处
栈按后进先出移除
栈规定删除最近插入的元素,即后进先出。
数组实现用 top 指向当前栈顶;push 先增 top 再写入,pop 先减 top 再返回旧栈顶。
top=0 表示空,top 达容量时再压入会溢出。
移除后旧值仍在数组槽位,不再属于栈。
独立卡片:栈按后进先出移除。
原书依据 · 1 处
环形队列预留空槽
队列按先进先出删除等待最久的元素。
容量 n 的环形数组让 head 指向队首、tail 指向下次写入处,二者回绕;head=tail 表示空,因此预留一个槽位,以 tail 的下一位置等于 head 表示满,最多存 n−1 项。
入队与出队均为 O(1)。
独立卡片:环形队列预留空槽。
原书依据 · 1 处
链表顺序来自节点指针
链表的线性次序由节点中的 next/prev 指针决定,不由数组下标决定。
双向链表的节点可沿两个方向遍历,首节点的 prev 和尾节点的 next 通常为 NIL。
单向、双向、有序、无序与循环是不同维度,不能混为一类。
独立卡片:链表顺序来自节点指针。
原书依据 · 1 处
分块矩阵局部连续存储
矩阵的分块表示先把矩阵切成若干小块,再让每块内部连续存储。
它与整张矩阵按行或按列连续排布不同:连续性的单位从整行或整列变成块。
使用前必须明确块顺序和块内顺序,否则二维坐标无法唯一映射到线性地址。
独立卡片:分块矩阵局部连续存储。
原书依据 · 1 处
链表更新快于按键定位
双向链表已有目标节点指针时,插入或删除只需调整相邻指针,为 O(1);但按键查找最坏要逐节点扫描 Θ(n),所以“按键删除”连同定位仍为 Θ(n)。
数组恰好相反:随机下标访问快,保持相对次序的首部更新需搬移 Θ(n) 元素。
独立卡片:链表更新快于按键定位。
原书依据 · 1 处
哨兵统一链表边界
循环双向链表可用一个不代表真实元素的哨兵节点替代 NIL:哨兵的 next 指向首节点、prev 指向尾节点,空表时两者都指回哨兵。
这样头尾插删共享同一套指针更新,无须逐一判断边界;代价是每条链表多一个节点。
独立卡片:哨兵统一链表边界。
原书依据 · 1 处
哨兵键减少循环分支
搜索链表前先把目标键写入哨兵,扫描循环便可只检查键是否相等,不必每轮检查是否走到表尾。
停止后若落在哨兵则表示未找到,落在真实节点才返回。
此法减少常数开销,不改变线性最坏时间,还要求哨兵键可临时写入。
独立卡片:哨兵键减少循环分支。
原书依据 · 1 处
二叉树节点保存亲子指针
指针式二叉树的节点保存父节点、左孩子和右孩子指针,缺席的关系置为 NIL;根节点的父指针为 NIL,树对象的 root 指向根,root=NIL 表示空树。此表示适合沿指定亲子关系移动,但每节点付出固定指针空间。
独立卡片:二叉树节点保存亲子指针。
原书依据 · 1 处
左孩子右兄弟压缩分支
孩子数不固定的有根树可让每节点只存最左孩子和紧邻右兄弟指针,再加父指针。找所有孩子从最左孩子沿兄弟链遍历,避免为潜在大量但通常为空的孩子位置预留字段。n 节点共用 O(n) 指针空间,访问所有孩子仍随孩子数增长。
独立卡片:左孩子右兄弟压缩分支。
原书依据 · 1 处
紧凑链表可随机跳转
假定键互异且沿 next 严格递增,排序的紧凑链表把 n 个节点恰好放在数组前 n 个位置,故可随机抽一个合法位置 j。
搜索键 k 时,若当前键[j]≤k,就跳到 j,否则沿 next 前进;跳转不会越过目标。
它利用“数组可随机取样、链表按键有序”两种性质,期望加速仍需概率证明。
独立卡片:紧凑链表可随机跳转。
原书依据 · 1 处
第11章 散列表
散列表把键经过哈希函数映射到槽位,碰撞表示多个键落在相同位置,需要通过链表或探测规则处理。它适合字典接口,但期望常数时间依赖哈希假设、装载程度及冲突处理方式。随机选哈希函数与假设输入随机不是同一件事;这些条件也说明它和保留键序的搜索树为什么各有用途。
本节在全书中的作用:在动态集合只需字典操作时,以键域压缩、冲突处理与概率假设解释哈希表的速度来源,并把抽象探测次数与真实内存层级的代价连接起来。
展开顺序:先以直接寻址表说明常数时间访问依赖键域大小,再用哈希函数缩小表并承认冲突不可避免。链地址法将同槽键放进链表,以负载因子 α=n/m 描述平均链长;成功和失败查找的 Θ(1+α) 结论各有独立均匀哈希等条件,最坏情形仍可线性。固定除法和乘移函数依赖输入分布,运行时随机选取通用函数族则只需控制成对碰撞;素数仿射族与随机奇乘数族给出不同的碰撞上界,长键可借密码哈希等方法处理。开放寻址把元素留在表内,搜索依赖探测序列,普通删除须保留墓碑;双重哈希的步长要与表长互素,线性探测只是固定步长的特例,二者均不满足理想随机置换探测模型。理想模型下无删除且 α 时失败查找与插入的期望探测界为 1/(1−α),接近满载迅速恶化。最后用缓存局部性重新评估线性探测,说明其空洞回填删除、主聚集的两面性与五独立条件;wee 哈希的近似独立性依赖额外假设,章末认证与完美哈希分别属于待证问题和静态键集的文献结论。
# 第11章 散列表
## 字典与冲突
- 字典操作:查找、插入、删除
- 直接寻址:键域小则以键作下标
- 哈希压缩大键域并产生冲突
- 链地址:负载因子与期望链长
## 概率保证
- 固定函数依赖输入分布
- 随机函数族以成对碰撞给出保证
## 探测和实现边界
- 开放寻址:表内探测与删除墓碑
- 双重哈希、线性探测及理想模型差异
- 负载接近1使探测成本升高
- 缓存局部性、回填删除与聚集
- 五独立和wee哈希的条件边界
直接寻址用键作下标
键域 U={0,…,m−1} 较小时,直接寻址表为每个可能键保留槽位 T[k],空槽记 NIL。
查找、插入、删除都能 O(1),因为键就是下标;代价是空间随整个键域 m 增长,即使实际只存很少元素也要留位。
独立卡片:直接寻址用键作下标。
原书依据 · 1 处
哈希函数压缩键域
哈希函数 h 把大键域 U 映射到 m 个表槽,让表规模贴近实际存储元素数。它必须对同一键稳定给出同一槽位;若 |U|>m,鸽巢原理保证不同键可能同槽,冲突无法仅靠“看似随机”的函数彻底消除,还须配套处理策略。
独立卡片:哈希函数压缩键域。
原书依据 · 1 处
独立均匀哈希是理想模型
1. 先看数据放在哪里
哈希表像一排带编号的储物格。“键”是用来查数据的标识,例如用户编号;“槽”是数据的存储位置;“哈希函数”根据键算出槽的编号。
假设有 4 个槽,编号为 0、1、2、3。下面是一组演示结果:
这里用 A、B、C 分别代表三个人的用户编号。
| 操作与键 | 槽号 | 结果 |
|---|---|---|
| 存张三(A) | 2 | 数据放到槽 2 |
| 存李四(B) | 0 | 数据放到槽 0 |
| 查张三(A) | 2 | 仍到槽 2 查找 |
| 存王五(C) | 2 | 与 A 碰撞,需另行处理 |
先记住:同一个键的位置要固定;不同键的位置可以重复。 表中的结果只演示操作,不足以证明哈希函数独立、均匀。
2. “均匀”和“独立”分别是什么意思
为了分析性能,书中假设一种理想的分配方式:为每个不同的键随机选一个槽,而且各键的选择彼此独立。每个键的位置一旦选定,以后就不再改变。
以下概率描述的是位置确定之前的理想模型,并非反复查询同一个键得到的统计结果。
| 我们知道的条件 | B 去槽 0 | B 去槽 1 | B 去槽 2 | B 去槽 3 |
|---|---|---|---|---|
| 不知道 A 的位置 | 25% | 25% | 25% | 25% |
| 已知 A 在槽 2 | 25% | 25% | 25% | 25% |
- 均匀:看同一行。 每个槽的概率都相同,没有偏爱的槽。
- 独立:比较两行。 知道 A 的位置后,B 的概率仍然不变。表格演示两个键;完整模型要求所有不同键的选择都彼此独立。
- 固定:位置确定后不重选。 同一个键再次查询时,不会重新随机分配位置。
3. 碰撞概率为什么是 1/m
若 A 已经选中槽 2,B 恰好也选中槽 2 的概率是 25%,也就是 1⁄4。A 无论选中哪个槽,道理都一样。
把槽的数量从 4 换成 m,两个指定的不同键碰撞的概率就是 1/m。独立并不意味着没有碰撞,均匀也不意味着每个槽恰好放一个键。
结构图: 4. 为什么同一个键的位置必须固定
下面只展示定位过程;如果槽里有多个键,还需要进一步辨认目标键。
flowchart TD
A["存入张三:键 A"] --> B["哈希函数算出槽号 2"]
B --> C["到槽 2 存放数据"]
C --> D["之后查张三:仍用键 A"]
D --> E["同一函数仍算出槽号 2"]
E --> F["到槽 2 查找 A 的数据"]
5. 这个模型有什么用
书中用它分析哈希表的平均性能。实际哈希函数需要设法近似这些性质,因此使用性能结论时,要检查它依赖的假设是否成立。
一句话记忆:不同键各自等概率选位置,同一个键选定后位置固定;这是分析用的理想模型。
独立卡片:独立均匀哈希是理想模型。
原书依据 · 1 处
链地址把冲突留在同槽链表
链地址法让每个表槽指向同一哈希值元素的链表。
插入到表头可为 O(1),搜索要遍历相应链;已持有元素指针且使用双向链表时,删除也可 O(1)。
若只给删除键,仍须先查找,不能把删除成本直接记成常数。
独立卡片:链地址把冲突留在同槽链表。
原书依据 · 1 处
负载因子衡量平均链长
链地址表的负载因子 α=n/m,是 n 个元素分布到 m 个槽后的平均链长,可小于、等于或大于 1。它是搜索复杂度中的规模参数:若 n 与 m 同阶,α 维持常数;若表太小,平均要看的链表元素随 α 增长。
独立卡片:负载因子衡量平均链长。
原书依据 · 1 处
哈希搜索期望依赖假设
在独立均匀哈希、计算哈希值为 O(1) 的前提下,链地址表的失败和成功搜索平均时间都是 Θ(1+α)。
失败搜索扫完整条期望长度 α 的链;成功搜索还需假设查询元素在已存 n 个元素中等可能。
所有键落在一槽时仍有 Θ(n) 最坏时间。
独立卡片:哈希搜索期望依赖假设。
原书依据 · 1 处
固定哈希依赖输入分布
固定哈希函数的“键均匀落槽”概率来自输入键的分布;若不了解分布,就无法仅凭函数外观保证平均性能。
随机哈希在运行开始时从函数族中独立于数据地选函数,使概率来自可控的选择过程,降低固定坏输入持续触发碰撞的风险。
独立卡片:固定哈希依赖输入分布。
原书依据 · 1 处
除法哈希取键的余数
除法哈希用 h(k)=k mod m 把整数键映射到 m 个槽,计算简单;若输入键的模式与 m 相关,可能大量碰撞。取不靠近 2 的整次幂的素数作为 m 常有较好表现,但仍没有对任意数据的平均时间保证。
独立卡片:除法哈希取键的余数。
原书依据 · 1 处
乘移哈希截取乘积中间位
乘移法让 w 位键 k 乘以 w 位常数 a,只保留乘积的低 w 位,再取其中最高的 ℓ 位作为槽号,表大小 m=2^ℓ。它可用整数乘法、取模 2^w 与右移高效实现;若 a 固定,速度快仍不保证任意键集的平均性能。
独立卡片:乘移哈希截取乘积中间位。
原书依据 · 1 处
通用哈希限制成对碰撞
通用哈希函数族 H 要求:从 H 均匀随机选 h 后,任意两个不同键同槽的概率至多 1/m。这只约束成对碰撞,不要求每个键独立均匀;配合链地址法且元素数 O(m),任意固定操作序列的期望总成本可为 Θ(操作数)。
独立卡片:通用哈希限制成对碰撞。
原书依据 · 1 处
均匀通用与独立性不同
- 函数族“均匀”指单个键落入每槽概率为 1/m;
- “通用”只要求任意两键碰撞概率≤1/m;
- d 独立则要求任意 d 个不同键的指定槽位联合概率为 1/m^d。
三者衡量不同性质,不能由通用性反推出完整独立均匀哈希。
独立卡片:均匀通用与独立性不同。
原书依据 · 1 处
素数仿射函数族通用
选覆盖键域的素数 p>m,随机取非零 a 和 b,使用 h(k)=((ak+b) mod p) mod m。模 p 的仿射变换把两个不同键映到两个不同余数;再模 m 的成对碰撞概率至多 1/m,因此函数族通用,m 本身不必是素数。
独立卡片:素数仿射函数族通用。
原书依据 · 1 处
随机奇乘数换取速度
在乘移法中随机选奇数乘数 a,可构成 2/m 通用函数族:不同键的碰撞概率至多 2/m,而非通常通用性的 1/m。它以略宽的概率上界换取更快的机器级计算;“2/m 通用”不等于没有保证。
独立卡片:随机奇乘数换取速度。
原书依据 · 1 处
密码哈希可处理变长键
变长字符串难直接编码进单个机器字或小素数域。
密码哈希接收任意字节串并给出固定长度输出,可再映射到表槽;若要组成随机函数族,可给输入加随机盐。
它是实用替代方案,但密码哈希的成本与表操作需求须分开评估。
独立卡片:密码哈希可处理变长键。
原书依据 · 1 处
开放寻址把元素放在表内
开放寻址把元素直接放在哈希表槽中,冲突时按该键的探测序列寻找下一可用槽,无需槽外链表或指针。
若表中已有 n 个元素、共有 m 个槽,负载因子定义为 α=n/m。开放寻址可把原本用于链表指针的空间改作更多槽,但每槽至多一个元素,所以 α≤1;为避免表未满却找不到空位,每个键的探测序列还须覆盖全部 m 个槽。
独立卡片:开放寻址把元素放在表内。
原书依据 · 1 处
删除槽不能直接置空
开放寻址查找遇到真正空槽即可停止,因为插入时也会停在该槽。
若删除旧键时直接置 NIL,后续键的探测路径会被截断,导致误判不存在。
墓碑标记 DELETED 保持路径可穿过,同时允许日后复用槽位;积累墓碑会改变搜索成本分析。
独立卡片:删除槽不能直接置空。
原书依据 · 1 处
双重哈希步长须互素
双重哈希在含 m 个槽的表中,令 i=0,1,… 表示第几次探测,并按 h(k,i)=(h₁(k)+i·h₂(k)) mod m 访问槽位:h₁(k) 决定起点,h₂(k) 决定每次向前跨多少槽,两者都随键 k 变化。
步长与表长 m 必须互素,探测才能遍历全部槽;若 m 是 2 的幂,让步长总为奇数即可。
否则可能在表未满时循环访问少数槽。
独立卡片:双重哈希步长须互素。
原书依据 · 1 处
线性探测只改起点
线性探测是步长固定为 1 的双重哈希:从 h₁(k) 开始逐槽向后查,抵达表尾后回绕。
所有键只因起点不同而有 m 种探测序列,少于一般双重哈希的多种起点与步长组合;它实现简单,但不能假定满足理想的随机置换探测模型。
独立卡片:线性探测只改起点。
原书依据 · 1 处
理想随机探测是分析前提
开放寻址的理想模型假设每个键的探测序列在 m! 个槽位置换中等可能且彼此独立。
双重哈希和线性探测都无法产生全部 m! 个序列,只是实用近似。
因此基于该模型的期望探测上界不能无条件套用到具体实现。
独立卡片:理想随机探测是分析前提。
原书依据 · 1 处
开放寻址探测随负载激增
无删除且满足理想随机探测时,设表中元素数为 n、槽数为 m,负载因子 α=n/m<1。失败查找及插入的期望探测数至多 1/(1−α)。
半满时上界 2,九成满时上界 10;接近满载成本急升。
成功查找还需额外假设已存键等可能被查询,不能混同失败查找界。
独立卡片:开放寻址探测随负载激增。
原书依据 · 1 处
缓存局部性改变哈希取舍
RAM 模型按探测槽数估计哈希表成本,但同一缓存块内的连续访问通常更快。线性探测可能多查几个槽,却少访问主存;选哈希方案时还要计入哈希函数的寄存器计算成本、缓存命中和实际负载,不能只比较探测次数。
独立卡片:缓存局部性改变哈希取舍。
原书依据 · 1 处
线性探测删除可回填空洞
线性探测删除后,可顺着连续槽检查后续键。若某键从自己的起点出发会先遇到空洞,再到达当前槽,就把它前移并继续处理新空洞。
这样保留查找可达性,无需墓碑;该回填法依赖线性探测的共同循环顺序,不可直接套到一般开放寻址。
独立卡片:线性探测删除可回填空洞。
原书依据 · 1 处
主聚集有两面性
线性探测的主聚集是相邻占用槽形成越来越长的连续段,按探测次数会拉长查找;但连续段也让访问更可能留在同一缓存块。它是布局与内存模型共同决定的权衡,不能仅凭聚集长度断定实际耗时。
独立卡片:主聚集有两面性。
原书依据 · 1 处
五独立限制线性探测
“五独立”指对任意五个不同键,它们的哈希槽联合分布与五次独立均匀选择相同。定理 11.9 给线性探测的期望常数操作时间附上明确条件:起始槽哈希函数族满足五独立,且元素数与槽数之比 α≤2/3。搜索、插入、删除都受此界约束。
一般开放寻址的理想随机探测分析不能直接替代这个条件。
独立卡片:五独立限制线性探测。
原书依据 · 1 处
微型哈希保证依赖假设
本章的 wee 哈希用字内二次变换和半字交换多轮混合,长键再逐字折叠,意在把计算留在寄存器。
作者对变长输入的“近似五独立”论证依赖短键版本是随机预言机及 CBC-MAC 安全性的假设,不能当成无条件的安全或五独立证明。
独立卡片:微型哈希保证依赖假设。
原书依据 · 1 处
二独立哈希可作一次性认证
双方秘密随机选取二独立哈希函数,对消息m发送标签h(m)。
攻击者即使看到一个消息与标签,替换成不同m′并猜其标签的成功率仍至多1/p;前提是密钥不泄露且只讨论单次伪造。
独立卡片:二独立哈希可作一次性认证。
原书依据 · 1 处
完美哈希对固定键集无冲突
完美哈希针对已知静态键集选择哈希方案,使该集合内不同键不落同一槽;“完美”只针对这组键,而非整个可能键宇宙。
键集变化时须重新考虑映射。
独立卡片:完美哈希对固定键集无冲突。
原书依据 · 1 处
第12章 二叉搜索树
二叉搜索树对每个结点的整棵左右子树施加键序约束,因此可以沿一条路径查找、插入或寻找相邻键。中序遍历能得到键序,删除则需在修改连接时保持约束。操作时间随树高变化,单有键序并不能保证树矮;这正是下一章引入平衡机制的原因。
本节在全书中的作用:把动态集合的查找与更新落实到按键排序的二叉树,说明操作成本取决于树高,并为后续平衡树提供基线。
展开顺序:搜索树约束覆盖整棵左右子树,允许相等键;中序遍历按非降序输出全部键,访问每个节点的总成本为 Θ(n)。查找、极值、前驱与后继只沿一条向下或向上的路径,均为 O(h),其中后继在有右子树时取右侧最左节点,否则上行到首个左分支祖先。插入沿比较路径抵达 NIL,需要保存父节点以连接新节点。删除时先按孩子数量分支;双子节点用无左孩子的后继接替,后继是否恰为右孩子决定是否先移出旧位置。TRANSPLANT 只改子树入口与父指针,内部左右连接由调用者完成。相等键的分支策略会影响树形;章末基数树问题用路径表示位串前缀,其线性排序是待证目标。章注解释搬迁后继可保证真正删除传入节点,避免外部引用指向误删节点。所有路径操作仍可能因树退化达到 O(n),平衡保证留待下一章。
# 第12章 二叉搜索树
## 键序与路径查询
- 动态集合的有序键
- 整棵子树满足搜索树约束
- 中序遍历输出非降序键
- 查找、极值与后继沿单一路径
## 插入删除与移植
- 插入沿路径定位 NIL 并保存父指针
- 删除按孩子数量分支
- 双子节点搬迁后继
- 移植只修复入口与父指针
## 高度与平衡
- 树高决定路径操作成本
- 退化风险引出平衡树
树高决定基本操作成本
搜索树的查找、最小值、前驱、插入和删除都沿树上的路径操作,成本随树高 h 变化。平衡形态可到 O(log n),退化成链表则可能 O(n);讨论二叉搜索树的性能时,必须同时说明树形和高度条件。
独立卡片:树高决定基本操作成本。
原书依据 · 1 处
搜索树约束作用于整棵子树
二叉搜索树要求每个节点的左子树全部键不大于该节点,右子树全部键不小于它,且对每个子树递归成立。
仅比较直接子节点不够;书中允许相等键,因此这个版本不是严格小于关系。
独立卡片:搜索树约束作用于整棵子树。
原书依据 · 1 处
中序遍历按键序输出
在二叉搜索树中依次遍历左子树、当前节点、右子树,就按非降序输出键,包括重复键。每个节点只访问常数次,所以 n 节点遍历为 Θ(n);树高主要影响递归深度,不把总访问量变成 Θ(n log n)。
独立卡片:中序遍历按键序输出。
原书依据 · 1 处
查找只沿一条比较路径
查找目标键时,每个节点比较后只进入可能含该键的一侧;相等即停,走到 NIL 则不存在。访问节点形成从根向下的一条路径,因此成本是 O(h),与中序遍历的全树扫描不同。
独立卡片:查找只沿一条比较路径。
原书依据 · 1 处
极值沿同一方向查找
子树的最小键位于不断向左走到的末节点,最大键对称地向右找。
起点须是非空子树根;若重复键存在,返回的是一个极值节点,不保证唯一节点。
搜索范围是一条路径,耗时 O(h)。
独立卡片:极值沿同一方向查找。
原书依据 · 1 处
后继按右子树和祖先分支
- 节点有右子树时,中序后继是右子树最左节点;
- 没有右子树时,向上找到第一个从其左侧路径进入的祖先。
这里后继指中序遍历的下一节点,即使存在相等键也适用,不能一律解释成“严格更大的键”。
独立卡片:后继按右子树和祖先分支。
原书依据 · 1 处
插入需保留尾随父指针
插入沿比较路径向下走到 NIL,再把新节点接到该位置。下降时保留上一节点 y:找到 NIL 后当前位置已为空,只有 y 能确定要改哪条子指针;空树时则直接更新根。
独立卡片:插入需保留尾随父指针。
原书依据 · 1 处
子树移植不修复新子树内部
TRANSPLANT 把子树 u 在父节点处的入口替换为 v,并更新 v 的父指针;v 可以是 NIL。
它不设置 v 的左右孩子,因此调用者必须完成内部连接,特别是双子节点删除时,不能把一次移植当成整段删除算法。
独立卡片:子树移植不修复新子树内部。
原书依据 · 1 处
双子节点删除需搬迁后继
删除有两个孩子的节点 z 时,用其右子树最小节点 y 接替。
- 若 y 就是 z 的右孩子,保留 y 原右子树;
- 否则先以 y 的右孩子填补 y 原位置,再把 z 的左右子树接到 y。
后继没有左孩子是这些指针操作成立的关键。
独立卡片:双子节点删除需搬迁后继。
原书依据 · 1 处
相等键策略影响树形
本章插入伪代码在键相等时走右边;大量相同键会形成长链。
章末问题提出交替方向、节点内链表或随机方向等处理策略,但只是待分析方案,不能把其复杂度视为本章已证明保证。
独立卡片:相等键策略影响树形。
原书依据 · 1 处
基数树以路径表示键前缀
基数树(trie)用逐位分支表示位串:第 i 层按第 i 位选左或右,路径本身确定键,内部节点可只用于连接而非存储键。
它适合按公共前缀组织字符串;本章 Θ(n) 字典序排序是问题要求证明的目标,不把它误写成已证结论。
独立卡片:基数树以路径表示键前缀。
原书依据 · 1 处
删除真实节点避免陈旧引用
早期删双子节点的做法是复制后继的键和值到待删节点,再实际删除后继;若外部保存节点指针,就会留下指向已删除后继的陈旧引用。
本版改为搬迁后继节点,保证传入的 z 本身被删。
数据结构 API 的节点身份语义会决定删除算法。
独立卡片:删除真实节点避免陈旧引用。
原书依据 · 1 处
第13章 红黑树
红黑树在搜索树的键序之外维护颜色和黑高等约束,从而限制树的高度。旋转改变局部形状但保持中序键序,重新着色和旋转共同修复插入、删除造成的约束破坏。理解它时应区分两种不变式:键序让查询正确,平衡约束让查询具有对数级最坏时间。
本节在全书中的作用:用颜色和黑高约束把普通搜索树的树高限制在对数级,并展示插入、删除后如何通过着色与旋转恢复约束。
展开顺序:五条红黑性质规定根与 NIL 叶为黑、红节点不接红孩子,且同一起点到叶的黑节点数相同。黑高不计当前节点,结合红节点不连续与子树至少含 2^bh−1 个内部节点,得到 h≤2lg(n+1),从而基本集合操作最坏 O(log n)。共享的黑色 T.nil 简化边界处理,但其父指针由当前操作设置。左右旋只改常数条指针并保持搜索树顺序。插入先把新节点标红以保留黑高;红叔叔时重着色并向上递推,黑叔叔时将折线旋为直线,再着色和旋转消除红红冲突,整次插入最多两次旋转。删除须保存实际移走节点 y 的原色;黑色丢失时在接替节点 x 上暂记额外黑色,依兄弟及其孩子颜色分四种可连续进入的情形修复,其中只有全黑兄弟分支反复上行,至多三次旋转。章末持久树、AVL 树属于问题中的设计和待证结论;伸展树给出摊还界,跳表给出期望界,均不同于本章红黑树的确定性最坏界。
# 第13章 红黑树
## 平衡约束及代价
- 普通搜索树可能退化
- 五条颜色与黑高约束
- 高度至多 2lg(n+1)
- 集合操作最坏对数时间
## 局部维护
- 共享黑色哨兵处理空叶
- 旋转保留键序
## 插入与删除修复
- 插入:标红后按叔叔颜色修复
- 删除:保存原色并处理额外黑色
- 按兄弟及侄节点颜色分支
- 插入修复最多两次旋转
- 删除修复最多三次旋转
红黑树五条颜色约束
红黑树先满足二叉搜索树的键序,再满足五条颜色约束:
- 每个节点非红即黑;
- 根节点为黑;
- 所有
NIL叶为黑; - 红节点的两个孩子均为黑,因此红节点不能相邻;
- 从任一节点到其所有后代
NIL叶的简单路径,所含黑节点数相同。
约束的是路径黑数与红节点相邻性,不要求左右子树节点数完全相同。
独立卡片:红黑树五条颜色约束。
原书依据 · 1 处
黑高不计当前节点
节点黑高 bh(x) 是从 x 出发、但不计 x 本身到叶路径上的黑节点数。由于每条下降路径黑数相同,它才是定义良好的量;分析红黑树高度时要先说清是否计入起点和 NIL 叶。
独立卡片:黑高不计当前节点。
原书依据 · 1 处
红黑树高度有对数上界
红节点不能连续,使任一路径至少约一半节点为黑;黑高为 b 的子树至少有 2^b−1 个内部节点。
两者合起来得到 h≤2lg(n+1),所以基本集合操作最坏 O(log n)。
这个保证依赖颜色约束在每次更新后仍成立。
独立卡片:红黑树高度有对数上界。
原书依据 · 1 处
共享哨兵简化边界条件
用同一个黑色 T.nil 代表所有空孩子和根的父节点,可以让空孩子参与普通节点式的代码处理而节省独立哨兵的空间。其父指针可由操作临时设置,不能把它当成始终对应唯一叶节点的固定父关系。
独立卡片:共享哨兵简化边界条件。
原书依据 · 1 处
旋转保留搜索树顺序
左旋以 x 的右孩子 y 为新子树根,把 y 原左子树转为 x 的右子树;右旋对称。
只改常数条指针,保持中序键顺序和搜索树约束,但旋转本身不保证红黑颜色条件,修复时需配合重新着色。
独立卡片:旋转保留搜索树顺序。
原书依据 · 1 处
新节点标红保留黑高
红黑树先按普通搜索树位置插入,再把新节点设红。它替代原黑色 NIL 时不改变已有路径的黑节点数,故主要待修复的是红根或红父子相邻;直接套普通 BST 插入虽快,却不能保证更新后的树合法。
独立卡片:新节点标红保留黑高。
原书依据 · 1 处
红叔叔使冲突向上传递
插入后若新节点和父节点均红且叔叔也红,可把父、叔染黑,祖父染红,保留黑高并把可能的新冲突上移到祖父。此分支不旋转,但可能沿祖先重复,最后仍须把根染黑。
独立卡片:红叔叔使冲突向上传递。
原书依据 · 1 处
原书依据 · 1 处
插入旋转次数受常数限制
红叔叔分支可能把修复点逐层上移,因此整次插入仍需 O(log n);但一旦进入旋转分支,循环结束,整次插入最多两次旋转。
比较平衡树时应区分总时间和结构改动次数。
独立卡片:插入旋转次数受常数限制。
原书依据 · 1 处
删除须保存原颜色
红黑树删除沿普通 BST 的移植结构处理,但需记录真正被移除或搬迁节点 y 的原颜色。原来是黑色才可能破坏黑高并触发修复;仅查看输入节点 z 的颜色会在双子节点分支判断错误。
独立卡片:删除须保存原颜色。
原书依据 · 1 处
删除修复依赖哨兵父指针
删除时接替原位置的 x 可能就是共享哨兵 T.nil。修复过程仍会访问 x.p,因此 RB-TRANSPLANT 无条件设置接替节点的父指针;若后继恰是 z 的右孩子,还须显式设置 x.p=y。省略这一步会使边界分支走错。
独立卡片:删除修复依赖哨兵父指针。
原书依据 · 1 处
额外黑色是修复记账法
删除黑节点后,把缺少的一个黑节点数暂时记在接替节点 x 上,称“额外黑色”。
这只是推理和指针位置的记账,不是把 color 字段改成第三种值;修复通过向上传递或旋转着色消除它。
独立卡片:额外黑色是修复记账法。
原书依据 · 1 处
删除修复按兄弟颜色分流
删除修复以 x 为左孩子为例:
- 红兄弟先旋成黑兄弟;
- 黑兄弟且两孩子黑则把额外黑向上推;
- 近侧红、远侧黑先旋成远侧红;
- 远侧红再旋转着色终结。
右孩子情形镜像处理,不能把四种分支当成互斥的一次选择。
独立卡片:删除修复按兄弟颜色分流。
原书依据 · 1 处
删除至多三次旋转
删除修复只有兄弟与其两孩子皆黑的分支会重复,且每次把指针向根推进;其余分支经常数次重着色和最多三次旋转结束。因此删除总耗时 O(log n),旋转次数有常数上界。
独立卡片:删除至多三次旋转。
原书依据 · 1 处
持久树只复制修改路径
持久集合保存每个版本的根。
插入时复制从根到目标位置的受影响节点,并与旧版本共享未变子树,避免整树复制;本章问题以无父指针节点为前提,完整插入、删除复杂度仍是题目要求论证的部分。
独立卡片:持久树只复制修改路径。
原书依据 · 1 处
AVL树限制左右子树高度差
AVL 树也是二叉搜索树,但要求每个节点的左右子树高度差至多 1,并在节点维护高度。
与红黑树按颜色和黑高约束不同;本章只在问题中给出定义,对数高度及插入过程留作证明与设计。
独立卡片:AVL树限制左右子树高度差。
原书依据 · 1 处
伸展树用摊还成本衡量
章末介绍的伸展树不维护显式颜色等平衡条件,而在每次访问时通过旋转调整树形;单次操作未必有对数最坏界,书中给的是每次操作 O(log n) 的摊还界。
比较平衡树保证时需分清最坏与摊还。
独立卡片:伸展树用摊还成本衡量。
原书依据 · 1 处
跳表用额外指针加速查找
跳表在有序链表上增加多层跨越指针,让查找、插入和删除能跳过大量节点;它是平衡搜索树的替代结构,字典操作的期望时间为O(log n),但不提供同样的确定性最坏界。
独立卡片:跳表用额外指针加速查找。
原书依据 · 1 处
第四部分 高级设计和分析技术
这一部分把算法构造与代价证明向前推进。动态规划保存重复子问题的结果,贪心尝试把局部选择扩展为整体最优,摊还分析则给一串操作的总成本建立界。前两者主要讨论怎样设计解,后者讨论怎样计算已有结构的代价,不能因为同处一部分就把三者当成固定执行步骤。
本节在全书中的作用:为第四部分的动态规划、贪心算法与摊还分析建立方法边界,并指明它们各自适用的问题类型和后续章节。
展开顺序:动态规划面向反复出现同形子问题的优化选择,保存已求结果以避免重复计算;原文仅说它有时可把指数时间改为多项式时间。贪心算法逐步作局部最优选择,通常更快,但局部选择能否得到全局最优需在具体问题中证明。摊还分析针对一串相似操作的实际总成本给最坏界,容许个别操作昂贵而其他操作便宜,不能误读为每次操作的最坏界或随机输入平均值。第 14–16 章分别展开这三种方法。
# 第四部分 高级设计和分析技术
## 设计和分析方法
- 高级算法设计与分析
- 动态规划
- 贪心算法
- 摊还分析
## 各方法的依据
- 重叠子问题与结果复用
- 局部选择及整体最优证明
- 操作序列的总成本上界
动态规划复用重叠子问题
优化问题的选择会反复产生相同形式的子问题时,动态规划保存已求出的子问题答案,避免重复计算。它能把某些指数时间求解改成多项式时间,但前提是子问题结构适合复用,不能对所有优化问题套用。
独立卡片:动态规划复用重叠子问题。
原书依据 · 1 处
贪心选择须证明整体最优
贪心法每一步取局部最优,往往比动态规划更快;局部最优是否构成全局最优却必须由问题结构证明。
本引言只给方法概念,具体成立条件留待第 15 章核对。
独立卡片:贪心选择须证明整体最优。
原书依据 · 1 处
摊还分析约束整段操作
摊还分析针对一串操作给出整体实际成本的最坏界,允许个别操作昂贵但被大量便宜操作抵消。它不是假设输入随机后的平均复杂度,也不是逐次操作都满足同一最坏成本。
独立卡片:摊还分析约束整段操作。
原书依据 · 1 处
第14章 动态规划
动态规划把大问题的最优值写成较小状态的递推,并保存结果以避免重复求解。状态必须保留未来选择所需的信息,求值顺序必须满足依赖。最优值和具体方案是不同输出:需要方案时还要记录决策并重建。钢条切割、矩阵链、公共子序列和最优搜索树展示了同一方法下不同的状态设计。
本节在全书中的作用:用切杆、矩阵链、最长公共子序列和最优二叉搜索树说明动态规划的建模、证明、计算与方案重建;章末问题展示方法的迁移边界。
展开顺序:先找最优子结构并证明替换合法,再定义能表达依赖的状态、列出全部可行选择和边界,按依赖顺序自底向上填表或仅对需要的状态记忆化。切杆揭示朴素递归的重复计算;矩阵链以区间及分割点建模,只优化乘法计划;最长公共子序列以两段前缀为状态,连续性不作要求;最优搜索树同时计入成功与失败查询的概率,以连续键区间和根选择最小化期望成本。仅求最优值时可以压缩存储;要输出方案,还需保存决策或足够的回溯信息。最优子结构须结合资源约束验证,最长简单路径不能随意拼接。章末练习将状态设计迁移到回文子序列、双调回路、排版、编辑距离、聚会、维特比路径、接缝、切割、投资、库存和球员选择等;练习陈述并不自动证明每个变体都有同样的最优子结构。章节注释以状态表大小和每个状态依赖项数区分复杂度。
# 第14章 动态规划
## 状态与递推
- 定义优化目标与状态
- 证明最优子结构和边界
- 枚举合法选择并写递推
## 求值与重建
- 记忆化: 仅求需要的状态
- 自底向上: 按依赖填表
- 最优值
- 保存决策并回溯
## 资源与空间边界
- 考虑压缩空间
- 检验资源共享与适用边界
仅求最优值可省重建
动态规划先刻画最优解结构、定义最优值递推、计算最优值,再根据决策记录重建方案。
若问题只要求最优值,可省最后一步;若要具体方案,应在求值时保存决策,避免事后重新搜索。
独立卡片:仅求最优值可省重建。
原书依据 · 1 处
最优子结构支持局部替换
切杆首次切开后,两段在给定价格表下可独立优化;如果某段不是自身最优,用更优切法替换即可提高总收入,与整体最优矛盾。这是最优子结构的依据。
迁移到别的问题时,要核对各子问题是否真能独立组合。
独立卡片:最优子结构支持局部替换。
原书依据 · 1 处
切杆递推包含不切方案
设 pᵢ 是长度 i 的整段售价,rⱼ 是长度 j 的杆经过最优切分后可得的最大收入,并令 r₀=0。若第一段取长度 i,剩余长度就是 n−i,因此递推在 i=1…n 中取 pᵢ+rₙ₋ᵢ 的最大值。i=n 正好表示整根不切;若排除它,pₙ 较高时会算错。
补充教学演示(价格取自书中价格表):长度 4 时,p₁…p₄=1,5,8,9,且 r₁…r₃=1,5,8。
| 首段长度 i | 候选收入 pᵢ+r₄₋ᵢ |
|---|---|
| 1 | 1+8=9 |
| 2 | 5+5=10 |
| 3 | 8+1=9 |
| 4(不切) | 9+0=9 |
因此 r₄=10,对应切成 2+2;表格演示的是递推如何比较候选,不是运行实测。
独立卡片:切杆递推包含不切方案。
原书依据 · 1 处
朴素递归重复相同切杆
直接按切杆递推递归调用,会反复求同一剩余长度的最优收入。
长度 n 有 n−1 个可切位置,切法达 2^(n−1);递归树中大量同标签节点解释了指数工作量,问题不在于状态数量本身多。
独立卡片:朴素递归重复相同切杆。
原书依据 · 1 处
记忆化以空间换时间
记忆化在首次求出子问题答案后缓存,以后按状态查表而不重算。它增加存储和查找开销,却可在独立子问题数及每个状态求解成本均为多项式时把重复递归降到多项式时间;不应只凭“用了缓存”断言一定高效。
独立卡片:记忆化以空间换时间。
原书依据 · 1 处
自底向上遵循依赖顺序
自底向上先解规模更小的切杆状态,填入 r[0…n];计算长度 j 时,所有 r[j−i] 已可直接读取。
通用约束是先算依赖项再算当前项,并非所有动态规划都只需按一个整数长度排序。
独立卡片:自底向上遵循依赖顺序。
原书依据 · 1 处
切杆两种动态规划同阶
记忆化与自底向上都只求长度 0…n 的各状态一次;每个长度 j 枚举 j 种首段选择,总枚举次数为算术级数,均为 Θ(n²)。
自底向上通常少递归调用开销,若只触及部分状态,记忆化可能有优势。
独立卡片:切杆两种动态规划同阶。
原书依据 · 1 处
子问题图揭示计算规模
子问题图以每个不同状态为顶点、直接依赖为有向边,可视为把递归树中重复状态折叠合并。自底向上须按依赖的反向拓扑顺序计算;若处理一个状态的成本与出边数成正比,总成本通常随顶点加边数增长。
独立卡片:子问题图揭示计算规模。
原书依据 · 1 处
最优值不等于最优方案
切杆的 r[j] 只记录最大收入,不能直接给出切法。求值时另存使该最大值成立的首段长度 s[j],输出后把 j 改为 j−s[j],反复读取决策直至 0,才得到完整切分。
独立卡片:最优值不等于最优方案。
原书依据 · 1 处
矩阵乘法顺序改变成本
矩阵乘法满足结合律,不同加括号方式结果相同,但中间矩阵维度不同。
10×100、100×5、5×50 三矩阵先算前两者只需 7500 次标量乘法,先算后两者需 75000 次;优化对象是计算顺序而非结果。
独立卡片:矩阵乘法顺序改变成本。
原书依据 · 1 处
矩阵链问题只求乘法计划
矩阵链最优化输入是维度序列 p₀,…,pₙ,其中第 i 个矩阵 Aᵢ 的维度为 pᵢ₋₁×pᵢ。目标是给乘积 A₁A₂⋯Aₙ 加括号,使标准乘法的标量乘法次数最低。
求解阶段不实际计算矩阵乘积;真正执行可使用所得顺序。
独立卡片:矩阵链问题只求乘法计划。
原书依据 · 1 处
矩阵链穷举括号数指数增长
完整括号化把 n 个矩阵递归拆成左右两个子链,分界有 n−1 种,因而所有括号化方案数随 n 指数增长。即使每种方案的代价易算,逐一穷举也不是有效的求最优顺序方法。
独立卡片:矩阵链穷举括号数指数增长。
原书依据 · 1 处
矩阵链状态需双端索引
矩阵链的子问题是连续区间 A_i…A_j。
某次分割后会出现右侧中间区间,若只用“从 A1 开始的前缀”作状态,依赖不封闭;必须让起点 i、终点 j 都变化。
独立卡片:矩阵链状态需双端索引。
原书依据 · 1 处
矩阵链递推枚举所有分割
设矩阵 Aᵢ 的维度为 pᵢ₋₁×pᵢ,m[i,j] 表示连乘 Aᵢ…Aⱼ 所需的最少标量乘法数;单个矩阵无需相乘,所以 m[i,i]=0。
若最后一次乘法在 k 处分割,左结果维度为 pᵢ₋₁×pₖ,右结果为 pₖ×pⱼ,合并需 pᵢ₋₁pₖpⱼ 次标量乘法。总成本因此为 m[i,k]+m[k+1,j]+pᵢ₋₁pₖpⱼ,须对所有 i≤k<j 取最小。
只比较两端局部乘法,不能保证全链最优。
独立卡片:矩阵链递推枚举所有分割。
原书依据 · 1 处
矩阵链按区间长度填表
计算 m[i,j] 时需先得到所有更短左右子区间的成本,因此从长度 1 的对角线起,逐步填长度 2、3…n 的区间。
n 个矩阵共有 Θ(n²) 个区间状态,每态最多枚举 n−1 个分割,时间 O(n³)、表空间 Θ(n²);紧时间界留待习题证明。
独立卡片:矩阵链按区间长度填表。
原书依据 · 1 处
最优分割表重建括号
m 表只给最少乘法次数;另记 s[i,j] 为达到最小成本的分割点,便可递归输出左区间与右区间的括号结构。
若需要实际乘法顺序,不能只保留最终 m[1,n] 的数值。
独立卡片:最优分割表重建括号。
原书依据 · 1 处
最优子结构可用替换法验证
先假设全局最优解做了某个选择,再检查其产生的子问题:若所用子解还有更优版本,用更优版本替换便改进全局解,形成矛盾。这个论证要确认替换不改变别的约束或选择,否则不能据此宣称动态规划适用。
独立卡片:最优子结构可用替换法验证。
原书依据 · 1 处
状态空间须覆盖真实依赖
设计动态规划状态时,每种转移产生的子问题都必须还能由同一状态定义表达,这叫依赖闭合。
矩阵链若只定义“前 j 个矩阵 A₁…Aⱼ 的最优成本”,在 k 处分割后,右侧子问题是 Aₖ₊₁…Aⱼ,它不从 A₁ 开始,已经落在前缀状态空间外。把状态改成任意连续区间 (i,j) 后,两个依赖 (i,k) 与 (k+1,j) 才都可表示。
状态数量与每个状态枚举的分割点数量共同决定时间:矩阵链有 Θ(n²) 个区间状态,每个最多试 O(n) 个 k,所以直接填表为 O(n³)。
独立卡片:状态空间须覆盖真实依赖。
原书依据 · 1 处
动态规划先解子题再选择
动态规划通常先求候选子问题的最优值,再比较哪个选择组成全局解;
贪心则先作眼前最好的选择,再求余下子问题。
两者都可能有最优子结构,但仅凭此性质不能推断贪心正确。
独立卡片:动态规划先解子题再选择。
原书依据 · 1 处
最长简单路径不能任意拼接
最长简单路径拆成两段后,各段独立求得的最长路径可能共用顶点,拼起来会重复顶点而失去“简单”资格。因此原问题的最优路径中的子段未必是对应端点间最长简单路径,不能直接套最短路径式动态规划。
独立卡片:最长简单路径不能任意拼接。
原书依据 · 1 处
子问题独立性取决于资源
若两个子问题解争用同一资源,分别最优未必能合法合并。
最长简单路径的资源是已访问顶点;一段用了某顶点,另一段就不能再用。
最短路径的替换论证可排除这种重复,切杆和矩阵链的子段也不争用。
独立卡片:子问题独立性取决于资源。
原书依据 · 1 处
重叠子问题是重复状态
动态规划的第二条件是不同递归分支反复遇到同一个子问题,而不同状态总数通常远小于递归调用数,常为多项式。缓存同一状态可消除重复计算;分治若每步产生全新子问题,记忆化通常无从节省。
独立卡片:重叠子问题是重复状态。
原书依据 · 1 处
矩阵链递归重复区间
朴素矩阵链递归逐一试分割,同一 (i,j) 区间会在多条递归分支被重算,调用树至少指数增长;真正不同的区间状态只有 Θ(n²)。性能改进来自一次求值、多次查表,而非改变最优分割递推。
独立卡片:矩阵链递归重复区间。
原书依据 · 1 处
备忘录只求所需状态
自顶向下备忘录用特殊值标记未算状态;首次访问递归求值并保存,再次访问直接返回。
若只触及部分状态,可少于自底向上的全表计算;若全部状态必到,自底向上通常少递归与维护开销。
独立卡片:备忘录只求所需状态。
原书依据 · 1 处
原书依据 · 1 处
最长公共子序列可不唯一
LCS 在两个序列的共同子序列中寻找最大长度,最优解可能不止一条。
算法若只输出一条满足最大长度的结果即可;比较 DNA 等序列时,LCS 是一种相似性定义,不等于唯一或全面的相似度结论。
独立卡片:最长公共子序列可不唯一。
原书依据 · 1 处
LCS状态取两个前缀
最长公共子序列的自然子问题由 X 的前 i 个元素与 Y 的前 j 个元素共同确定,空前缀也需纳入状态。
第 15 单元只引出这个状态范围;末字符相同或不同的完整递推须接着核对后文,不能提前定论。
独立卡片:LCS状态取两个前缀。
原书依据 · 1 处
LCS按末字符分支递推
令 c[i,j] 为 X 前 i 项与 Y 前 j 项的 LCS 长度。
任一前缀为空时值为 0;末字符相同就取 c[i−1,j−1]+1,否则取 c[i−1,j] 与 c[i,j−1] 较大者。
相等时只需对角子问题,这个分支来自定理 14.1 的最优子结构。
独立卡片:LCS按末字符分支递推。
原书依据 · 1 处
LCS表格有二元状态规模
两序列长度分别为 m、n 时,LCS 的状态是所有前缀对,共 Θ(mn) 个。每个 c[i,j] 只依赖左、上、左上已算格,按行填表每格常数时间,总时间 Θ(mn);不可把朴素递归的重复分支成本混入填表界。
独立卡片:LCS表格有二元状态规模。
原书依据 · 1 处
LCS回溯需保留路径信息
长度表 c 的右下角只给 LCS 长度。
若在计算时用 b[i,j] 记录所选来源,回溯对角箭头即可输出被选中的相等元素;上、左箭头只移动状态。
不同并列选择可能得到不同但同长度的 LCS。
独立卡片:LCS回溯需保留路径信息。
原书依据 · 1 处
LCS省空间取决于所求输出
若仅求 LCS 长度,逐行填表只需当前行和前一行,可降低空间。
若还要按 O(m+n) 回溯元素,只留两行会丢失所需历史;可省 b 表而依赖完整 c 表,但总渐近空间仍是 Θ(mn)。
独立卡片:LCS省空间取决于所求输出。
原书依据 · 1 处
最优搜索树计入失败查询
已知有序键的成功查询概率 p_i 之外,还要为每个相邻键间隙和两端设置失败查询的虚拟键 d_0…d_n,概率 q_i。
最优 BST 的目标是按这些概率最小化期望访问节点数;忽略失败查询会改变优化问题。
独立卡片:最优搜索树计入失败查询。
原书依据 · 1 处
最小树高未必期望最优
平衡树可约束单次查找最坏高度,但高频键可能离根较远。
已知查询分布时,最优 BST 最小化加权期望搜索代价,未必高度最低,也不一定把最高频键放在根;设计目标与最坏高度保证不同。
独立卡片:最小树高未必期望最优。
原书依据 · 1 处
最优搜索树子问题是连续键区间
BST 的任一子树包含一段连续有序键 k_i…kj,连同边界虚拟键 d(i−1)…d_j。若整体树最优,该子树对同一区间概率也须最优,否则替换为更低期望成本子树可改进整体。
独立卡片:最优搜索树子问题是连续键区间。
原书依据 · 1 处
空搜索子树仍含虚拟键
最优 BST 中,qⱼ 表示一次失败查询落在第 j 个键间隙的概率,e[i,j] 表示包含真实键 kᵢ…kⱼ 的子树期望搜索成本。根选在区间端点时,一侧可能没有真实键,但空侧仍对应一个失败查询虚拟键 dᵢ₋₁。
因此空区间的基例是 e[i,i−1]=qᵢ₋₁,不能设成 0;这一基线让失败查询的概率仍计入期望成本。
独立卡片:空搜索子树仍含虚拟键。
原书依据 · 1 处
最优搜索树枚举根与权重
对有序键区间 [i,j] 枚举根 r。设 e[i,j] 是该区间的最小期望搜索成本,w(i,j) 是区间内所有成功查询概率 pᵢ…pⱼ 与失败查询概率 qᵢ₋₁…qⱼ 的总和。
把左右最优子树接到根下后,区间内每类查询的深度都增加 1,所以除左右成本外还要加一次总概率 w(i,j):e[i,j]=minᵣ(e[i,r−1]+e[r+1,j]+w(i,j))。
只比较根自身概率 pᵣ,无法计入两侧成功与失败查询的深度代价。
独立卡片:最优搜索树枚举根与权重。
原书依据 · 1 处
区间权重表避免重复求和
最优 BST 同时维护 w[i,j]:空区间为 q_(i−1),扩展到 j 时加 p_j 与 q_j。这样每个区间权重可常数时间更新,避免每试一棵候选树都重新求和;还需 e 表求值、root 表保存重建用的根。
独立卡片:区间权重表避免重复求和。
原书依据 · 1 处
最优搜索树三重循环成本
按区间长度递增填 e 和 root,每个 [i,j] 枚举该段所有根。原书给此实现 Θ(n³) 时间;题目给出的根索引单调性可优化,但本章尚未在正文实现,不把优化界当作当前伪代码性能。
独立卡片:最优搜索树三重循环成本。
原书依据 · 1 处
回文子序列允许跳字符
回文是正反读相同的非空串;“最长回文子序列”允许从原串跳过字符,但剩余字符须保序,不能与最长回文子串混同。
本章问题要求设计高效算法,未提供可直接验收的递推或复杂度。
独立卡片:回文子序列允许跳字符。
原书依据 · 1 处
双调回路限定横坐标顺序
双调欧氏旅行路线从最左点严格向右走到最右点,再严格向左回到起点。这个额外顺序约束缩小了可行路线集合;示例中最短双调路线比无约束最短路线长,不能把两者的最优值混同。
独立卡片:双调回路限定横坐标顺序。
原书依据 · 1 处
整齐排版用立方惩罚空白
本章的整齐排版问题限定等宽字体、词间一个空格及每行最大 M 字符。
目标是最小化除末行外各行尾部剩余空格数的立方和。
惩罚函数和末行豁免是模型的一部分,改变它们会改变最优换行结果。
独立卡片:整齐排版用立方惩罚空白。
原书依据 · 1 处
编辑距离依赖允许操作成本
编辑距离在给定操作集与费用下,是把源串变成目标串的最低费用操作序列成本。
本题允许复制、替换、删除、插入、交换相邻字符与末尾清除,各有不同费用;若操作集或费用改变,距离与最优操作序列也会变。
独立卡片:编辑距离依赖允许操作成本。
原书依据 · 1 处
维特比模型寻找匹配路径
本章习题把语音模型写成带声音标签的有向图:从起点出发的路径拼接边标签,形成声音序列。给定观测序列,任务先找标签匹配的路径,再在边有转移概率时选乘积概率最大的路径;习题只要求设计算法。
独立卡片:维特比模型寻找匹配路径。
原书依据 · 1 处
接缝是逐行邻接像素路径
图像接缝由每行选一个像素构成,相邻两行所选像素须在同列或相邻列;删掉整条接缝可使图片窄一列。若每像素有破坏度,目标是找总破坏度最低的接缝;本章将求解算法留作习题。
独立卡片:接缝是逐行邻接像素路径。
原书依据 · 1 处
字符串切割顺序影响成本
若每次切割都复制当时的整段字符串,切同一组位置的先后顺序会改变总复制量。
书中 20 字符、位置 2/8/10 的例子,左到右耗时 50,右到左耗时 38;因此最小成本切割须把区间及下一切点纳入决策。
独立卡片:字符串切割顺序影响成本。
原书依据 · 1 处
状态表大小与依赖数分开估
章末给动态规划分类:表规模 O(n^t),每个状态依赖 O(n^e) 个其他状态,分别记作 tD/eD。它提醒估计总成本时既看状态数,也看每态转移范围;该记号是文献分类,不是任何动态规划都自动达到的时间公式。
独立卡片:状态表大小与依赖数分开估。
原书依据 · 1 处
独立与重叠是不同维度
同一原问题产生的两个子问题“独立”,指其解不争用资源;
不同递归分支中的子问题“重叠”,指它们其实是同一个状态。
动态规划可同时要求前者便于组合、后者便于缓存,两种性质并不矛盾。
独立卡片:独立与重叠是不同维度。
原书依据 · 1 处
第15章 贪心算法
贪心算法每一步选当前看起来最有利的动作,通常比枚举所有决策简单。要保证整体最优,必须证明某个最优解能够包含这一步选择,再处理剩余子问题;局部直觉本身不够。活动选择和编码提供成功例子,与动态规划及反例对照,有助于辨认何时可以安全舍弃其他选择。
本节在全书中的作用:在动态规划之后,说明何时可以先作局部选择再解决剩余子问题,并用活动选择、霍夫曼编码和离线缓存分别证明贪心选择的安全性。
展开顺序:活动选择先有枚举中间活动的动态规划状态,再以最早结束活动的交换论证把选择缩为一个后缀子问题;预按结束时间排序后线性扫描。贪心选择性质与最优子结构均需证明,二者不能仅由问题外观推断。分数背包允许拆分,按单位价值选取可行;零一背包的整件约束给出反例。霍夫曼编码以频率加权的码字长度为目标:前缀码可即时解码,两个最低频字符能位于某棵最优树的最深兄弟叶,合并后仍保留最优子结构;用最小堆反复合并需 O(n lg n) 时间。离线缓存已知未来请求,满缓存未命中时逐出下次访问最晚的块;交换证明需比较两方案的缓存状态和未命中补偿,在线 LRU 不能直接取得相同未来信息。章末换币和平均完成时间是应用问题,其结论须分别证明,不能直接照搬前述规则。
# 第15章 贪心算法
## 贪心设计与证明
- 优化问题
- 提出局部选择
- 证明贪心选择安全
- 证明剩余问题最优子结构
- 实现高效选择
## 典型应用与反例
- 活动选择: 交换最早结束项
- 霍夫曼: 合并最低频叶
- 离线缓存: 逐出未来最晚块
- 反例检验: 零一背包
贪心选择先做局部决定
贪心算法在每一步先选当前看来最好的方案,再继续解决剩余问题;局部最优不自动保证全局最优,必须证明这种选择能进入某个最优解。
与动态规划先解子题再选择先比较子问题结果再决定不同,贪心通常先决定。
独立卡片:贪心选择先做局部决定。
原书依据 · 2 处
活动选择最大化兼容数
活动选择问题给定每项活动的开始和结束时间,在共享资源一次只能服务一项的约束下,求数量最多的互不重叠活动。
半开区间允许前项结束时后项立即开始;若切换需要时间,应计入区间。
独立卡片:活动选择最大化兼容数。
原书依据 · 1 处
活动选择具有最优子结构
若最优活动集合包含某活动,该活动前后可选活动形成两个互不冲突的子问题;其中任一子集若不是最优,就可替换成更大的兼容子集,从而改进原解。
这支持动态规划,但尚不能单独证明某个贪心选择正确。
独立卡片:活动选择具有最优子结构。
原书依据 · 1 处
最早结束活动可进入最优解
按结束时间选择最早结束的兼容活动,可得到某个最优活动集合:取任一最优集合的首个活动,用结束不更晚的候选替换它,后续活动仍兼容,集合大小不变。
这是针对该问题的交换论证,而非任意最早结束规则都正确。
独立卡片:最早结束活动可进入最优解。
原书依据 · 1 处
活动贪心只剩后缀子问题
选定最早结束活动后,所有与它兼容的活动都只能在它结束后开始,因此只需继续处理后缀候选集合。
先证明该选择能属于某个最优解,再结合最优子结构,才能反复应用同一选择。
独立卡片:活动贪心只剩后缀子问题。
原书依据 · 1 处
排序后活动选择线性扫描
活动按结束时间排好后,递归选择器从当前活动之后寻找首个开始时间不早于当前结束时间的候选,选中后递归处理剩余活动。
各活动在所有递归调用中只受一次扫描检验,所以选择阶段为线性时间;预排序另需成本。
独立卡片:排序后活动选择线性扫描。
原书依据 · 1 处
迭代选活动只查最后结束项
活动按结束时间排序后,迭代算法保留最近选中活动的结束时间;新活动只要开始不早于它,就与已选的全部活动兼容,因为已选活动中它结束最晚。
这样每个候选只检查一次,排序后的选择阶段为线性时间。
独立卡片:迭代选活动只查最后结束项。
原书依据 · 1 处
区间图把冲突表示为边
区间图把活动作为顶点、时间重叠的互斥活动作为边。
若要用最少教室安排全部活动,就是给图顶点着色,使相邻顶点颜色不同,并最小化颜色数;颜色对应教室。
它与只选最多兼容活动的目标不同。
独立卡片:区间图把冲突表示为边。
原书依据 · 1 处
加权活动选择改为价值目标
给活动附加价值后,目标变为在互不冲突的集合中最大化价值总和,而非最大化活动数量。
原来的最早结束规则只针对数量目标得到证明,不能不经新证明就移用到加权问题。
独立卡片:加权活动选择改为价值目标。
原书依据 · 1 处
贪心选择性质须单独证明
- 贪心选择性质要求当前局部最优选择能够嵌入某个全局最优解;
- 最优子结构则要求选完后,剩余问题的最优解可与已选项组合为原问题最优解。
两者一起支持连续选择,只证明子结构不足以推出贪心正确。
独立卡片:贪心选择性质须单独证明。
原书依据 · 1 处
贪心证明先替换再递归
证明贪心算法时,
- 可从任意最优解出发,用当前贪心选择替换其中一个选择,证明可行性和目标值不变;
- 再把剩余部分化为同类更小子问题,借最优子结构递归推进。
交换步骤不能只凭直觉声称安全。
独立卡片:贪心证明先替换再递归。
原书依据 · 1 处
零一背包与分数背包的边界
- 零一背包中每件物品只能整件取或不取;
- 分数背包允许取部分重量。
两者都有容量与价值约束,但可分性改变可行解集合,也决定单位重量价值排序能否作为正确的贪心策略。
独立卡片:零一背包与分数背包的边界。
原书依据 · 1 处
单位价值贪心不解零一背包
容量为50、三件物品重量为10、20、30,价值为60、100、120时,单位重量价值最高的第一件会先被选中,但最优解是第二、三件,价值220。
整件约束使局部选择妨碍装满。
独立卡片:单位价值贪心不解零一背包。
原书依据 · 1 处
前缀码避免解码歧义
前缀码要求任一码字都不是另一完整码字的前缀。串接后可从开头唯一确定第一个字符,再继续解码;若一个码字是另一个的前缀,就不能如此即时判定码字是否结束。
独立卡片:前缀码避免解码歧义。
原书依据 · 1 处
编码树深度决定位数
前缀码可用二叉树表示:字符在叶子,左边为0、右边为1,根到叶路径形成码字。
字符频率乘叶深再求和就是编码文件的总位数;优化编码可转为最小化频率加权叶深。
独立卡片:编码树深度决定位数。
原书依据 · 1 处
最优编码树可取满二叉树
字符频率均为正时,最优前缀树可取满二叉树:每个非叶节点都有两个孩子。
若有单孩子节点,可删除它并缩短其下码字而不破坏前缀性质;有n个字符时,满树有n−1个内部节点。
独立卡片:最优编码树可取满二叉树。
原书依据 · 1 处
霍夫曼反复合并最低频
- 霍夫曼算法从每个字符各成一叶开始,
- 每轮取频率最低的两棵树作新节点的左右子树,
- 新节点频率为两者之和,再放回最小优先队列。
重复n−1轮后得到编码树;正确性仍须证明。
独立卡片:霍夫曼反复合并最低频。
原书依据 · 1 处
霍夫曼堆实现复杂度
- 用二叉最小堆维护频率时,建堆需O(n);
- 随后n−1轮各做取最小与插入,每轮O(lg n),总时间O(n lg n)。
该界依赖堆实现,不能脱离数据结构直接断言。
独立卡片:霍夫曼堆实现复杂度。
原书依据 · 1 处
变长编码给高频字符短码
字符编码给每个字符唯一二进制码字。
- 定长编码对 n 个字符需每个码字至少 ⌈lg n⌉ 位;
- 变长编码可给高频字符更短码字,从而减少按出现次数加权的总位数,但仍需保证可解析性。
独立卡片:变长编码给高频字符短码。
原书依据 · 1 处
最低频字符可作最深兄弟
存在一棵最优前缀树,使频率最低的两个字符处在最深的兄弟叶上。
把任意最优树的最深兄弟叶与这两个低频叶交换,由于低频放在更深处不会增加频率加权路径成本,所得树仍最优。
独立卡片:最低频字符可作最深兄弟。
原书依据 · 1 处
霍夫曼合并保持最优子结构
将最低频的两个字符合并成一个频率为二者之和的伪字符,求合并后字母表的最优编码树,再把伪字符展开为两个孩子,可得到原问题的最优树。
展开前后成本只差二者频率之和,反证可说明次级树若不最优就会改进原树。
独立卡片:霍夫曼合并保持最优子结构。
原书依据 · 1 处
强制缓存未命中不可避免
缓存未装满时,请求一个尚不在缓存中的块会产生强制未命中:此前任何替换选择都不可能让该块已在缓存中。
它与缓存装满后的替换决策未命中不同,后者才有选择牺牲哪个旧块的空间。
独立卡片:强制缓存未命中不可避免。
原书依据 · 1 处
离线缓存逐出未来最远块
若已知完整未来请求序列,缓存满且未命中时可逐出下一次访问最晚的块;若某块永不再访问,可优先逐出。
该最远未来策略是离线模型的贪心选择,在线运行时通常无法直接知道未来。
独立卡片:离线缓存逐出未来最远块。
原书依据 · 1 处
缓存子问题含状态与位置
离线缓存子问题由当前缓存内容 C 和下一次请求位置 i 共同确定。
相同后续序列若起始缓存不同,最少未命中数可能不同;最优策略处理本次请求后,剩余决策仍应是新缓存状态下的最优解。
独立卡片:缓存子问题含状态与位置。
原书依据 · 1 处
最远未来逐出有最优交换证据
离线缓存满且未命中时,任一最优方案若逐出别的块,可改为逐出未来最晚再访问的块。
两方案在此期间至多相差一个缓存块;若改后在该块下次请求时多一次未命中,之前必有一次相反的命中差补偿,之后状态重新一致。因此总未命中数不增。
独立卡片:最远未来逐出有最优交换证据。
原书依据 · 1 处
最近最少使用依赖过去
LRU 在缓存满且需逐出时,选择当前缓存中最久未被请求的块。
它只依赖已发生的访问记录,因此可用于在线决策;它与需要完整未来序列的最远未来策略不同,不能据此断言总未命中数最少。
独立卡片:最近最少使用依赖过去。
原书依据 · 1 处
平均完成时间衡量任务排序
任务调度的平均完成时间,是每项任务完成时刻的算术平均。
即使处理总量相同,先执行长任务也可能推迟多个短任务的完成时刻,使这个指标变大;不可抢占与带释放时间、可抢占属于不同约束版本。
独立卡片:平均完成时间衡量任务排序。
原书依据 · 1 处
第16章 摊还分析
摊还分析给任意一串合法操作的总成本建立界,再把总额分摊到每次操作,不需要假设输入分布。聚合分析直接计总额,记账法保存信用,势能法用结构状态表示尚可支付的工作。动态数组的扩缩容等例子说明,单次很贵的操作仍可能具有很低的摊还代价。
本节在全书中的作用:为操作序列而非单次最坏操作建立成本界,依次介绍聚合、记账和势能三种分析方法,再以动态表说明分析怎样指导扩缩容设计。
展开顺序:摊还分析不依赖输入概率。聚合法先界定任意 n 次操作的总成本,再均摊;多次弹栈中的每个元素至多弹出一次,二进制计数器高位翻转频率逐级降低。记账法对较便宜的操作预收费用,把非负信用留给以后昂贵的操作;势能法把信用表示为整体状态的势能,摊还成本等于实际成本加势能变化,望远镜求和要求最终势能不低于初始势能。倍增动态表的偶发复制可由此前插入积累的信用支付;扩容和收缩若共用半满阈值会来回抖动,因此收缩阈值降到四分之一,分段势能在装载率偏离二分之一时积累。章末问题将分析思路用于格雷码、有序数组层、权重平衡树和红黑树;这些题目的目标与已证明的栈或动态表结论不同。章末注释另说明势能变化幅度也能用于证明步骤数下界。
# 第16章 摊还分析
## 总成本与分析方法
- 操作序列总成本
- 聚合分析: 总成本除以次数
- 记账法: 对对象预存非负信用
- 势能法: 记录整体状态信用
## 应用与扩缩容
- 栈与二进制计数器
- 动态表扩缩容
- 倍增扩容
- 四分之一阈值收缩
- 用势能支付搬迁
原书依据 · 1 处
聚合分析界定总成本
聚合分析先证明任意n次操作的最坏总成本不超过T(n),再以T(n)/n作为每次操作的摊还成本。
不同类型操作获同一摊还值;单次最坏成本相加往往比序列总界松。
独立卡片:聚合分析界定总成本。
原书依据 · 1 处
多次弹栈摊还常数
MULTIPOP单次可能弹出很多元素,但从空栈开始的一串PUSH、POP、MULTIPOP中,每个元素最多弹出一次。弹出总数不超过压入总数,所以n次操作总成本O(n),每次摊还O(1)。
独立卡片:多次弹栈摊还常数。
原书依据 · 1 处
计数器翻转总数线性
从全零二进制计数器开始连续加一,令最低位编号为 i=0,则第 i 位每 2^i 次加一翻转一次。n 次加一中该位最多翻转 ⌊n/2^i⌋ 次;对所有位求和,Σ⌊n/2^i⌋<2n。因此即使某次长进位会同时翻转很多位,平均到整段操作后,每次加一的摊还翻转数仍为 O(1)。
独立卡片:计数器翻转总数线性。
原书依据 · 1 处
记账法以信用预付未来成本
记账法可给当前操作收取高于实际成本的摊还费用,并把差额作为对象上的信用,供未来昂贵操作使用。
栈的压入可预付将来的弹出;信用始终非负,才保证任意前缀操作的摊还总额不低于实际总额。
独立卡片:记账法以信用预付未来成本。
原书依据 · 1 处
势能法把预付额放在整体状态
势能法用一个函数衡量整个数据结构已积累的预付工作,而非把信用附在具体对象上。
操作的摊还成本等于实际成本加势能变化;势能增加代表预付,下降代表消耗。
独立卡片:势能法把预付额放在整体状态。
原书依据 · 1 处
势能望远镜和给出总成本界
各次操作的势能变化相加会抵消中间状态,只剩终态势能减初态势能。
因此若任意前缀的势能都不低于初态,摊还总成本就上界实际总成本;只检查最后一次状态不足以保证任意前缀。
独立卡片:势能望远镜和给出总成本界。
原书依据 · 1 处
栈大小可作势能函数
把栈内元素数作为势能,
- PUSH实际成本1且势能加1,摊还成本2;
- 弹出k项实际成本k且势能减k,摊还成本0。
势能从空栈的0出发始终非负,因此整串操作实际成本受线性摊还和约束。
独立卡片:栈大小可作势能函数。
原书依据 · 1 处
动态表装载因子衡量空位
动态表装载因子是已存元素数除以槽位数。
若始终不低于一个正常数,空闲槽位就不会超过容量的常数比例;它约束的是空间浪费,而不是某次扩容的复制成本。
空表的装载因子另约定为1。
独立卡片:动态表装载因子衡量空位。
原书依据 · 1 处
倍增扩容使装载率不低于半
只支持插入的表在满时扩为两倍容量并复制旧元素。
扩容当次成本随原表规模增长,但扩容后装载率约为一半,随后随插入上升;因此空闲空间至多占容量约一半。
摊还成本需在后续单元证明。
独立卡片:倍增扩容使装载率不低于半。
原书依据 · 1 处
倍增插入总成本线性
只插入且满时倍增的动态表,一次扩容需复制许多旧项,但扩容发生在容量为2的幂次时。
n次插入的普通插入成本为n,历次复制量构成几何级数且小于2n,因此总成本小于3n,每次摊还不超过常数。
独立卡片:倍增插入总成本线性。
原书依据 · 1 处
扩容信用预付两类搬迁
倍增表的记账法可给每次插入收取3个成本单位:
- 1个付当前插入,
- 1个预付新项未来搬迁,
- 1个预付扩容后已存在旧项的搬迁。
下次装满前足够多的新插入已发生,旧项和新项都能带着信用付复制成本。
独立卡片:扩容信用预付两类搬迁。
原书依据 · 1 处
相同扩缩阈值会抖动
若满时倍增、低于半满就缩半,表在半满边界附近交替插入和删除会反复搬迁大量元素。
原文构造n次操作达Θ(n²)总成本;扩容与收缩之间需留出足够负载区间,才能积累搬迁费用。
独立卡片:相同扩缩阈值会抖动。
原书依据 · 1 处
四分之一收缩留缓冲区
动态表仍在满时倍增,但删除后装载率低于四分之一才缩半;收缩后装载率回到二分之一。
扩缩阈值相隔一段区间,可避免一两次操作就在两种重分配间反复切换,同时装载率保持常数下界。
独立卡片:四分之一收缩留缓冲区。
原书依据 · 1 处
动态表分段势能两侧蓄积
同时支持插删的动态表,设元素数为 num、容量为 size、负载因子 α=num/size,并以半满为势能零点:
α≥1/2时取势能Φ=2num−size,元素越接近满表,势能越高;1/4≤α<1/2时取Φ=size/2−num,元素越接近收缩阈值,势能越高。
这样在满表扩容或低于四分之一收缩前,潜能都能覆盖复制成本;具体摊还界还需逐情形核验。
独立卡片:动态表分段势能两侧蓄积。
原书依据 · 1 处
动态表收缩摊还常数
删除使装载率低于四分之一时,缩半并复制剩余元素虽有线性实际成本,但此前从半满降到四分之一的删除已积累势能。收缩时势能下降抵销搬迁,原文逐情形得到插删操作的摊还成本均有常数上界。
独立卡片:动态表收缩摊还常数。
原书依据 · 1 处
反射格雷码每步只翻一位
二进制格雷码让相邻数只差一位。
反射构造从k−1位序列出发,后接其逆序并给后半各数加2^(k−1),得到k位序列;最后一个数回到首个数也只差一位。
它按序列邻接定义,不等于普通二进制加一。
独立卡片:反射格雷码每步只翻一位。
原书依据 · 1 处
二进制位控制有序数组层
动态二分查找可维护大小为2^i的多层有序数组,第i层是否装满由元素总数n的第i个二进制位决定。
各层内部有序、层与层之间无需有序;查询、插入和删除的算法与复杂度仍属章末待设计任务。
独立卡片:二进制位控制有序数组层。
原书依据 · 1 处
权重平衡树按子树大小界定
在带子树大小的二叉搜索树中,若每个节点的左右子树大小都不超过该节点子树大小的α倍,就称整树为α平衡;这里1/2≤α。
它用元素数量约束分支,而非直接用高度或节点颜色定义平衡。
独立卡片:权重平衡树按子树大小界定。
原书依据 · 1 处
势能变化幅度给出步数下界
若每一步势能变化的绝对值最多为Δ,初态与终态势能相差L,则至少需要L/Δ步才能完成变化。
与用非负势能证明摊还上界相对,这里利用单步变化受限推出过程下界;需先验证所有合法步骤均满足该界。
独立卡片:势能变化幅度给出步数下界。
原书依据 · 1 处
第五部分 高级数据结构
高级结构继续围绕动态集合接口展开,但开始把额外需求纳入设计:结点保存聚合信息,磁盘访问以块计费,集合只允许合并并查询代表。红黑树和摊还分析在这里成为可复用工具。先明确新操作或新的成本模型,再选择扩张、B树或不相交集合,能避免只按结构名称选型。
本节在全书中的作用:承接基础动态集合与摊还分析,预告红黑树增强、B 树和不相交集合三章,并把这些主题放在更广的高级数据结构谱系中。
展开顺序:第 17 章通过给红黑树节点增添维护信息支持顺序统计和区间操作;第 18 章以磁盘访问次数和树高衡量 B 树;第 19 章用有根树表示不相交集合并支持合并与查找,以摊还分析界定操作序列。引言随后列出其他结构作为视野扩展:斐波那契堆以减键摊还费用见长,动态树支持树森林的切分、连接和路径查询,伸展树及持久结构分别涉及摊还搜索与历史版本。van Emde Boas 树和融合树借整数键域约束获得更快字典操作;动态图结构则同时面对图更新与查询。后几类在此仅有用途与复杂度概览,具体实现并非本引言已论证的内容。
# 第五部分 高级数据结构
## 本部分结构
- 高级动态数据结构
- 本部分三章
## 三类主要结构
- 增强红黑树: 维护附加信息
- B树: 减少磁盘访问
- 不相交集合: 合并与查找
## 其他结构线索
- 其他结构概览
- 堆与动态树: 优化更新操作
- 整数键结构: 利用键域限制
- 动态图: 更新与查询并存
B树降低磁盘访问层数
B树是面向磁盘存储的平衡搜索树。它的性能既取决于计算时间,也取决于磁盘访问次数;访问次数随树高增加,因此B树操作会保持较低树高。具体节点规则留待专章。
独立卡片:B树降低磁盘访问层数。
原书依据 · 1 处
不相交集合支持合并与查找
不相交集合把n个元素始终划分为互不重叠的组。
UNION 合并两个组,FIND-SET 查询元素当前属于哪个组。以有根树配合按秩合并和路径压缩时,m 次操作的总时间为 O(mα(n));这里 α(n) 是逆 Ackermann 函数,随 n 增长极慢,但并非常数。
这个界对应整段操作序列的摊还总成本,并非每个单次操作都具有同样的最坏界。
独立卡片:不相交集合支持合并与查找。
原书依据 · 1 处
斐波那契堆降低减键摊还费
斐波那契堆是可合并堆:
INSERT(插入)、MINIMUM(查看最小键)和UNION(合并两堆)的实际与摊还时间均为O(1);EXTRACT-MIN(取出并删除最小键)和DELETE(删除指定节点)为O(lg n)摊还时间;DECREASE-KEY(减小指定节点的键)为O(1)摊还时间。
这里 n 是当前堆中的节点数。
频繁减键的图算法可利用后一性质;严格斐波那契堆把这些界变为实际时间。
独立卡片:斐波那契堆降低减键摊还费。
原书依据 · 1 处
动态树维护可修改的树森林
动态树维护带边成本的多棵互不相交有根树,支持根与父节点查询、路径最小边成本查询、切边、连树和路径成本更新。
原文给出一种实现每项操作O(lg n)摊还界,复杂实现则有O(lg n)最坏界。
独立卡片:动态树维护可修改的树森林。
原书依据 · 1 处
范艾姆德博阿斯树限整数宇宙
van Emde Boas树的键须是0至u−1的互异整数,且u恰为2的幂。
在此前提下,查找、插删、最值与前驱后继各操作时间为O(lg lg u);不能把该界直接推广到任意可比较键。
独立卡片:范艾姆德博阿斯树限整数宇宙。
原书依据 · 1 处
原书依据 · 1 处
动态图结构支持边点变化
动态图数据结构允许插入或删除顶点、边,同时支持图查询。
原文列举点连通性、边连通性、最小生成树、双连通性与传递闭包;本段没有给出统一操作时间界,具体代价须按更新和查询种类判断。
独立卡片:动态图结构支持边点变化。
原书依据 · 1 处
第17章 数据结构的扩张
扩张数据结构是在已有表示中添加信息,以支持新的查询。顺序统计树保存子树规模,区间树保存有助于排除候选的聚合值;但新字段必须在插入、删除和旋转后仍然正确。设计时既要证明查询为什么能剪枝,也要证明维护代价不会抵消原结构的效率。
本节在全书中的作用:说明怎样在现有平衡树上维护附加信息来支持新查询,并以顺序统计树和区间树验证维护成本与查询正确性。
展开顺序:增强设计先选底层结构、定义附加信息、证明基本修改仍可高效维护,最后才实现新操作。顺序统计树在红黑树节点保存子树大小:第 i 小沿左右子树下降,给定节点的秩沿祖先上溯;重复键的秩按中序遍历位置区分。插入、删除更新搜索路径,旋转只局部修补。增强定理要求节点属性能由本节点与孩子信息常数时间算出;改动向祖先传播至多 O(lg n),常数次旋转使红黑树插删仍为 O(lg n)。区间树按闭区间左端点排序,同时保存子树最大右端点;搜索在左子树最大右端点不足时安全右行,左行即使无解也不会遗漏右侧重叠区间。章末最大重叠点和约瑟夫排列属于应用问题,不能把题设当成已证明的实现方案。
# 第17章 数据结构的扩张
## 扩张设计步骤
- 增强已有数据结构
- 选择底层平衡树
- 定义可局部维护的属性
- 验证插删与旋转维护成本
- 实现新查询
## 顺序统计与区间搜索
- 子树大小
- 顺序统计: 选择与秩
- 子树最大右端点
- 区间重叠搜索
- 证明单路径查询正确
增强结构要维护附加信息
数据结构增强是在现有结构的节点上保存额外信息,以支持新操作。
难点是原有插入、删除和旋转也必须同步维护信息;若维护代价过高,新查询再快也未必值得采用。
独立卡片:增强结构要维护附加信息。
原书依据 · 1 处
顺序统计树保存子树大小
顺序统计树在红黑树每个节点记录其子树的实际节点数,哨兵大小为0,节点大小等于左右子树大小之和再加1。它用这一局部汇总支持动态集合的第i小元素与秩查询。
独立卡片:顺序统计树保存子树大小。
原书依据 · 1 处
重复键的秩按中序位置区分
顺序统计树允许重复键,此时仅凭键值无法唯一确定秩。
把秩定义为具体节点在中序遍历中的输出位置,可让两个键相同的节点仍各有确定位置;查询接口必须区分节点和键。
独立卡片:重复键的秩按中序位置区分。
原书依据 · 1 处
按左子树大小定位第i小
在某节点处,左子树大小加1就是该节点在本子树的局部秩。
- 目标秩相等便返回该节点,
- 较小则入左树,
- 较大则减去该局部秩后入右树。
红黑树高度为O(lg n),所以选择查询同阶。
独立卡片:按左子树大小定位第i小。
原书依据 · 1 处
求节点秩沿祖先上溯
求某节点的全树秩时,
- 先计入其左子树和自身,
- 再逐层上溯。
若当前子树是父节点右孩子,还须加上父节点及其左子树大小;若是左孩子则无需增加。到根后得到中序位置,耗时受树高限制。
独立卡片:求节点秩沿祖先上溯。
原书依据 · 1 处
旋转只需局部修补大小
红黑树旋转虽改变父子关系,但顺序统计树中仅旋转轴两端节点的子树大小失效,其余子树大小不变。
插删路径上的大小可线性于树高更新,旋转后常数次局部修补,因此更新仍为O(lg n)。
独立卡片:旋转只需局部修补大小。
原书依据 · 1 处
增强设计先核验维护成本
增强数据结构可按四个问题推进:
- 底层结构是什么、
- 要存什么附加信息、
- 原有修改操作能否高效维护它、
- 如何实现新操作。
第三问是可行性门槛,设计过程可往返迭代,不必机械按顺序完成。
独立卡片:增强设计先核验维护成本。
原书依据 · 1 处
增强定理要求局部可算
若红黑树节点的附加属性只依赖本节点和两个孩子,且能在常数时间求出,插入、删除仍可保持对数时间。
关键是变更只向祖先传播,而红黑树高度及一次更新的旋转次数都有界。
独立卡片:增强定理要求局部可算。
原书依据 · 1 处
旋转次数限制增强成本
若一次旋转后的属性修复要沿路径走到根,单次修复可能花对数时间;红黑树一次插删的旋转次数为常数,整体仍是对数时间。
换用可能做对数次旋转的平衡树,维护成本就可能升为对数平方。
独立卡片:旋转次数限制增强成本。
原书依据 · 1 处
原书依据 · 1 处
区间树按左端点建索引
区间树用红黑树保存动态区间集合,以区间左端点为搜索键。
中序遍历会按左端点排序;它支持插入、删除和寻找任一相交区间,查询目标是找到一个交集而非一次列出所有交集。
独立卡片:区间树按左端点建索引。
原书依据 · 1 处
区间树保存子树最大右端点
每个区间树节点存其子树所有区间的最大右端点 max。它等于本节点右端点和左右孩子 max 的最大值,因此更新可从局部计算并沿红黑树路径维护;这个上界用于判断左子树能否包含交集。
独立卡片:区间树保存子树最大右端点。
原书依据 · 1 处
区间搜索沿单路径下降
- 查找相交区间时,若当前区间不相交,且左子树存在、其最大右端点不小于查询左端点,就向左走;
- 否则向右。
每步只检查一个节点,红黑树高度保证 O(lg n);找到任一交集即返回。
独立卡片:区间搜索沿单路径下降。
原书依据 · 1 处
左侧最大值不足可安全右行
若左子树为空,或它的最大右端点小于查询区间左端点,左侧每个区间都完全在查询区间左边,不可能相交。区间搜索因此能安全放弃左子树,转向右侧。
独立卡片:左侧最大值不足可安全右行。
原书依据 · 1 处
左行即使落空也不漏右侧
左侧 max 达到查询左端点时可先左行。
若左侧最终没有交集,达到 max 的那个区间只能位于查询区间右侧;按左端点排序,右子树的区间更靠右,也不会相交。故单路径搜索仍完整。
独立卡片:左行即使落空也不漏右侧。
原书依据 · 1 处
最大重叠点按覆盖数定义
一组区间的最大重叠点,是被其中最多区间覆盖的点。
这个定义关注同一点的覆盖数,而非两区间是否相交;题目进一步要求维护插删时快速找到该点,但具体数据结构仍需另外设计与证明。
独立卡片:最大重叠点按覆盖数定义。
原书依据 · 1 处
约瑟夫排列记录出圈顺序
n 人围成一圈,从指定首人开始每数到第 m 人就移除,随后在余下的人中继续计数,直到全部移除。
按移除次序排列编号得到 (n,m) 约瑟夫排列;这一定义本身不提供题目所要求的线性或对数线性生成算法。
独立卡片:约瑟夫排列记录出圈顺序。
原书依据 · 1 处
第18章 B树
B树把许多键放在同一个结点,并用多个孩子划分键区间,适应以块为单位读取外部存储的成本模型。高分支数降低树高,搜索路径上的磁盘访问因此减少。插入和删除通过分裂、借位、合并维护占用约束;它和红黑树都保持有序,却针对不同的主要成本进行优化。
本节在全书中的作用:把平衡搜索树放进外存成本模型,说明 B 树如何通过高分支度减少块访问,并用搜索、插入、删除展示维护多路搜索与节点占用约束的方法。
展开顺序:外存定位延迟使整块读写比单次键比较更重要;一个节点通常占一块,分支度由块大小决定,分析须分开计磁盘访问和 CPU 时间。B 树节点含有序键与分隔出的子树,叶子等深,最小度 t 限制非根节点为 t−1 到 2t−1 个键,因此高度随 log_t n 增长。搜索先在节点内定位区间再读一个孩子;插入在下降前拆满孩子,将中位键提升,只有根分裂使树增高。删除则在下降前保证目标孩子至少有 t 个键:能借就从兄弟借,否则与兄弟及父键合并;内部键可由前驱或后继替换,空根由唯一孩子接替。原文对连接、分裂和外存栈给的是章末问题,不把题设视作已证明算法;B+ 树和 B* 树只作为变体说明。
# 第18章 B树
## 块模型与结构约束
- 外存块访问成本
- 节点容纳多键与多孩子
- 最小度约束与等深叶子
- 高度随 log_t n 增长
## 下降时维护
- 搜索: 节点内定位后下降
- 插入: 下降前拆满孩子
- 删除: 下降前补足孩子
## 根与合并
- 根分裂使高度增加
- 借键或合并
- 空根替换使高度减少
B树为外存访问而平衡
B 树是面向磁盘等直接访问外存的平衡搜索树。节点可有许多孩子,较大分支因子缩短从根到叶的路径,从而减少查找需要访问的块;它的优化重点是 I/O 次数,而非单纯的键比较次数。
独立卡片:B树为外存访问而平衡。
原书依据 · 1 处
B树多键分割查找范围
B 树内部节点存 n 个有序键时有 n+1 个孩子。
节点键把键空间划成 n+1 段,每个孩子负责一段;查找先在节点内定位区间,再沿对应孩子下降,所以一次节点访问能完成多路分支选择。
独立卡片:B树多键分割查找范围。
原书依据 · 1 处
外存延迟来自机械定位
磁盘访问不能只按读写字节数估计:磁头移动和盘片旋转会产生定位延迟,因此一次访问可能远慢于内存操作。
正文所列转速与价格是写作时的设备示例,不能当作当前硬件常量。
独立卡片:外存延迟来自机械定位。
原书依据 · 1 处
块访问摊薄定位延迟
磁盘在完成定位后按连续块读取或写入,而非每次只取一个小项。
一次访问带回更多相邻数据,才能摊薄机械定位的固定成本;块大小与设备有关,不能把书中示例尺寸写成通用常量。
独立卡片:块访问摊薄定位延迟。
原书依据 · 1 处
外存算法分开计量IO
评估外存 B 树需区分块读写次数和 CPU 处理时间。
若读取一个块比处理块内数据更慢,减少 I/O 更关键;但具体设备的时间与访问位置有关,因此块数只是磁盘耗时的一阶近似。
独立卡片:外存算法分开计量IO。
原书依据 · 1 处
B树按需装入节点块
当整棵树放不进内存,B 树操作只按需要把块读入内存,修改后再写回。
访问磁盘对象的属性前必须先读块;只读操作无需写回。
这是外存模型的操作前提,不能把节点指针等同于已在内存。
独立卡片:B树按需装入节点块。
原书依据 · 1 处
节点大小决定B树分支度
B树节点通常按磁盘块取大小。
设 B 树最小度为 t,则一个内部节点最多约有 2t 个孩子。增大 t 会降低树高和 I/O 次数;但若节点内线性扫描,含 n 个键的树其 CPU 时间界为 O(t log_t n),而读取更大块的时间也可能随 t 增加。
因而“分支度并非越大越好”是同时计入CPU和设备代价后的模型权衡推论。
独立卡片:节点大小决定B树分支度。
原书依据 · 1 处
B加树把附属信息放叶子
B+ 树是 B 树的常见变体:附属信息保存在叶节点,内部节点只保留键和孩子指针,因而内部节点能容纳更多分支。
此处只说明存放位置的差异,不能据此推断所有 B+ 树实现的叶链或查询规则。
独立卡片:B加树把附属信息放叶子。
原书依据 · 1 处
B树叶子处于同一深度
B 树所有叶节点深度相同,因此根到任何叶的层数一致。这一平衡条件使最坏路径长度可由树高统一界定;仅有多路分支而叶深不齐,并不足以构成这里定义的 B 树。
独立卡片:B树叶子处于同一深度。
原书依据 · 1 处
最小度约束节点键数
B 树最小度 t≥2;
- 非根节点至少有 t−1 个键,
- 内部非根节点至少 t 个孩子,
- 节点最多有 2t−1 个键。
根作为例外,非空时至少一个键。这些上下界同时限制稀疏和过满节点。
独立卡片:最小度约束节点键数。
原书依据 · 1 处
B树高度由最小分支约束
设 B 树共有 n≥1 个键、最小度为 t≥2、树高为 h。根至少有一个键;仅当根不是叶子(h>0)时,它才至少有两个孩子。其他内部节点至少有 t 个孩子、非根节点至少有 t−1 个键,因此第 d 层节点数至少按 t 的幂增长。对各层最少键数求和可得 t^h≤(n+1)/2,即 h≤log_t((n+1)/2);较高最小度因而能减少最坏磁盘访问层数。
独立卡片:B树高度由最小分支约束。
原书依据 · 1 处
B树查找先定位节点内区间
B 树查找先在当前节点找到第一个不小于目标的键;相等就返回节点与槽位,不等且是叶子就失败,否则读入对应孩子继续。
搜索只走根到叶的一条路径,节点内比较与块访问应分别计成本。
独立卡片:B树查找先定位节点内区间。
原书依据 · 1 处
B树查找区分IO与CPU
设 B 树含 n 个键、最小度为 t、高度为 h=O(log_t n)。以节点内线性扫描实现搜索时,查找沿单条根叶路径访问 O(h) 个磁盘块;每节点至多约 2t 个键,因此每层比较 O(t) 次,CPU 总成本为 O(t log_t n)。
减少 I/O 的宽节点未必减少 CPU 比较,须按瓶颈权衡。
独立卡片:B树查找区分IO与CPU。
原书依据 · 1 处
满节点按中位键拆分
满节点有 2t−1 个键,不能再直接插入。
拆分时中位键升到父节点,两侧各留下 t−1 个键;若是内部节点,孩子也随对应半边转移。
这是 B 树保持节点占用上限的基本动作。
独立卡片:满节点按中位键拆分。
原书依据 · 1 处
下降前拆满节点避免回溯
B 树插入在从根向叶下降时,遇到满孩子就先拆分,确保递归进入的孩子不满。
这样父节点有空间接收提升的中位键,插入只需单次向下扫描;若先走到底再拆,可能沿路径向上连锁分裂。
独立卡片:下降前拆满节点避免回溯。
原书依据 · 1 处
拆节点的IO次数为常数
在最小度为 t 的 B 树中,满节点含 2t−1 个键。拆分一个满孩子要在父节点挪出键与孩子指针的位置,把中位键提升到父节点,并写回旧孩子、新孩子和父节点。
一次拆分的 CPU 工作量是 Θ(t),磁盘块操作为 O(1);两种成本不能混为同一数量级。
独立卡片:拆节点的IO次数为常数。
原书依据 · 1 处
原书依据 · 1 处
插入保持非满递归前提
插入到非满节点时,
- 叶子直接移位写入;
- 内部节点先选孩子,若孩子已满则拆分,再按提升的分隔键选择正确半边。
设树含 n 个键、最小度为 t。这个“递归进入前先保证孩子非满”的前提使算法只向下走一条高度为 O(log_t n) 的路径,每层至多常数次块访问,整体因而为 O(log_t n) 次 I/O。
独立卡片:插入保持非满递归前提。
原书依据 · 1 处
B树删除需防节点过稀
B 树删除可以作用于内部节点,删除前后必须保持非根节点至少 t−1 个键。
若沿下降路径走进恰好下限的孩子,再删除可能欠填并迫使回溯;因此删除算法会预先处理过稀风险。
具体调整方式须继续读后文。
独立卡片:B树删除需防节点过稀。
原书依据 · 1 处
删除前让孩子多一个键
最小度为 t 的 B 树要求非根节点至少有 t−1 个键。删除算法在递归进入非根节点前,进一步保证它至少有 t 个键,比合法下限多一个。
这样即便在该节点删去一键仍不会欠填;必要时先从兄弟借键或合并,才能保持单次向下处理。
独立卡片:删除前让孩子多一个键。
原书依据 · 1 处
原书依据 · 1 处
内部键删除可用邻键替换
在最小度为 t 的 B 树中,要删除内部节点中的键,
- 若前驱所在左孩子至少有
t个键,可在其子树找前驱、递归删前驱,再用前驱替换原键; - 右孩子足够时对称地用后继。
前提是下行孩子有余量,避免替换后欠填。
独立卡片:内部键删除可用邻键替换。
原书依据 · 1 处
两侧孩子均最小时合并
在最小度为 t 的 B 树中,非根节点合法下限为 t−1 个键。删除内部键时,若其左右孩子都恰处下限,可把左孩子、父节点中的分隔键和右孩子合并,得到含 (t−1)+1+(t−1)=2t−1 个键的满节点,再在合并节点中递归删除目标。
这把删除转化为一个有余量的子树问题。
独立卡片:两侧孩子均最小时合并。
原书依据 · 1 处
删除下行可从兄弟借键
在最小度为 t 的 B 树中,目标孩子仅有合法下限 t−1 个键,而相邻兄弟至少有 t 个时,可让父节点一个分隔键下降到目标孩子,再把兄弟一个键提升到父节点;内部节点还需把与该键对应的孩子指针一同转移。
这样目标孩子下行前达到 t 键。
独立卡片:删除下行可从兄弟借键。
原书依据 · 1 处
兄弟都最小时合并下降
在最小度为 t 的 B 树中,目标孩子和相邻兄弟都只有合法下限 t−1 个键时,兄弟没有余量可借;把父节点分隔键下移并与两孩子合并,得到含 2t−1 个键、可继续执行删除的节点。
此操作会减少父节点键数,因此根可能出现特殊的高度收缩。
独立卡片:兄弟都最小时合并下降。
原书依据 · 1 处
原书依据 · 1 处
B树删除按树高计IO
设 B 树含 n 个键、最小度为 t、高度为 h=O(log_t n)。删除虽分借键、合并和替换等情形,每层只做常数次块读写,因此磁盘访问数为 O(h);若每节点线性处理 O(t) 个键,CPU 成本为 O(th)=O(t log_t n)。
这是给定伪代码模型下的复杂度界。
独立卡片:B树删除按树高计IO。
原书依据 · 1 处
有序集合连接与分裂
连接与分裂是一对有序集合变换:
- 连接要求左集合所有键小于分界键、右集合所有键大于它,结果包含三者;
- 分裂要求分界键属于原集合,移除它后按大小划成两组。
第18章仅将2-3-4树的实现和时间界列作练习,不可把目标界当成已证结论。
独立卡片:有序集合连接与分裂。
原书依据 · 1 处
B星树提高内部节点占用
B* 树是 B 树的另一变体,要求每个内部节点至少达到约三分之二占用,而普通 B 树的要求约为一半。
更高最低占用改变空间利用与调整策略;原文此处只给定义,未展示完整插删算法。
独立卡片:B星树提高内部节点占用。
原书依据 · 1 处
第19章 不相交集合的数据结构
不相交集合维护互不重叠的组,核心操作是建集合、找代表和合并。代表只是用于判断同组的标识,不必具有业务含义。按秩合并和路径压缩改变森林的形状,让大量操作的总成本很低;其分析是摊还保证。该结构随后可以帮助Kruskal算法判断一条边是否连接了不同分量。
本节在全书中的作用:定义不相交集合的建集、查集和合并操作,再比较链表与森林表示,解释按秩合并及路径压缩为何能使整段操作序列的成本接近线性。
展开顺序:代表元标识集合,建集创建单元素集合,查集返回所属集合代表元,合并替换两个旧集合;逐边合并可维护无向图连通分量。链表表示使建集和查集为常数时间,朴素合并要改写一侧全部回指针,可能累计平方;短链接长链使每个元素所在集合每次改写后至少翻倍,总成本降为 O(m+n lg n)。森林表示把树根作为代表元;按秩合并控制树高,查集路径压缩把沿途节点直连根,二者合用的 m 次操作上界为 O(mα(n))。后半章用迅速增长函数的逆函数定义 α,再借父链秩严格递增、分析层级单调和非负势能,分别给建集、连接、查集计摊还成本;这是近线性序列界,不能简化成严格线性结论。离线最小值、原树深度和离线最近公共祖先展示应用题的建模与伪代码,题设要求的额外证明或实现仍须另做。
# 第19章 不相交集合的数据结构
## 表示与操作
- 不相交集合: 建集 查集 合并
- 链表表示
- 森林表示
## 链表加权合并
- 朴素合并改写回指针
- 短链接长链
- 元素每次迁移后集合翻倍
## 森林优化与摊还界
- 按秩合并
- 查集路径压缩
- 逆增长函数 α 与秩性质
- 节点势能支付长查找路径
- 操作序列 O(mα(n))
## 应用
- 连通分量与离线问题
不相交集合维护集合划分
不相交集合结构维护一批互不重叠的动态集合,每个元素始终只属于其中一个集合。
它解决的是“元素属于哪组”和“合并两组”,不是查询集合内部的排序位置。
独立卡片:不相交集合维护集合划分。
原书依据 · 1 处
代表元标识整个集合
每个不相交集合用其中一个成员作为代表元。同一集合未修改期间,重复查询应返回同一代表元;若业务规定必须选最小成员,任意挑选代表元的实现就不满足该附加约束。
独立卡片:代表元标识整个集合。
原书依据 · 1 处
建集只含新元素
MAKE-SET(x) 创建只含 x 的新集合,x 也就是该集合代表元;前提是 x 尚未属于别的集合。
若重复建集,会破坏“各集合互不相交、每个元素仅归属一组”的语义。
独立卡片:建集只含新元素。
原书依据 · 1 处
并集操作替换两旧集合
UNION(x,y) 把分别包含 x、y 的两个集合合为一个;原有两个集合从集合族中消失,合并后代表元可取并集中任一成员,常见实现选原两集合中的一个代表元。
它不是把元素复制到第三个仍共存的集合。
独立卡片:并集操作替换两旧集合。
原书依据 · 1 处
查集返回所属组代表元
FIND-SET(x) 返回 x 所属唯一集合的代表元。
比较两个元素的代表元便可判断它们当前是否属于同一组;这个判断依赖集合尚未改变,代表元对象本身不必是最小键。
独立卡片:查集返回所属组代表元。
原书依据 · 1 处
边合并可求无向连通分量
求无向图连通分量时,
- 先为每个顶点建单元素集合,
- 再逐条边合并两端所属集合;处理完后,同集合等价于连通。
若边持续增加,可继续合并更新;静态图则可比较一次DFS的成本。
独立卡片:边合并可求无向连通分量。
原书依据 · 1 处
链表并查集把查找做成常数
链表表示中,每个集合有头尾指针;元素节点保存所属集合对象的回指针,首节点成员为代表元。
MAKE-SET和FIND-SET都能 O(1),但合并时必须更新被接入链表中每个元素的回指针。
独立卡片:链表并查集把查找做成常数。
原书依据 · 1 处
朴素链表合并可能平方
若总把第二条链表接到第一条末尾,需要逐个改写第二条链表元素的所属集合指针。最坏顺序是每次把当前长链作为第二条链:依次合并规模 1 与 1、1 与 2、1 与 3……时,被改写节点数为 1+2+⋯+(n−1)=n(n−1)/2=Θ(n²)。因此常数时间的 FIND-SET 是把代价转移给 UNION,并未让整个操作序列变成线性时间。
独立卡片:朴素链表合并可能平方。
原书依据 · 1 处
加权合并总把短链接长链
加权合并为链表维护长度,总把较短链表接到较长链表后。单次合并仍可能线性,但减少同一元素反复更换所属集合指针的次数;成本保证针对整段操作序列。
独立卡片:加权合并总把短链接长链。
原书依据 · 1 处
集合翻倍限制回指针改写
元素的回指针只在其所在短链被接到长链时改写。设某元素改写前所在集合大小为 s,长链大小至少也是 s,合并后它所在集合大小至少为 2s;从单元素集合开始,规模只能按 1、2、4、8……增长,达到 n 前最多改写 ⌊lg n⌋ 次。因此 n 个元素的全部回指针改写合计 O(n lg n),再加 m 次操作的常数开销,序列总成本为 O(m+n lg n)。
独立卡片:集合翻倍限制回指针改写。
原书依据 · 1 处
并查集森林以树根代表集合
并查集森林用一棵有根树表示一个集合;每个元素只存父指针,根节点是代表元且父指针指向自己。
- MAKE-SET 建单节点树,
- FIND-SET 沿父链找根,
- UNION 连接两棵树的根。
独立卡片:并查集森林以树根代表集合。
原书依据 · 1 处
按秩合并让矮树接高树
按秩合并为节点保存“高度上界”秩,让秩较小的根接到秩较大的根;两根同秩时任选父根并把其秩加一。
秩并非压缩后的实时高度,不能因路径压缩而重算它。
独立卡片:按秩合并让矮树接高树。
原书依据 · 1 处
路径压缩让查找路径直连根
路径压缩在 FIND-SET 找到根后,让本次查找路径上的节点直接指向根。
它缩短后续查找,但不改变集合成员或节点秩;未访问的其他路径不必在这次操作中改写。
独立卡片:路径压缩让查找路径直连根。
原书依据 · 1 处
递归查集回程更新父指针
- 递归 FIND-SET 先沿父指针上行找到根,
- 递归返回时再把路径上每个节点的父指针改为该根;
根的父指针是自己,构成递归终点。单次调用同时完成代表元查询和路径压缩。
独立卡片:递归查集回程更新父指针。
原书依据 · 1 处
两种启发式得到近线性界
按秩合并让矮树挂到高树,路径压缩则让一次 FIND-SET 路径上的节点直接指向根。两者一起使用时,n 次建集包含在 m 次操作中,整个序列的最坏成本为 O(mα(n));α(n) 是快速增长函数族的反函数,在任何实际可表示的 n 上都不超过 4。于是每次操作的摊还成本实践中近似常数,但 α 仍会随 n 增长,数学上不能把结论改写成严格的 O(m)。
独立卡片:两种启发式得到近线性界。
原书依据 · 1 处
逆增长函数取达到阈值的最低层
快速增长函数族从 A₀(j)=j+1 开始;更高层 Ak 会把前一层 A{k−1} 从 j 出发反复应用 j+1 次。仅看输入 1,便有 A₀(1)=2、A₁(1)=3、A₂(1)=7、A₃(1)=2047,而 A₄(1) 已远超常见规模。
α(n)=min{k:A_k(1)≥n},即达到阈值 n 所需的最低层。例如 n=7 时 α(n)=2,8≤n≤2047 时 α(n)=3。它增长极慢,却不是常数函数。
独立卡片:逆增长函数取达到阈值的最低层。
原书依据 · 1 处
原书依据 · 1 处
并集分析可拆为查根与连接
UNION(x,y) 可分解为两次 FIND-SET 查出各自树根,再调用一次只接收树根的 LINK。每次原操作最多变成三次,序列长度只差常数倍,因此可先分析 LINK 版序列,再把界转回原操作。
若 LINK 版的每次操作摊还为 O(α(n)),其中 α 是增长极慢的逆 Ackermann 函数,原序列总成本仍为 O(mα(n));拆分只改变常数因子,不改变渐近阶。
独立卡片:并集分析可拆为查根与连接。
原书依据 · 1 处
势能法汇总森林节点信用
并查集的摊还分析给每个节点 x 在第 q 次操作后的“信用”记作 φ_q(x),森林总势能为 Φ_q=∑_x φ_q(x)。初始还没有节点,所以 Φ₀=0;每个节点势能都非负。
一次操作的摊还成本等于实际成本加势能变化 ΔΦ。长 FIND-SET 虽访问很多节点,但路径压缩会降低沿途多数节点的势能;先前积累的信用因此可支付这次访问成本。势能是分析工具,不是实现中需要维护的字段。
独立卡片:势能法汇总森林节点信用。
原书依据 · 1 处
压缩分析的层级只会升高
rank 是按秩合并维护的树高上界标签,A_k 是 Ackermann 型快速增长函数族的第 k 层。对正秩非根节点 x,分析量 level(x) 定义为满足 A_k(x.rank)≤x.p.rank 的最大层 k;x.p 表示父节点。它衡量“父节点秩相对 x 的秩跨过了快速增长函数的哪一层”,并非树的真实深度。
x 一旦不再是根,其 rank 固定;父节点的 rank 随后只会不变或增大。于是上述不等式能成立的最大 k 只会增大,level(x) 随时间单调不减。另一个分析量 iter(x) 记录在当前 level 内还能反复应用多少次 A_level;level 不变时,iter 也只会不变或增大。
独立卡片:压缩分析的层级只会升高。
原书依据 · 1 处
节点势能有非负上界
rank 是按秩合并维护的树高上界标签,α(n) 是增长极快的 Ackermann 层级的反函数。对非根节点,level(x) 表示父节点秩相对 x.rank 已跨到哪个 Ackermann 层,iter(x) 表示在该层阈值中又推进了多少次。
节点 x 的势能按两种情况定义:若 x 是根或 rank=0,则 φ(x)=α(n)·rank;否则 φ(x)=(α(n)−level(x))·rank−iter(x)。其中 0≤level(x)<α(n),且正秩节点满足 1≤iter(x)≤rank。
代入极端值可得 0≤φ(x)≤α(n)·rank:非负保证分析不会靠“负信用”支付无限成本,上界则把可积累信用限制在秩的倍数内。这些量只服务于摊还证明。
独立卡片:节点势能有非负上界。
原书依据 · 1 处
路径压缩可消耗势能
rank 是按秩合并维护的树高上界标签,α 是逆 Ackermann 函数。对非根节点,level 记录父秩跨过的粗粒度 Ackermann 层,iter 记录当前层内继续跨过的阈值次数;父指针改接到更高秩祖先时,这两个量只会向前推进。
对非根节点,LINK 或 FIND-SET 不会提高其势能。若正秩节点的 level 增加 1,势能式中的 (α−level)·rank 至少减少 rank;即使 iter 随换层最多回落 rank−1,净势能仍至少下降 1。若 level 不变而 iter 增加,势能中的 −iter 也至少再减 1。
路径压缩把沿途节点改接到高秩根,正是推动这些分析量变化的动作。因此一次长查找访问的多数节点,会各释放至少一单位势能来抵消实际成本。
独立卡片:路径压缩可消耗势能。
原书依据 · 1 处
原书依据 · 1 处
连接的势能增量有界
rank 是按秩合并维护的树高上界标签:不同秩的根连接时秩不变,同秩根连接时新根的秩加 1。α(n) 是逆 Ackermann 函数,也是本证明中每增加一单位根秩所允许增加的势能系数。
LINK 只接收两棵树的根,实际改一条父指针并可能把新根的 rank 加 1,所以实际成本为 O(1)。成为子节点的旧根势能不升;新根若因同秩合并把 rank 从 r 增至 r+1,其势能 α(n)·rank 至多增加 α(n)。因此森林总势能变化至多 α(n),摊还成本为 O(1)+α(n)=O(α(n))。
独立卡片:连接的势能增量有界。
原书依据 · 1 处
长查找路径由势能下降支付
rank 是按秩合并维护的树高上界标签,α(n) 是逆 Ackermann 函数;level 记录父秩达到的 Ackermann 粗层,iter 记录该层内越过阈值的次数。路径压缩把节点直接接向高秩根,会让多数节点的 level 或 iter 前进,从而降低势能。
设 FIND-SET 的查找路径有 s 个节点,实际成本为 O(s)。按 level 分组后,每层至多留下最后一个节点不保证降势能,另有秩为 0 的首节点和根节点两个例外;level 只有 0 到 α(n)−1,所以例外最多 α(n)+2 个。
其余至少 max(0,s−α(n)−2) 个节点在压缩后各降至少一单位势能。严格做常数核算时,可把整套节点势能乘以足以覆盖“访问一个节点”常数成本的固定系数;这样每个普通节点释放的信用抵消其访问成本,只留下至多 α(n)+2 个例外节点。因此摊还成本为 O(α(n));这不是声称单次真实查找只访问 α(n) 个节点。
独立卡片:长查找路径由势能下降支付。
原书依据 · 1 处
并查集总界来自分项摊还
在同时采用按秩合并与路径压缩时,MAKE-SET 的摊还成本为 O(1),LINK 与 FIND-SET 各为 O(α(n));α(n) 是逆 Ackermann 函数,在实际规模上增长极慢。把 UNION 拆成两次查根加一次 LINK 后,每个原操作只产生常数次上述操作,所以 m 次原操作总成本为 O(mα(n))。
这是整个操作序列的摊还总界,并不保证每一次真实查找都只花 O(α(n));结论也依赖同时使用两种启发式。
独立卡片:并查集总界来自分项摊还。
原书依据 · 1 处
离线最小值可先看全序列
离线最小值问题预先得到所有 INSERT 和 EXTRACT-MIN 操作,再确定每次取最小值返回什么。
与在线处理不同,它允许先分析完整操作序列;输入约束是 1 到 n 每个键恰插入一次。
独立卡片:离线最小值可先看全序列。
原书依据 · 1 处
离线最小值按插入段分组
把操作序列按 EXTRACT-MIN 分成插入段 I₁…Iₘ₊₁。
按键从小到大处理时,将当前键分配给它插入段之后最早仍有效的取最小值位置,再把该段与下一有效段合并。
原文给出过程,正确性和并查集实现仍留作练习。
独立卡片:离线最小值按插入段分组。
原书依据 · 1 处
伪距离沿父链求原树深度
深度维护题允许并查集森林的形状不同于原树。
给每个节点保存伪距离,使从节点到集合根路径的伪距离之和等于该节点在原树中的深度;路径压缩时必须同步修正这些值,具体算法仍待设计。
独立卡片:伪距离沿父链求原树深度。
原书依据 · 1 处
最近公共祖先取最深共同祖先
有根树中两节点的最近公共祖先,是同时为二者祖先且深度最大的节点。
这里的“最近”按共同祖先的深度衡量,不是按任一节点到它的边数单独衡量。
独立卡片:最近公共祖先取最深共同祖先。
原书依据 · 1 处
离线祖先查询借并查集遍历
离线 LCA 过程按树递归:
- 进入节点时建集并记当前祖先,
- 处理每个孩子后合并集合、把合并后代表元的 ancestor 重新指向当前节点;
- 节点完成标黑后,对已标黑的查询端点读取其集合 ancestor。
原文留下正确性证明任务。
独立卡片:离线祖先查询借并查集遍历。
原书依据 · 1 处
第六部分 图算法
图用顶点表示对象,用边表示关系。遍历先揭示可达性与结构,最小生成树优化整体连通成本,最短路径优化起终点之间的路径,网络流处理容量与守恒,匹配处理成对分配。它们共享表示和若干基础操作,但目标函数与可行约束不同,不能把某一类问题的最优解直接当作另一类的答案。
本节在全书中的作用:为图算法部分建立问题地图和统一的输入规模记法,说明后续各章分别处理图遍历、连通、最小生成树、最短路、最大流与二分图匹配。
展开顺序:先以图的顶点集和边集作为统一输入,再按任务目标组织后续章节:遍历支持广度与深度搜索、拓扑排序及强连通分量;带权无向图的最小生成树追求连通所有顶点的最小总权;路径问题分单源与全点对;流网络沿有向容量边求源汇间最大流;二分图匹配从两侧选边配对,并延伸到最大基数、稳定婚姻和最大权指派。本引言仅说明问题与章节安排,不提供后续算法的证明。复杂度记为顶点数 |V| 与边数 |E| 的双参数;仅在渐近记号内可用 V、E 代指其基数。
# 第六部分 图算法
## 图问题
- 图 G=(V,E)
## 问题类别
- 遍历与结构
- 带权连通
- 路径
- 网络流
- 二分图匹配
## 算法与复杂度
- BFS DFS 拓扑排序 强连通
- 最小生成树
- 单源与全点对最短路
- 源汇最大流
- 最大基数 稳定匹配 指派
- 复杂度用 |V| 与 |E| 计量
最小生成树以最小权连通
带权图的最小生成树目标是用总权重最小的边集合连通全部顶点。它关注全图连接的总成本,和从某个起点到其他顶点的最短路径不是同一优化目标;后续章才给具体算法。
独立卡片:最小生成树以最小权连通。
原书依据 · 1 处
最短路分单源与全点对
带权图的最短路径可按查询范围区分:
- 单源问题求指定起点到所有顶点的路径,
- 全点对问题求每一对顶点间的路径。
两者输入范围和输出规模不同,不能将单源运行一次就当作全点对结果。
独立卡片:最短路分单源与全点对。
原书依据 · 1 处
流网络用容量限制边流量
流网络是带指定源点、汇点和有向边容量的有向图;最大流问题寻找可从源流向汇的最大总量。
容量是边上可通过量的上限,不等同于最短路径中的边长度。
独立卡片:流网络用容量限制边流量。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
图复杂度按顶点和边分别计
图算法复杂度通常同时用顶点数 |V| 与边数 |E| 表示;同样顶点数的稀疏图和稠密图可能成本不同。
在渐近符号内省写 V、E 代表数量,在伪代码中 G.V、G.E 则表示实际顶点集和边集。
独立卡片:图复杂度按顶点和边分别计。
原书依据 · 1 处
第20章 基本图算法
邻接表保存各顶点的邻居,邻接矩阵用二维位置表示是否有边;表示选择影响空间和遍历成本。广度优先搜索按层扩展,在无权图中给出最少边数的路径;深度优先搜索沿一条路径深入并记录完成关系。拓扑排序和强连通分量利用这些结构信息,为后续图优化提供组织基础。
本节在全书中的作用:建立图表示与 BFS、DFS 的基本性质,并从 DFS 的时间区间与边分类推导拓扑排序和强连通分量分解。
展开顺序:邻接表以 Θ(V+E) 空间保存稀疏图,邻接矩阵以 Θ(V²) 空间换顶点对查边的直接访问;选型须同时看密度和操作。BFS 从单源按队列逐层扩展,首次发现确定父节点和边数距离,队列仅含相邻两层;沿边距离不等式、队列单调性和最小反例证明其得到无权最短路树,邻接表实现为 O(V+E)。DFS 沿未访问边深入再回溯,可能形成森林;发现/完成时间区间要么嵌套要么分离,白路径定理刻画后代,树边、返祖边、前向边和横叉边说明探索关系;无向图只会有树边与返祖边。对有向图,返祖边等价于存在环,所以 DAG 可按 DFS 完成时间逆序得到拓扑序。强连通分量是极大互达顶点集;先在原图求完成时间,再在转置图按递减完成时间 DFS,每棵树恰为一个分量,依据是分量图无环与跨分量完成时间顺序。章末割点、桥、双连通、欧拉回路和平面图含定义及练习任务,不能把未给出的算法证明当成已完成结果。
# 第20章 基本图算法
## 表示与遍历
- 图表示
- 邻接表
- 邻接矩阵
- BFS 单源逐层搜索
- DFS 深入再回溯
## 遍历的性质与应用
- 队列层序与无权最短路树
- 发现完成时间与边分类
- 返祖边判断有向环
- DAG 按完成时间逆序拓扑排序
## 强连通分量
- 原图完成时间
- 转置图依递减时间 DFS
- 每棵树对应一个强连通分量
原书依据 · 1 处
无向边在邻接表记两次
- 有向图的邻接表长度总和等于边数 E;
- 无向图每条边要在两个端点表中各出现一次,长度总和为 2E。
两者存储量仍是 Θ(V+E),遍历所有边还要检查 V 个表。
独立卡片:无向边在邻接表记两次。
原书依据 · 1 处
稀疏图优先考虑邻接表
- 当 E 远小于 V²,邻接表通常更紧凑;
- 边接近 V² 或需要频繁判断某两点是否相连时,邻接矩阵可能更合适。
选择表示要结合图密度与主要查询,不能只看一种操作。
独立卡片:稀疏图优先考虑邻接表。
原书依据 · 1 处
带权图给每条边赋权
带权图为每条边关联一个权值,可记作从边集合到实数的函数 w:E→ℝ。
邻接表可把 w(u,v) 与对应邻接项一起存储;权值的业务意义由具体问题决定,不能一律解释为距离。
独立卡片:带权图给每条边赋权。
原书依据 · 1 处
邻接矩阵按顶点对存边
邻接矩阵用 V×V 的表按有序顶点对记录是否有边;无向图的矩阵沿主对角线对称。
它支持按行列直接定位边状态,但即使边很少也要 Θ(V²) 存储。
独立卡片:邻接矩阵按顶点对存边。
原书依据 · 1 处
原书依据 · 1 处
图平方连接两步内可达点
有向图的平方 G² 在 u 到 v 存在至多两条边的路径时加入 u→v。
它把两步可达关系压成一条边关系;原文只定义目标,邻接表和矩阵的高效构造仍需证明。
独立卡片:图平方连接两步内可达点。
原书依据 · 1 处
通用汇只入不出
有向图的通用汇是入度 V−1、出度 0 的顶点:其他所有顶点都指向它,它不指向任何顶点。
原文把邻接矩阵中 O(V) 判定法留作练习,定义不等于算法已给出。
独立卡片:通用汇只入不出。
原书依据 · 1 处
关联矩阵按顶点与边记方向
有向图的关联矩阵按“顶点×边”建表,每列代表一条边:离开顶点记 −1,进入顶点记 +1,其他位置记 0。
它描述边与端点的关系,和按“顶点×顶点”记录相邻性的邻接矩阵不同。
独立卡片:关联矩阵按顶点与边记方向。
原书依据 · 1 处
广度优先搜索求无权最短边数
从源点开始,BFS 按边层层发现所有可达顶点,并求每点到源点所需的最少边数。
其树中根到某顶点的路径对应一条最短边数路径;这不自动求得带权图的最小权路径。
独立卡片:广度优先搜索求无权最短边数。
原书依据 · 1 处
BFS队列只含相邻两层
BFS 用先进先出队列维护当前搜索前沿;处理距离 k 的顶点时,新发现的顶点排在后面,距离为 k+1。因此队列中只会有相邻两层的部分顶点,而不会乱序跳到更远层。
独立卡片:BFS队列只含相邻两层。
原书依据 · 1 处
BFS颜色区分探索进度
- BFS 中白色表示未发现,
- 灰色表示已发现但邻边尚未全部处理、处于队列前沿,
- 黑色表示邻边已处理完。
源点不可达的顶点始终白色;颜色描述搜索状态,不表示图的固有属性。
独立卡片:BFS颜色区分探索进度。
原书依据 · 1 处
首次发现决定BFS树父节点
扫描灰色顶点 u 的邻接表时,首次遇到白色 v,就把边 u→v 加入广度优先树并令 u 为 v 的父节点。每个可达顶点至多首次发现一次,所以除源点外只有一个树父节点。
独立卡片:首次发现决定BFS树父节点。
原书依据 · 1 处
BFS队列等于灰色顶点集
BFS 循环检查时,队列中恰好是全部灰色顶点:发现白点时同时染灰并入队,取出顶点并处理完邻边后染黑。
这个不变量把“已发现但未处理完”的前沿状态与队列位置对齐。
独立卡片:BFS队列等于灰色顶点集。
原书依据 · 1 处
BFS首次发现即定距离与父节点
BFS 从队头 u 扫描邻点,遇到白点 v 时将它染灰、设置 v.d=u.d+1、记 u 为父节点并入队。
每点只会首次发现一次,之后距离不再修改;这保证父链记录的是层次发现过程。
独立卡片:BFS首次发现即定距离与父节点。
原书依据 · 1 处
邻接顺序可改变BFS树
同层存在多条最短路径时,邻接表的遍历顺序会改变哪个顶点先发现目标,从而改变树父节点;但 BFS 算出的距离不受该顺序影响。
复现实验若要比较树形,应固定邻接顺序。
独立卡片:邻接顺序可改变BFS树。
原书依据 · 1 处
BFS按邻接表线性遍历
BFS 中每个顶点最多入队和出队一次,每条邻接表也只在其顶点出队时扫描一次;连同初始化,时间为 O(V+E)。
这个结论依赖邻接表表示,换成矩阵需重新计算。
独立卡片:BFS按邻接表线性遍历。
原书依据 · 1 处
原书依据 · 1 处
沿一条边距离至多加一
对任意有向边 u→v,从源点到 v 可先走最短路径到 u 再走该边,因此 δ(s,v)≤δ(s,u)+1;若 u 不可达,右侧为无穷,不等式仍成立。
这是 BFS 正确性证明的局部基础。
独立卡片:沿一条边距离至多加一。
原书依据 · 1 处
BFS暂存距离不低于最短值
BFS 给 v 的有限 d 值来自某条已发现路径的边数,所以始终有 v.d≥δ(s,v);未发现时为无穷也满足。
证明再利用队列层序,排除“严格大于”的情形,才能得到相等。
独立卡片:BFS暂存距离不低于最短值。
原书依据 · 1 处
BFS队列距离单调且差不超一
BFS 队列中顶点按 d 非递减排列,队尾 d 最多比队头大一。这是 FIFO 与新邻点 d=u.d+1 共同维持的层次不变量;它支撑先入队顶点不会比后入队顶点更远。
独立卡片:BFS队列距离单调且差不超一。
原书依据 · 1 处
BFS正确性排除最小反例
若某点 d 严格大于真实最短距离,取最短距离最小的此类点 v,并看最短路上它的前驱 u。
u 的距离已正确;u 出队时无论 v 是白、灰还是黑,都会推出 v.d≤u.d+1,与假设矛盾。
独立卡片:BFS正确性排除最小反例。
原书依据 · 1 处
BFS前驱子图是最短路树
用每个已发现顶点的 π 父边组成前驱子图;若它包含全部源点可达顶点,且从源点到各点的唯一树路径都是原图最短边数路径,就称为广度优先树。
BFS 得到的 π 满足此定义。
独立卡片:BFS前驱子图是最短路树。
原书依据 · 1 处
沿BFS父指针打印最短路
完成 BFS 后,从目标 v 沿 π 父指针递归回到源点,再按返回顺序输出各点,就得到一条最短边数路径。
若父指针为空且 v 不是源点,应报告不可达;输出成本与路径顶点数成正比。
独立卡片:沿BFS父指针打印最短路。
原书依据 · 1 处
DFS沿未探索边深入再回溯
DFS 从最近发现且仍有未探索出边的顶点继续深入;该顶点的出边全部处理后,才退回发现它的顶点。
未访问顶点可作为新根,直至全图遍历完。
独立卡片:DFS沿未探索边深入再回溯。
原书依据 · 1 处
原书依据 · 1 处
DFS发现和完成各记时间
每个顶点在首次发现与完成邻接表扫描时各获一个时间戳;2|V| 个事件产生 1 到 2|V| 的时间。
白、灰、黑分别对应未发现、活动中、已完成。
独立卡片:DFS发现和完成各记时间。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
DFS递归调用映射树边
DFS 森林中的父子关系对应递归调用:在扫描 u 的邻接表时调用 DFS-VISIT(v),才有 v.π=u;v 在 u 为灰时被发现,才是 u 的后代。
独立卡片:DFS递归调用映射树边。
原书依据 · 1 处
原书依据 · 1 处
严格时间嵌套刻画后代
DFS 首次发现顶点 u 时记录 u.d,扫描完它的全部后代并返回时记录 u.f,因此 [u.d,u.f] 是 u 处于活动递归栈中的时间区间。
顶点 v 是 u 的真后代,当且仅当 u.d<v.d<v.f<u.f:搜索在 u 尚未完成时进入 v,又必须先完成 v 才能完成 u。所以可用时间戳区间的严格包含关系判断 DFS 树祖先关系;等号不会发生,因为每次时间戳递增且每个事件唯一。
独立卡片:严格时间嵌套刻画后代。
原书依据 · 1 处
白路径定理刻画DFS后代
DFS 发现 u 时,若存在从 u 到 v 且顶点均仍为白色的路径,则 v 必成为 u 的后代;反向也成立。
此结论适用于有向和无向图。
独立卡片:白路径定理刻画DFS后代。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
拓扑排序给DAG排先后
拓扑序是有向无环图顶点的线性顺序,必须让每条边(u,v)的起点 u 出现在终点 v 之前。
它表达先决约束;无边约束的顶点可有多种合法顺序。
独立卡片:拓扑排序给DAG排先后。
原书依据 · 1 处
原书依据 · 1 处
按DFS完成时间逆序拓扑排序
- 对 DAG 运行 DFS;
- 每完成一个顶点就插入链表头,得到完成时间递减的顶点序。
DFS 与每点常数次插入合计 Θ(V+E)。
独立卡片:按DFS完成时间逆序拓扑排序。
原书依据 · 1 处
原书依据 · 1 处
DAG边按完成时间递减
对 DAG 边(u,v),扫描时 v 不可能为灰色,否则构成返祖边;v 若白色会成为 u 后代,若黑色已完成。
两种情况都得 v.f,因此完成时间递减序合法。
独立卡片:DAG边按完成时间递减。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
两次DFS求强连通分量
强连通分量是极大的顶点集合,其中任意两点都能互相到达。图的转置 Gᵀ 把每条边 (u,v) 反向为 (v,u);DFS 的完成时间 u.f 是 u 的所有可继续探索后代都处理完、搜索从 u 返回的时刻。
- 先在 G 上 DFS 记录完成时间,
- 再建转置图
Gᵀ; - 按第一遍所得完成时间递减的顺序,在
Gᵀ上启动第二次 DFS。
转置不会改变哪些顶点互相可达,却会反转分量之间的边;第一遍完成时间的顺序保证第二遍不会从当前分量越入尚未输出的分量。因此第二次 DFS 森林的每棵树恰好对应一个强连通分量,整体耗时 Θ(V+E)。
独立卡片:两次DFS求强连通分量。
原书依据 · 1 处
原书依据 · 1 处
跨分量边约束完成时间
对强连通分量 C,定义 f(C)=max{u.f:u∈C},即第一遍 DFS 中该分量顶点的最大完成时间。若分量图中有边 C′→C 且两者不同,则 f(C′)>f(C)。
若 DFS 先进入 C′,可沿跨分量边探索 C,必须完成 C 后才能完成 C′;若先进入 C,由于不同强连通分量不可能从 C 返回 C′,C 会先独立完成。两种发现顺序都得到同一严格次序,它保证第二遍能按完成时间递减选择正确分量。
独立卡片:跨分量边约束完成时间。
原书依据 · 1 处
完成时间令转置DFS按分量成树
首次 DFS 中跨分量边使源分量的最大完成时间更晚。
第二次在转置图按完成时间降序选根时,当前分量指向未访问分量的边被排除,于是每棵 DFS 树恰是一整个强连通分量。
独立卡片:完成时间令转置DFS按分量成树。
原书依据 · 1 处
SCC算法证明用白路径定理
第二次 DFS 选到某分量根 u 时,该分量其余顶点仍是白色且与 u 互达,白路径定理保证它们全成为 u 后代;跨分量边只到已访问分量,故树不混入其他分量。
独立卡片:SCC算法证明用白路径定理。
原书依据 · 1 处
分量图按拓扑次序被访问
转置图上的第二次DFS按转置分量图的逆拓扑序访问。
将该分量图边反向,原文指出得到原图分量图,因此在原图分量图中按拓扑序访问;所用分量图恒等式的证明仍是习题20.5-4的任务。
独立卡片:分量图按拓扑次序被访问。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
双连通分量按边划分
本书的双连通块以边集表示:块内任意两条边同在某条简单环上,并取满足此性质的极大集合。
它区分共享割点的两个环,不能与删去桥后形成的“边双连通分量”混称;桥边不属于这些循环块。
独立卡片:双连通分量按边划分。
原书依据 · 1 处
欧拉回路恰遍历每条边一次
强连通有向图中的欧拉回路是一条闭合路线,每条边恰好走一次,顶点可重复经过。
是否存在要检验每点入度与出度相等;这一条件在原书作为待证明命题提出。
独立卡片:欧拉回路恰遍历每条边一次。
原书依据 · 1 处
原书依据 · 1 处
第21章 最小生成树
最小生成树在连通无向图中选出连接所有顶点且无环的边集,使总权重最小。割性质解释哪些边可以安全加入某个最优解。Kruskal按全局边序合并分量,Prim从一棵树向外扩展;它们使用不相交集合和优先队列等不同工具来实现同一安全选择思想。
本节在全书中的作用:用安全边和割性质建立最小生成树的贪心正确性,再由同一原则推导 Kruskal 与 Prim 两种实现。
展开顺序:生成树连接全部顶点且无环,最小生成树在所有生成树中使边权总和最小;相等权重可使答案不唯一。通用算法维护某棵 MST 的边子集 A,逐步加入安全边。割把顶点分为两侧;割尊重 A 当已有边都不跨割,跨割最轻边由换边论证为安全边,因此 A 的每个森林分量可选最轻出边。Kruskal 按权重顺序扫描,用并查集只接纳连接不同分量的边,主要成本是排序 O(E lg V);Prim 从一个根出发,只扩张一棵树,用顶点键值记录当前最轻入树边,每轮取全局最小键并更新邻点。Prim 用二叉堆是 O(E lg V),用斐波那契堆是 O(E + V lg V)。章末次优生成树、稀疏图轻边收缩与瓶颈生成树是延伸问题:次优树须在排除最优树后寻找,收缩时要保存对应原边的身份;最小生成树也是瓶颈生成树,但章末要求的更快算法与各题证明不能仅由题干当作已完成结论。研究史与名称脚注作为背景保留,不独立成卡。
# 第21章 最小生成树
## 最优树与安全边
- 连通无向带权图
- 生成树及最小总权重
- 维护某棵 MST 的边子集 A
- 尊重 A 的割
- 跨割轻边
- 换边证明安全性
## 两种构造及实现
- 按分量找最轻出边
- Kruskal 合并森林
- Prim 扩张单树
- 排序与并查集
- 键值与优先队列
- 二叉堆或斐波那契堆复杂度
## 延伸问题
- 次优树与轻边收缩等延伸
原书依据 · 1 处
原书依据 · 1 处
安全边保持最优树扩展性
泛化 MST 算法维护边集合 A:它始终包含于某棵最小生成树。
若加入边 e 后仍能包含于某棵最优树,e 对 A 就是安全边;持续加安全边直到覆盖全图。
独立卡片:安全边保持最优树扩展性。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
换边证明割性质
把轻边加到含 A 的 MST 会形成环;环上必有另一条跨同一割的边,且不属于 A。删去它再加入轻边,连通无环保持,总权不增加,因此得到另一棵含 A 与轻边的 MST。
独立卡片:换边证明割性质。
原书依据 · 1 处
MST增长过程形成森林
泛化 MST 的 A 始终是某棵树的子集,因此无环;(V,A) 是森林。每条安全边连接两个不同分量,分量数减一,故最多加入 |V|−1 条边。
独立卡片:MST增长过程形成森林。
原书依据 · 1 处
分量的最轻出边是安全边
在当前森林 (V,A) 中取任一连通分量 C,连接 C 与其他分量的最轻边对 A 安全。因为以 C 的顶点集合构造的割尊重 A,能直接套用割性质。
独立卡片:分量的最轻出边是安全边。
原书依据 · 1 处
Kruskal逐步合并森林
Kruskal 维护覆盖所有顶点的森林;每轮选连接两个不同分量的全局最低权边,将两棵树合并。
它依赖分量轻边安全性,适合用不相交集合判断端点是否已连通。
独立卡片:Kruskal逐步合并森林。
原书依据 · 1 处
Prim只扩张一棵树
Prim 的 A 始终是一棵增长中的树;每轮选连接该树与尚未入树顶点的最低权边。
它与 Kruskal 扩张整片森林不同,但同样使用安全边规则。
独立卡片:Prim只扩张一棵树。
原书依据 · 1 处
原书依据 · 1 处
Kruskal排序主导复杂度
采用按秩合并与路径压缩时,并查集操作总成本近线性;排序 E 条边为 O(E lg E)。
连通简单图有 lg E=O(lg V),总时间 O(E lg V)。
独立卡片:Kruskal排序主导复杂度。
原书依据 · 1 处
Prim键值记录入树最轻边
Prim 对尚未入树顶点 v 保存 key:连接 v 与当前树的最小边权;父指针记录这条边的树内端点。
按 key 取最小者入树,再用新顶点的邻边更新其他键。
独立卡片:Prim键值记录入树最轻边。
原书依据 · 1 处
Prim每轮维持最轻跨割边
Prim 的队列 Q 是未入树顶点;每次提取最小 key 顶点,相当于选择跨 (V−Q,Q) 的轻边。
扫描该顶点邻居并降低更优键值,保持每个队列顶点的当前最轻接入边。
独立卡片:Prim每轮维持最轻跨割边。
原书依据 · 1 处
原书依据 · 1 处
Prim斐波那契堆减少降键成本
斐波那契堆中提取最小摊还 O(lg V),插入和降键摊还 O(1),使 Prim 总时间成为 O(E+V lg V)。该改进体现在大量降键的图上。
独立卡片:Prim斐波那契堆减少降键成本。
原书依据 · 1 处
次优生成树排除唯一最优树
给定唯一 MST T,次优生成树是在所有不等于 T 的生成树里总权最小者。
它仍是一棵生成树,且可与 T 只差一次换边;后者在原书作为待证明命题。
独立卡片:次优生成树排除唯一最优树。
原书依据 · 1 处
稀疏图可先收缩轻边
MST-REDUCE 对每个尚未配对顶点选一条最低权关联边,收进待构树,再把选中边连成的顶点集合收缩。
收缩后的平行边只留最低权者,并保留原边映射供还原。
独立卡片:稀疏图可先收缩轻边。
原书依据 · 1 处
MST收缩要保留原边身份
MST-REDUCE 用并查集把已选轻边连接的顶点收缩成新顶点;跨新顶点的平行边只留最低代价边,同时记录 orig 指向原图边,以便将收缩图的 MST 还原。
独立卡片:MST收缩要保留原边身份。
原书依据 · 1 处
瓶颈生成树最小化最大边
瓶颈生成树最小化最大边权,MST则最小化总权。
任取MST中一条最重边e,删e形成割;若有更轻的跨割边,换入会降低总权,矛盾。
因此任何生成树均须跨此割且最大边权至少为w(e),所以MST也是瓶颈树;反向一般不成立。
此证明是依原书习题作的推导。
独立卡片:瓶颈生成树最小化最大边。
原书依据 · 1 处
生成树验证判定给定树是否最优
生成树验证的输入是一张图和其中一棵生成树,任务是判断这棵树是否为 MST。
它不同于从头求树;原书章末只提及已有线性时间算法,未展开其步骤。
独立卡片:生成树验证判定给定树是否最优。
原书依据 · 1 处
第22章 单源最短路径
单源最短路径为固定起点求到各顶点的最小累加成本。松弛尝试借助一条边改进已有距离估计,是多种算法共用的动作。Dijkstra依赖非负边权,Bellman–Ford可以处理负边并检查从源点可达的负权环,有向无环图则能沿拓扑序处理。算法选择首先取决于这些条件。
本节在全书中的作用:把带权有向图的单源最短路统一为“距离上界经边松弛收敛”的问题,比较允许负权、只需 DAG、要求非负权的三条算法路线,并证明其正确性。
展开顺序:路径权重是边权之和;不可达为正无穷,源点可达的负权环使其后继的最短权无下界。不存在可达负环时,可删去正权环与零权环,选择不超过 |V|−1 条边的简单最短路;其每段子路径仍最短。初始化距离估计为上界,松弛边 (u,v) 仅在 d(u)+w(u,v) 更小时更新 d(v) 与前驱。三角不等式、上界不下降至真实最短权以下、按最短路径顺序松弛后的收敛,以及估计全部收敛时的前驱树性质,是三种算法共用的证明骨架。Bellman–Ford 对所有边最多做 |V|−1 轮松弛,并以额外扫描发现源点可达负环;按邻接表遍历为 O(V²+VE),当 E=Ω(V) 时可写为 O(VE)。DAG 按拓扑序松弛每条边一次,负边也可用,总成本 Θ(V+E),反转权重还能求关键路径。Dijkstra 仅适用于非负边权:每次确定未处理顶点中距离估计最小者,按首个未确定的最短路顶点证明其距离已定;数组、二叉堆、斐波那契堆分别给出 O(V²)、O((V+E)lg V)、O(V lg V+E) 的实现成本。Prim 的键值是入树最轻边,Dijkstra 的键值是源到顶点的暂定总路径权,两者目标不同。差分约束 x_j−x_i≤b 可变为权重 b 的边 i→j,增加零权超级源后,无负环时从超级源的最短距离给出可行解,有负环则不可行;整体平移不改变解。章末套利、权重缩放、最小平均权环和双调最短路是建模或待求解的问题,题干中的目标复杂度与公式不能当作已证结论;研究史和应用引文仅作背景。
# 第22章 单源最短路径
## 问题边界与松弛性质
- 带权有向图与单源最短路
- 负环与不可达边界
- 最短子路径与简单路径
- 距离上界与边松弛
- 三角不等式和收敛性质
## 不同约束下的算法
- Bellman Ford 多轮松弛
- 负环检测
- DAG 拓扑序一次松弛
- 关键路径
- Dijkstra 非负权贪心定距
- 优先队列实现成本
## 差分约束
- 差分约束图
- 可行解或负环不可行
原书依据 · 1 处
不可达点最短路权为无穷
- 若从 u 到 v 没有路径,最短路权重 δ(u,v) 记为正无穷;
- 若可达,则取所有 u 到 v 路径的最小权重。
算法需区分不可达与尚未找到路径。
独立卡片:不可达点最短路权为无穷。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
负边不必然破坏最短路
负权边本身仍可有定义良好的最短路径;真正使权重无下界的是从源点可达并通向目标的负权环。
Dijkstra 要求边权非负,Bellman-Ford 允许负边但需检查可达负环。
独立卡片:负边不必然破坏最短路。
原书依据 · 1 处
最短路可取无环简单路径
- 正权环删去会变短;
- 零权环删去不改变权重;
- 负权环所在可达目标没有有限最短路。
因此只要有限最短路存在,总能选一条无环路径,边数至多 |V|−1。
独立卡片:最短路可取无环简单路径。
原书依据 · 1 处
最短路径树保留源到各点路径
最短路径树包含所有源点可达顶点;它是以源点为根的有向树,树中到每个顶点的唯一路径都是原图中的最短路径。
最短路径有并列时,树也可能不唯一。
独立卡片:最短路径树保留源到各点路径。
原书依据 · 1 处
最短路前驱指针可重建路径
算法为每个顶点记录前驱π;结束且正确时,从目标沿前驱回溯到源点,可按反向顺序输出最短路。
运行中π还可能变化,不能把中间前驱子图当最终结果。
独立卡片:最短路前驱指针可重建路径。
原书依据 · 1 处
原书依据 · 1 处
边松弛仅在改进时更新
松弛边(u,v)时,若 u.d+w(u,v),就把 v.d 降为该值并把 v 的前驱设为 u;否则不变。
每次松弛 O(1),各算法差别在松弛顺序和次数。
独立卡片:边松弛仅在改进时更新。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
BF逐轮松弛并验负环
- Bellman-Ford 初始化后,对全部边重复松弛 |V|−1 轮;
- 末尾再检查是否仍有边可降低估计。
若有,则报告从源点可达的负权环;否则返回最短路结果。
独立卡片:BF逐轮松弛并验负环。
原书依据 · 1 处
BF轮数由路径边数保证
有限最短路径可选为简单路径,最多 |V|−1 条边。每一轮遍历所有边,至少能把最短路上下一条边按序松弛;因此 |V|−1 轮后可达顶点估计收敛。
独立卡片:BF轮数由路径边数保证。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
关键路径是DAG中的最长依赖链
PERT 任务依赖可表示为 DAG:边是有持续时间的任务,点是里程碑。
关键路径是总耗时最长的依赖链,其权重给出整个项目最短完工时间的下界,即使能并行执行其他任务。
独立卡片:关键路径是DAG中的最长依赖链。
原书依据 · 1 处
DAG最长路可反号转最短路
DAG 里的最长路径可把每条边权取负,再运行拓扑序最短路;原图最大权路径对应新图最小权路径。
由于 DAG 无环,反号不会引入负环。
独立卡片:DAG最长路可反号转最短路。
原书依据 · 1 处
Dijkstra要求非负边权
Dijkstra 求加权有向图的单源最短路,但要求每条边权≥0。非负性保证从当前已定集合外选出的最小估计顶点不会被后续负边改写。
独立卡片:Dijkstra要求非负边权。
原书依据 · 1 处
Dijkstra用堆逐点定距
算法维护已确定最短权的集合 S,以及按估计值排序的未确定队列 Q。
每轮提取最小估计顶点加入 S,并松弛其出边;降键使队列反映新估计。
独立卡片:Dijkstra用堆逐点定距。
原书依据 · 1 处
Dijkstra首个未定点证明
证明每轮选中 u 的估计已最优:取源到 u 某条最短路上首个不在 S 的 y,其前驱 x 已在 S 并松弛过 (x,y)。
非负边权与最小队列顺序夹住 u.d,使之等于真实距离。
独立卡片:Dijkstra首个未定点证明。
原书依据 · 1 处
Dijkstra得到最短路树
Dijkstra 在非负边权下使每个顶点最终估计等于真实最短路权;由前驱子图性质,算法结束时其父指针形成以源点为根的最短路径树。
独立卡片:Dijkstra得到最短路树。
原书依据 · 1 处
Dijkstra数组版平方时间
若用数组存未确定顶点的估计,插入和降键为 O(1),但每次找最小值需扫描 O(V)。
V 次提取使总时间 O(V²+E)=O(V²),适合稠密图的简单实现。
独立卡片:Dijkstra数组版平方时间。
原书依据 · 1 处
二叉堆版Dijkstra复杂度
二叉最小堆中,V 次提取与至多 E 次降键各需 O(lg V),总时间 O((V+E)lg V);
若 E=Ω(V),可写 O(E lg V)。
独立卡片:二叉堆版Dijkstra复杂度。
原书依据 · 1 处
斐波那契堆版最短路成本
斐波那契堆把降键摊还成本降为 O(1),提取最小仍为 O(lg V),于是总时间 O(E+V lg V)。这是针对大量边松弛时降键成本的改进。
独立卡片:斐波那契堆版最短路成本。
原书依据 · 1 处
两算法键值目标不同
两者都用最小优先队列逐点扩张,但 Dijkstra 的键表示源点到顶点的最短路径估计,Prim 的键表示新顶点接入当前树的最轻单边。
目标分别是路径权与整棵树总权。
独立卡片:两算法键值目标不同。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
约束图以边表示差分不等式
为每个变量 x_i 建顶点 v_i;约束 x_j−x_i≤b_k 建边 v_i→v_j,权重 b_k。
再加源点 v0 到所有变量顶点的零权边,保证每个变量从源点可达。
独立卡片:约束图以边表示差分不等式。
原书依据 · 1 处
约束图无负环可取最短距为解
把每条差分约束 x_j−x_i≤b_k 变成边 v_i→v_j、权重 b_k,并增设源点 v_0,用 0 权边连向每个变量顶点。若约束图无负环,取 x_i=δ(v_0,v_i),其中 δ 是最短路权。
对约束对应边,最短路三角不等式给出 δ(v_0,v_j)≤δ(v_0,v_i)+b_k,移项恰得 x_j−x_i≤b_k,所以这些距离同时满足全部约束。附加源点保证每个距离有限,而不是把不可达的 ∞ 当作变量值。
独立卡片:约束图无负环可取最短距为解。
原书依据 · 1 处
原书依据 · 1 处
BF判差分约束可行
差分约束 x_j−x_i≤b_k 对应约束图中的边 v_i→v_j,权重为 b_k;另加源点 v_0 和到每个变量顶点的 0 权边。若图无负环,令 x_i=δ(v_0,v_i),最短路的三角不等式 δ(v_0,v_j)≤δ(v_0,v_i)+b_k 正好给出原约束。
- Bellman–Ford 返回真时,各最短路距离给出一组可行解;
- 返回假表示存在负权环。沿环把对应约束相加,左侧变量差望远镜消成 0,右侧却为负数,得到
0≤负数的矛盾,因此系统无解。
附加源点使所有变量顶点可达,所以任意负环都能被检出。n 个变量、m 条约束产生 V=n+1、E=n+m,Bellman–Ford 的 O(VE) 即 O(n²+nm)。
独立卡片:BF判差分约束可行。
原书依据 · 1 处
最短路三角不等式沿边成立
对任意有向边(u,v),源点到 v 的最短权不大于先到 u 再走这条边的权重,即 δ(s,v)≤δ(s,u)+w(u,v)。这是松弛与差分约束图求解的共同基础。
独立卡片:最短路三角不等式沿边成立。
原书依据 · 1 处
松弛不会把估计压过真实最短权
初始化后每个 v.d≥δ(s,v);每次松弛用一条已知路径给出的候选权更新,因此仍是上界。估计一旦达到真实最短权,以后不会再变。
独立卡片:松弛不会把估计压过真实最短权。
原书依据 · 1 处
不可达顶点估计始终无穷
若源点 s 无法到达 v,则 δ(s,v)=∞。
初始化把 v.d 置为∞,后续松弛也不能产生有限源到 v 路径,因此它始终为∞;这与负环可达但权重无下界的−∞不同。
独立卡片:不可达顶点估计始终无穷。
原书依据 · 1 处
松弛后单边不等式成立
每次松弛边(u,v)后都有 v.d≤u.d+w(u,v):若原本不满足就更新为等号,若已满足则保持。
这个局部约束是证明估计沿最短路径收敛的基础。
独立卡片:松弛后单边不等式成立。
原书依据 · 1 处
已收敛前驱经松弛传播最优
若 s 到 v 的某条最短路径最后一边是(u,v),且 u.d 已达到真实最短权,则松弛(u,v)后 v.d 也达到真实值;上界性质保证此后不再变化。
独立卡片:已收敛前驱经松弛传播最优。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
全部估计收敛则前驱树最短
当每个 v.d 都等于 δ(s,v) 时,前驱子图包含全部可达顶点,且由前驱无环与唯一性构成根树;沿树路径的权重经不等式求和等于最短权,因此整棵树是最短路径树。
独立卡片:全部估计收敛则前驱树最短。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
第23章 所有结点对的最短路径
所有点对最短路径要回答每一对起终点的距离。可以逐源运行算法,也可以把路径组合写成矩阵或动态规划。Floyd–Warshall按允许使用的中间顶点递推,Johnson则通过势函数重新赋权后利用非负边算法处理稀疏图。两者都要求认真处理负环与距离不存在的情形。
本节在全书中的作用:比较全点对最短路的两种动态规划状态设计与稀疏图的 Johnson 算法,说明距离矩阵、路径重建和可达性闭包之间的联系。
展开顺序:全点对问题通常输出每对顶点的最短权矩阵,并可另存前驱矩阵重建路径;图的直径是所有最短距离中的最大值。重复运行单源算法是一条基线,但含负边时重复 Bellman–Ford 在稠密图上可达 O(V⁴)。矩阵动态规划令状态记录“至多 r 条边”的最短权,用最后一条边做转移;这相当于以 min 为合并、加法为路径拼接的矩阵乘法。逐次扩边至 V−1 条是 Θ(V⁴),利用结合律重复平方降为 Θ(V³ lg V)。Floyd–Warshall 改用“允许的中间顶点编号不超过 k”为状态,每轮比较不经 k 与经 k 的路径,三重循环求全点对距离,时间 Θ(V³);同步维护前驱矩阵可还原路径。把最小与加法换成布尔或与,同一状态框架得到有向图传递闭包。Johnson 面向稀疏图:先加零权超级源,用 Bellman–Ford 检测负环并取得势函数 h,再令新边权为 w(u,v)+h(u)−h(v)。势差在整条路径上只留下端点常量,因此保留最短路径和环权,且三角不等式保证新边权非负;随后逐源运行 Dijkstra,并从新距离补回势差。斐波那契堆实现总成本 O(V² lg V+VE)。章末动态闭包与 ε 稠密图优化只给题目,不能把所要求证明当作已完成;研究史、快速矩阵乘法进展与热带半环说明提供背景。
# 第23章 所有结点对的最短路径
## 矩阵表示与基线
- 全点对距离矩阵与前驱矩阵
- 重复单源算法基线
## 矩阵动态规划
- 矩阵动态规划
- 按路径边数扩展
- min 加法矩阵乘法
- 重复平方降为对数轮
## 中间顶点递推
- Floyd Warshall
- 按允许的中间顶点递推
- 前驱矩阵重建路径
- 布尔或与求传递闭包
## 稀疏图重赋权
- Johnson 稀疏图算法
- 超级源与 Bellman Ford 势函数
- 非负重赋权且保留路径
- 逐源 Dijkstra 再还原距离
图直径是最远最短路
图的直径取所有有序顶点对最短路权的最大值。
若通信网络强连通且边权为传输时间,它才表示最慢一对节点的最短传递时间;存在不可达点对时,按无穷距离约定直径为∞,不能解释为有限耗时。
独立卡片:图直径是最远最短路。
原书依据 · 1 处
全点对距离通常用矩阵输出
全点对最短路把每个源点到每个目标的最短权重放进 n×n 矩阵,第 i 行第 j 列代表 δ(i,j)。
若需要实际路径,还须保留额外前驱信息。
独立卡片:全点对距离通常用矩阵输出。
原书依据 · 1 处
全点对可重复单源求解
对每个顶点运行一次单源算法即可求全点对结果。
非负权可用 Dijkstra;有负边时不能直接用它,逐源 Bellman-Ford 会更慢,因此可寻找专门算法。
独立卡片:全点对可重复单源求解。
原书依据 · 1 处
原书依据 · 1 处
前驱矩阵用于还原全点对路径
前驱矩阵 Π 的元素 π_ij 记录从 i 到 j 某条最短路上 j 的前一个顶点;i=j 或不可达时为空。
固定一行对应以 i 为源的最短路径树,可沿前驱递归打印路径。
独立卡片:前驱矩阵用于还原全点对路径。
原书依据 · 1 处
限边数最短路构成动态规划状态
令 L^®[i,j] 表示从 i 到 j 最多走 r 条边的最小权重。
r=0 时同点为0、异点为∞;若无负环,简单最短路最多 n−1 条边,因此 L^(n−1) 是最终答案。
独立卡片:限边数最短路构成动态规划状态。
原书依据 · 1 处
限边数状态由最后一边转移
最多 r 条边的 i→j 路径,
- 要么已在 r−1 条内到达 j,
- 要么先到某个 k 再走边(k,j)。
遍历 k 取 L^(r−1)[i,k]+w(k,j) 的最小值。
独立卡片:限边数状态由最后一边转移。
原书依据 · 1 处
最小加法矩阵乘法表示路径扩展
路径矩阵乘法把普通乘法中的乘积换成路径权相加,把求和换成取最小:C[i,j]=min_k(A[i,k]+B[k,j])。将已有路径矩阵与边权矩阵相乘,相当于允许再走一条边。
独立卡片:最小加法矩阵乘法表示路径扩展。
原书依据 · 1 处
逐次扩展全点对耗时四次方
从 L^(0) 起连续做 n−1 次最小加法矩阵乘法,每次允许多走一条边,最终得到 L^(n−1)。
每次三重循环 Θ(n³),总时间 Θ(n⁴)。
独立卡片:逐次扩展全点对耗时四次方。
原书依据 · 1 处
重复平方把扩展次数降为对数
只需最终 L^(n−1),不必逐层保存所有矩阵。利用最小加法矩阵乘法的结合性,反复把路径矩阵自乘,使可覆盖边数翻倍;约 log n 次乘法,总时间 Θ(n³log n)。
独立卡片:重复平方把扩展次数降为对数。
原书依据 · 1 处
Floyd状态限制中间顶点
Floyd-Warshall 的 D^(k)[i,j] 只允许编号不大于 k 的点作为 i→j 路径的中间顶点。
中间顶点不包括路径起点和终点;逐步放宽 k 最终覆盖所有路径。
独立卡片:Floyd状态限制中间顶点。
原书依据 · 1 处
Floyd递推比较是否经过k
允许顶点 k 作为中间点后,i→j 最短权取两种情况最小:
- 不经过 k 的旧值,
- 或经 k 时 i→k 与 k→j 两段旧值之和。
两段内部仅使用编号小于 k 的点。
独立卡片:Floyd递推比较是否经过k。
原书依据 · 1 处
Floyd三重循环求全点对
Floyd-Warshall 从 D^(0)=W 出发,依次让 k 从1到 n,每轮遍历所有(i,j)并使用经 k 的候选权更新。
每个三元组只做常数工作,总时间 Θ(n³)。
独立卡片:Floyd三重循环求全点对。
原书依据 · 1 处
Floyd前驱矩阵随距离更新
可在 Floyd 距离矩阵迭代时同步维护前驱矩阵:
- 若经 k 的新路径更短,i→j 的最终前驱取 k→j 子路径上的前驱;
- 否则沿用旧前驱。
这样能还原实际路径。
独立卡片:Floyd前驱矩阵随距离更新。
原书依据 · 1 处
原书依据 · 1 处
布尔Floyd用或与判断可达
闭包的布尔动态规划令 T^(k)[i,j] 表示只经前 k 个中间点时是否可达。
新值等于旧可达,或 i→k 与 k→j 同时可达;以逻辑或、与替代最小、加法。
独立卡片:布尔Floyd用或与判断可达。
原书依据 · 1 处
布尔闭包时间三次方
按 k、i、j 三层循环求传递闭包,仍需 Θ(n³) 时间;布尔值可用位表示,某些机器上比存整型距离更省空间。
它的成本与 Floyd 同阶,但只保留可达性信息。
独立卡片:布尔闭包时间三次方。
原书依据 · 1 处
重赋权保留最短路径
Johnson 先把可能为负的边权重赋为非负,再逐源运行 Dijkstra。
重赋权必须同时保证任意两点的最短路径选择不变,且每条新边权非负;若存在负环则报告失败。
独立卡片:重赋权保留最短路径。
原书依据 · 1 处
势函数重赋权只改端点常量
给每个顶点势值 h,令新边权为 w(u,v)+h(u)−h(v)。沿任意 u→v 路径求和时中间势值抵消,只剩 h(u)−h(v),因此同一对端点的路径相对权重与最短路径选择不变。
独立卡片:势函数重赋权只改端点常量。
原书依据 · 1 处
原书依据 · 1 处
超级源最短距产生非负新边权
Johnson 增设超级源 s,以零权边连到每个原顶点;用 Bellman-Ford 算 h(v)=δ(s,v)。
最短路三角不等式保证 w(u,v)+h(u)−h(v)≥0,使后续 Dijkstra 可用。
独立卡片:超级源最短距产生非负新边权。
原书依据 · 1 处
Johnson逐源求最短路
- Johnson 先用超级源上的 Bellman-Ford 检测负环并计算势函数,
- 随后重赋权,
- 再以每个原顶点为源运行 Dijkstra,
- 最后把新权重结果还原为原权重矩阵。
独立卡片:Johnson逐源求最短路。
原书依据 · 1 处
原距离需补势差
Johnson 算法给每个顶点一个势值 h(v),并把边权改为 ŵ(u,v)=w(u,v)+h(u)−h(v)。一条路径内部顶点的势差会望远镜消去,所以重赋权最短距离满足 δ̂(u,v)=δ(u,v)+h(u)−h(v);其中 δ 是原权最短距离,δ̂ 是重赋权后的最短距离。因此矩阵输出必须反向修正为 δ(u,v)=δ̂(u,v)−h(u)+h(v)。
直接输出 Dijkstra 的新距离会错。
补充教学演示:三点路径 u→x→v 的原边权为 2、−1,取势值 h(u)=0、h(x)=2、h(v)=1,两条新边权都变为 0。Dijkstra 得 δ̂(u,v)=0,补回势差后为 0−0+1=1,恰等于原路径距离 2+(−1)。
独立卡片:原距离需补势差。
原书依据 · 1 处
Johnson稀疏图复杂度优势
- 以斐波那契堆实现逐源 Dijkstra,Johnson 总时间 O(V²lg V+VE);
- 二叉堆版一般为 O(V(V+E)lg V),仅在 E=Ω(V) 时可简写为 O(VE lg V)。
若 E=O(V),两者都优于 O(V³) 的 Floyd-Warshall 渐进界。
独立卡片:Johnson稀疏图复杂度优势。
原书依据 · 1 处
ε稠密图用边数幂次定义
若图边数满足 |E|=Θ(V^(1+ε)),其中 0<ε≤1,则称为 ε 稠密图。它介于近线性边数与平方边数之间,适合分析依密度调整的优先队列方案。
独立卡片:ε稠密图用边数幂次定义。
原书依据 · 1 处
原书依据 · 1 处
第24章 最大流
流网络的边有容量,除源和汇之外还要求流量守恒。残量网络描述在当前解上还能怎样增加或撤回流量,增广路径把局部调整连接到总流量提升。最大流最小割定理给出停止时的最优性证据;选择增广路径的策略则影响运行时间,这把可行性、最优性与效率分开讨论。
本节在全书中的作用:从容量与流守恒定义最大流,用残量网络和增广路径建立最大流最小割定理,再比较选路策略并把二分图最大匹配归约为流问题。
展开顺序:流网络的边容量限制流量,源汇以外每个顶点满足流入等于流出,流值是源点净流出量。反向平行边可拆边,多源多汇可增设超级源与超级汇。Ford–Fulkerson 从零流开始沿残量图的源汇路径增广;正向残余边表示尚可增加的流,反向残余边允许撤回并改道已有流,每次增广量由路径最小残量决定。任意源汇割的净流都等于流值,割容量是流值上界;若残量图已无增广路径,从源点仍可达的顶点构成割的一侧,其正向跨割边全满、反向跨割边流量为零,于是流值等于割容量,得到最大流最小割定理。任意选路的整数容量实现可达 O(E|f*|),选路不当会反复只增广一单位;无理容量还可能不终止。Edmonds–Karp 用 BFS 选最少边的增广路径,残量图源点距离不下降,临界边重现需距离增长,因而至多 O(VE) 次增广、总计 O(VE²)。二分图匹配把源到左部、左部到右部、右部到汇都设单位容量;整数容量保证 Ford–Fulkerson 得到整数流,匹配规模便等于流值,基本实现为 O(VE)。章末容量缩放、最宽增广路、全局最小割随机收缩及预流推送重标记说明其他路线;习题中的复杂度目标与概率证明仍是待完成任务,不能冒充正文已证结论。
# 第24章 最大流
## 可行流与残量
- 容量约束与中间点流守恒
- 最大化源点净流出量
- 残量网络
- 正向剩余额度与反向撤回
## 增广与最小割
- 源汇增广路径
- 流值严格增加
- 无增广路径
- 残量可达集形成最小割
- 最大流最小割定理
## 选路策略与应用
- 任意选路 Ford Fulkerson
- BFS 选路 Edmonds Karp
- 距离单调与临界边计数
- 二分图单位容量建网
- 整数流对应最大匹配
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
反向平行边可拆边消除
若原网络同时存在 u→v 和 v→u,两边互为反向平行边。
可在其中一条边上插入新顶点,将其拆成两条同容量边,从而满足书中无反向平行边的表示假设。
独立卡片:反向平行边可拆边消除。
原书依据 · 1 处
原书依据 · 1 处
逐次增广求最大流
Ford-Fulkerson 从零流开始,反复在残量网络里找源到汇的增广路径,并沿路径调整流量;找不到增广路径时停止。
单条原边的流量可因反向调整而降低。
独立卡片:逐次增广求最大流。
原书依据 · 1 处
正向残余容量是未用额度
- 对原边
(u,v),c(u,v)是容量,f(u,v)是当前流量。若f(u,v)<c(u,v),残量网络保留同向边,残余容量为c_f(u,v)=c(u,v)-f(u,v); - 边已满载时残余容量为 0,因而不出现在残量图中。
补充教学演示:容量为 10、已送 6 单位流时,同向还可增加 4 单位;若已送到 10,便不能再沿同向增广。残量容量描述的是“在当前流基础上还能怎么改”,并不是原网络的新容量。
独立卡片:正向残余容量是未用额度。
原书依据 · 1 处
反向残余边允许撤回已有流
若原边 (u,v) 已送流量 f(u,v)>0,残量图可出现反向边 (v,u),其残余容量为 c_f(v,u)=f(u,v)。沿反向边送流并非在原网络凭空新增一条边,而是减少 (u,v) 上的已有流量,以便把这部分容量重新分配给别的路径。
补充教学演示:若 (u,v) 已送 6 单位流,反向最多可送 6;反向增广 2 后,原边流量变为 4。
独立卡片:反向残余边允许撤回已有流。
原书依据 · 1 处
残量网络只保留可调整方向
残量网络 G_f 与原图顶点相同,只保留残余容量大于0的正向或反向边。
每条原边至多贡献两个方向,因此残量边数至多2|E|;它可含反向平行边。
独立卡片:残量网络只保留可调整方向。
原书依据 · 1 处
流增广把残量正反动作合并
设 f 是原网络中的流,f′ 是其残量网络中的流。在本章假设原网络不同时含 (u,v) 与 (v,u) 两条反向平行原边的模型下,增广运算 f↑f′ 对每条原边 (u,v) 定义为
(f↑f′)(u,v)=f(u,v)+f′(u,v)-f′(v,u)。
第二项把残量流沿原方向加入,第三项把沿反方向的残量流解释为撤回旧流。残量容量的定义保证结果不超过原边容量;f′ 自身的流守恒又保证合成后仍守恒。因此 f↑f′ 是合法流,且流值为 |f|+|f′|。
若一般模型允许两个方向都各有一条原边,就必须分别保存两条原边及其残余贡献,不能仅凭这一逐边简式把它们合并。
独立卡片:流增广把残量正反动作合并。
原书依据 · 1 处
增广路径是残量图源汇路
增广路径是残量网络中从源点 s 到汇点 t 的一条简单路径。路径上的每条边都表示当前流还能沿该方向调整的额度。
沿路径统一增加同一流量才能保持中间顶点的流守恒,因此最多只能增加路径上最小的残余容量,即瓶颈容量 c_f(p)=min{c_f(u,v):(u,v)∈p}。
补充教学演示:一条增广路径的三条边残余容量依次为 5、2、7,则最多增广 2;增广后第二条边饱和,这条路径也就不能继续使用。
独立卡片:增广路径是残量图源汇路。
原书依据 · 1 处
原书依据 · 1 处
流网络割固定源汇分侧
流网络割 (S,T) 把顶点分为两组,源点必须在 S、汇点必须在 T。
- 割容量只统计 S→T 的边容量;
- 割净流则统计 S→T 流减去 T→S 流。
独立卡片:流网络割固定源汇分侧。
原书依据 · 1 处
任意割净流等于源点流值
源汇割 (S,T) 把顶点分成两侧,满足源点 s∈S、汇点 t∈T。跨割净流定义为 f(S,T)=Σ_{u∈S,v∈T}f(u,v)−Σ_{u∈T,v∈S}f(u,v),流值 |f| 则是源点的净流出量。
把 S 中各顶点的净流出量相加,S 内部边在一次流出和一次流入中抵消,除源点外的顶点又因流守恒贡献 0,只剩源点净流出。因此对任意割都有 f(S,T)=|f|,与割如何划分无关。
独立卡片:任意割净流等于源点流值。
原书依据 · 1 处
割容量为任意流的上界
割 (S,T) 的容量只统计从源侧到汇侧的原边:c(S,T)=Σ_{u∈S,v∈T}c(u,v)。任意流值等于跨割净流,故
|f|=Σ_{S→T}f(u,v)−Σ_{T→S}f(u,v)≤Σ_{S→T}f(u,v)≤Σ_{S→T}c(u,v)=c(S,T)。
第一步利用流量非负,删去会降低净值的后向流;第二步利用逐边容量约束。由于此式对每个源汇割都成立,最小割容量给出最大流的全局上界。
独立卡片:割容量为任意流的上界。
原书依据 · 1 处
最大流等价于无增广路径
对流 f,残量网络记录每条边还能沿正向增加或沿反向撤回多少流;其中从源 s 到汇 t 的路径称为增广路径。以下三条件等价:f 是最大流;残量网络没有增广路径;存在源汇割 (S,T) 使 c(S,T)=|f|。
有增广路径就能增加流值,所以最大流不可能保留这种路径。反之,若无增广路,取残量图中从源点可达的顶点为 S;所有 S→T 原边必已饱和,所有 T→S 原边必为零流,否则相应残量边会让终点可达,于是跨割净流等于割容量。结合任意流不超过任意割容量,便得到最大流与最小割。
独立卡片:最大流等价于无增广路径。
原书依据 · 1 处
整数容量下增广次数受流值限制
整数容量时,每次增广至少使流值增加1,因此任意选路至多增广|f*|次;
若每轮用图搜索耗时O(E),总耗时O(E|f*|),这是依赖数值大小的界。
独立卡片:整数容量下增广次数受流值限制。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
临界边再次出现需距离增长
在 Edmonds–Karp 算法中,每次用 BFS 选边数最少的增广路。临界边是该路径上达到瓶颈残余容量、因本次增广而饱和的边 (u,v);它饱和后从残量图消失。
若 (u,v) 日后再次成为临界边,必须先有某次增广使用反向边 (v,u),使 (u,v) 恢复残余容量。BFS 距离满足使用 (u,v) 时 d(v)=d(u)+1,使用反向边时 d(u)=d(v)+1;再结合各顶点到源点距离不会下降,可得 u 的距离比上次至少增加 2。
独立卡片:临界边再次出现需距离增长。
原书依据 · 1 处
最短增广总耗时界
Edmonds–Karp 每轮用 BFS 选择边数最少的增广路。临界边是该路上达到瓶颈、增广后残余容量变为 0 的边;每轮至少有一条临界边。
同一有向边再次成为临界边前,其尾点到源点的 BFS 距离至少增加 2,而有限距离最多为 |V|−1,所以每条边至多 O(V) 次临界。残量图至多 O(E) 条边,增广轮数因而至多 O(VE);每轮 BFS 和沿路更新均为 O(E),相乘得到总时间 O(VE²)。
独立卡片:最短增广总耗时界。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
基本增广求二分匹配耗时VE
二分图匹配数至多min(|L|,|R|)=O(V),对应网络边数Θ(E);采用基本Ford-Fulkerson每轮O(E),故总耗时O(VE)。
独立卡片:基本增广求二分匹配耗时VE。
原书依据 · 1 处
容量缩放优先增广大瓶颈路径
- 整数容量网络中,容量缩放先把阈值K设为不超过最大边容量的最大2次幂,
- 只沿残余容量至少K的路径增广;
- 当前阈值下无路再将K减半,直到K。
独立卡片:容量缩放优先增广大瓶颈路径。
原书依据 · 1 处
最宽增广路最大化本轮瓶颈
最宽增广路是在所有残量网络源汇增广路中,使路径最小残余容量最大的那条。
它优化单轮可增广量,区别于Edmonds–Karp按最少边数选路。
独立卡片:最宽增广路最大化本轮瓶颈。
原书依据 · 1 处
全局最小割不指定源汇
原书问题中的无权无向图或多重图,全局割把顶点划成两个非空集合,以跨割边数为割值;全局最小割在所有划分中取最小,不指定源汇。
若推广到带权图,须另行定义边权或容量。
独立卡片:全局最小割不指定源汇。
原书依据 · 1 处
原书依据 · 1 处
预流允许中间顶点暂时溢出
推送重标记算法运行时允许中间顶点流入大于流出,形成预流和溢出顶点;
溢出点向高度更低且有残余边的邻点推流,无法推时升高高度,直到无非汇点溢出。
独立卡片:预流允许中间顶点暂时溢出。
原书依据 · 1 处
第25章 二分图匹配
匹配要求每个顶点至多参与一条被选边;二分图把对象分为两侧,边只连接异侧。最大基数匹配追求配对数最多,稳定匹配避免双方都更愿意改配,最大权完美匹配则在全部配对的约束下优化权重。三个目标不同,使用增广路、偏好规则或对偶信息时必须先确认问题定义。
本节在全书中的作用:在前章把二分图匹配归约为最大流的基础上,直接研究匹配的增广结构,并分别求解最大基数匹配、稳定匹配和最大权完美匹配。
展开顺序:匹配要求每个顶点至多关联一条被选边;极大匹配只表示无法再直接加边,不保证边数最大。交替路从非匹配边开始且以非匹配边结束时成为增广路;与当前匹配取对称差可增加一条匹配边。两个匹配的对称差分解成路径与偶环,由此证明“没有增广路”当且仅当匹配最大。Hopcroft–Karp 每轮把非匹配边从左指向右、匹配边从右指向左,经多源 BFS 构造最短增广路分层图,再从末层逆向 DFS 找一组顶点互不相交且极大的最短增广路,批量翻转;最短增广路长度逐轮增加,长度与剩余匹配差距的界共同给出 O(E√V) 时间。完美匹配要求覆盖全部顶点;Hall 条件在习题 25.1-5 中作为待证明的充要条件给出,本章不能把该习题写成正文已证定理。
# 第25章 二分图匹配
## 最大基数匹配
- 二分图匹配
- 最大基数匹配
- 交替路与增广路
- 对称差增广及最大性判据
- Hopcroft Karp 批量最短增广
- BFS 分层与逆向 DFS 选路
- 路长增长与剩余差距界
## 稳定匹配
- 稳定匹配
- 偏好排序与阻塞对
- Gale Shapley 延迟接受
- 稳定性及提案方最优
## 最大权完美匹配
- 最大权完美匹配
- 可行标号与等号子图
- 匈牙利算法增广与调标号
- 完美匹配达到权重上界
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
两匹配对称差分解为路与环
两个匹配的对称差中,每个顶点度数至多2,因此连通分量只能是孤点、交替路径或偶长交替环。
若第二匹配更大,至少存在边数差条顶点不相交的第一匹配增广路。
独立卡片:两匹配对称差分解为路与环。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
分层图只留下最短增广路
从所有未匹配L点作BFS,把顶点按距离分层;截到首次出现未匹配R点的最小距离q,并只留向下一层的边。
所得有向无环图包含且仅表示最短M-增广路。
独立卡片:分层图只留下最短增广路。
原书依据 · 1 处
原书依据 · 1 处
每轮选路可在线性边数完成
Hopcroft–Karp每轮定向原图、BFS建分层图、在转置图DFS取路组,各阶段均为O(E);
前提是原图每个顶点至少关联一条边,使V=O(E)。
独立卡片:每轮选路可在线性边数完成。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
霍普克罗夫特算法耗时
Hopcroft–Karp每轮在O(E)时间批量翻转最短增广路;
最短路长逐轮增加,达到约√V后剩余增广次数也至多约√V,因此总耗时O(E√V)。
独立卡片:霍普克罗夫特算法耗时。
原书依据 · 1 处
原书依据 · 1 处
阻塞对破坏偏好匹配稳定性
在双方均给出严格偏好序的完全二分匹配中,若一对未被配在一起的人彼此都比当前伴侣更偏好对方,它们构成阻塞对。
稳定匹配恰是不含阻塞对的匹配。
独立卡片:阻塞对破坏偏好匹配稳定性。
原书依据 · 1 处
原书依据 · 1 处
延迟接受让提案方逐级尝试
- Gale–Shapley令空闲提案方按偏好顺序向尚未提过的人提案;
- 接收方保留更喜欢的现有或新提案,并释放被替换者。
- 重复到无人空闲,得到配对。
独立卡片:延迟接受让提案方逐级尝试。
原书依据 · 1 处
拒绝记录排除未来阻塞对
延迟接受中接收方一旦订婚只会换成更偏好的人;若提案方最终偏好某未配对象,它先前必向其提案并被拒或后来被替换,故该对象最终不更偏好提案方,不会形成阻塞对。
独立卡片:拒绝记录排除未来阻塞对。
原书依据 · 1 处
原书依据 · 1 处
提案方得到稳定匹配中的最优对象
固定由一侧提案的Gale–Shapley,对该侧每人,结果是在所有稳定匹配中可能获得的最佳伴侣;
选择哪位空闲者先提案不改变最终匹配。
独立卡片:提案方得到稳定匹配中的最优对象。
原书依据 · 1 处
提案方最优意味着接收方最差
固定一侧提案的Gale–Shapley所得稳定匹配,对提案方是所有稳定匹配中的个人最优,对接收方则是个人最差;
稳定性不保证两侧对结果同样满意。
独立卡片:提案方最优意味着接收方最差。
原书依据 · 1 处
赋值问题最大化完美匹配总权重
赋值问题在两侧各n人的带权完全二分图上,寻找覆盖全部顶点的完美匹配,使所选n条边的权重和最大;
它优化总效用,区别于只求匹配边数或偏好稳定性。
独立卡片:赋值问题最大化完美匹配总权重。
原书依据 · 1 处
可行顶点标号给边权上界
对二分图每个顶点设标号h;若每条边(l,r)都满足h(l)+h®≥w(l,r),则标号可行。
任何完美匹配的总权重都不超过全部顶点标号之和。
独立卡片:可行顶点标号给边权上界。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
匈牙利算法交替扩匹配与调标号
匈牙利算法从可行标号及等号子图中的匹配出发:
- 找到增广路就翻转以增大匹配;
- 找不到时调整标号,让新的等号边进入,直到等号子图出现完美匹配。
独立卡片:匈牙利算法交替扩匹配与调标号。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
最小松弛量控制标号更新
令F_L、F_R为当前搜索森林已达的两侧顶点,δ取F_L到未达R点各边的最小松弛量h(l)+h®−w(l,r)。
对F_L标号减δ、F_R标号加δ,使至少一条跨边变紧。
独立卡片:最小松弛量控制标号更新。
原书依据 · 1 处
调标号保持可行且保留已用边
上述标号更新
- 对已达两侧之间的边使标号和不变,
- 对未达两侧之间的边保持原值,
- 对已达L到未达R的边最多降至其权重;
因此保留森林与匹配边,同时产生新等号边。
独立卡片:调标号保持可行且保留已用边。
原书依据 · 1 处
原书依据 · 1 处
匈牙利算法朴素实现为四次方
对两侧各n点的完全二分图,朴素匈牙利算法至多增广n次;每次搜索最多n次标号增长,每次扫O(n²)条边,故总时间O(n⁴)。
维护松弛量并避免重建图可改进至O(n³)。
独立卡片:匈牙利算法朴素实现为四次方。
原书依据 · 1 处
原书依据 · 1 处
环覆盖由顶点不重叠的有向环组成
有向图的环覆盖选取若干条边互不重叠的有向环,每个顶点至多位于其中一条环上;
它允许某些顶点不被覆盖,与要求每个顶点都出现的环分解不同。
独立卡片:环覆盖由顶点不重叠的有向环组成。
原书依据 · 1 处
霍尔条件刻画完美匹配
两侧等大的二分图存在完美匹配,当且仅当任意左侧子集 A 的邻居集合 N(A) 至少有 |A| 个顶点。
总数相等只检查整侧;霍尔条件还排除一组左侧顶点争抢过少右侧邻居的情形。原书将证明留作习题。
独立卡片:霍尔条件刻画完美匹配。
原书依据 · 1 处
第七部分 算法专题
专题篇扩大前面默认的计算条件和问题范围。并行算法允许多个任务同时执行,在线算法在未知未来输入时作决定;矩阵、数论、字符串和学习问题提供不同领域的结构。最后两章讨论高效求解的已知边界和近似保证,提醒读者先检查模型与目标,再迁移已有技术。
本节在全书中的作用:承接前六部分的通用算法基础,说明最后十章将如何把既有设计与分析方法扩展到新的计算模型、应用领域及效率边界。
展开顺序:第 26–27 章转向任务并行与在线输入,分别用工作量和跨度分析并行性、用与预知未来的最优策略比较评价在线算法。第 28–33 章依次预告矩阵计算、线性规划与对偶、FFT、多项式、数论与密码、字符串匹配及机器学习中的聚类、乘法权重和梯度下降。第 34–35 章则讨论 NP 完全性及无法期待已知多项式精确算法时的近似算法。本部分只概述后续章节,没有独立展开这些方法的证明;在线算法、线性规划与近似算法的定义已并入现存卡片,具体机制留给各章。
# 第七部分 算法专题
## 专题的作用
- 选题部分扩展既有算法方法
## 新计算模型
- 新计算模型
- 并行工作量与跨度
- 在线输入与竞争比较
## 应用领域
- 专门应用领域
- 矩阵与线性规划
- FFT 与数论密码
- 字符串与机器学习
## 效率边界
- 效率边界
- NP 完全性
- 近似算法
本导言交代后续章节的组织与用途,具体机制在其对应章节展开,因此没有另行生成知识卡。
第26章 并行算法
并行算法需要同时衡量总工作量和最长依赖链。工作量表示全部操作的总数,跨度表示即使处理器足够多也绕不过去的串行依赖;两者共同限制加速。分叉与汇合表达任务关系,竞争条件则说明并行执行还须保证正确性。矩阵和排序例子展示如何既分解任务又控制额外工作。
本节在全书中的作用:把前文的串行算法模型扩展为 fork–join 任务并行模型,建立工作量、跨度与调度的分析工具,再用矩阵乘法和归并排序展示如何在保留工作量阶数时提高可扩展性。
展开顺序:任务并行只声明哪些工作可以同时运行,由运行时把任务分配到处理器;spawn 允许父子继续并行,sync 在使用子任务结果前汇合,去掉并行指令后的串行投影仍求同一问题。执行迹把计算串作为顶点、控制依赖作为边;无依赖路径的计算串可并行,顺序一致性允许以符合依赖的指令全序推理。工作量 T₁ 是总执行时间,跨度 T∞ 是最长依赖链,P 处理器时间同时受 T₁/P 和 T∞ 下界限制;二者之比是并行度,并行度相对 P 的比是松弛度。贪心调度在可运行任务足够时填满处理器,否则执行全部就绪任务,得到 Tₚ≤T₁/P+T∞,因此至多为最优的两倍;松弛度足够大时趋近线性加速。串并组合的工作量都相加,跨度分别相加或取最大;并行循环可用递归二分派生实现,控制跨度为对数级。逻辑并行指令若访问同一内存位置且至少一方写入,会发生确定性竞争;内层循环并行累加同一输出就是反例。
# 第26章 并行算法
## 并行模型与调度
- 任务并行模型
- spawn 与 sync
- 执行迹依赖图
- 工作量 T1 与跨度 T∞
- 并行度与松弛度
- 贪心调度时间界
- 顺序一致性与竞争检测
## 矩阵计算
- 并行矩阵乘法
- 临时矩阵隔离同时写入
- 并行 Strassen
## 并行排序
- 并行归并排序
- 中点与二分点拆归并
- 线性工作与对数平方归并跨度
- 对数立方排序跨度
共享内存与分布式内存的边界
共享内存多核的各处理核心可直接访问同一地址空间;
多机集群中,一台机器的处理器通常不能直接访问另一台的内存,需经网络显式交换数据。
算法的通信成本边界因此不同。
独立卡片:共享内存与分布式内存的边界。
原书依据 · 1 处
原书依据 · 1 处
派生汇合并行由启动与等待组成
fork-join模型用spawn让子计算与调用方可能并行,用sync等待已派生子计算,parallel for让循环迭代可并行;
逻辑上允许并行不等于运行时保证同时执行。
独立卡片:派生汇合并行由启动与等待组成。
原书依据 · 1 处
原书依据 · 1 处
朴素斐波那契递归重复求同值
直接递归计算F(n)会分别求F(n−1)和F(n−2),且反复计算相同子问题;其递推运行时间T(n)=T(n−1)+T(n−2)+Θ(1),呈Θ(φⁿ)指数增长。
独立卡片:朴素斐波那契递归重复求同值。
原书依据 · 1 处
原书依据 · 1 处
sync在消费子结果前建立汇合
父过程在使用spawn子过程返回值前须执行sync,等待此前派生的子过程结束;
否则可能读取尚未赋值的结果。过程返回前也可隐含一次sync。
独立卡片:sync在消费子结果前建立汇合。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
工作与跨度给并行时间下界
T₁是全部计算在单处理器上的总工作量,T∞是无限处理器下仍必须串行经过的最长依赖链,T_P是用P个处理器的运行时间;P个处理器每单位时间至多做P单位工作,因此T_P≥T₁/P;- 再多处理器也不能突破关键依赖链,因此
T_P≥T∞。
所以 T_P≥max(T₁/P,T∞)。补充教学演示:若 T₁=100、T∞=30、P=4,工作律给出 25,跨度律给出 30,任何调度都不可能少于 30 个时间单位。
独立卡片:工作与跨度给并行时间下界。
原书依据 · 1 处
并行度是工作量与跨度之比
T₁ 是总工作量,T∞ 是关键路径长度,两者之比 T₁/T∞ 称为并行度,表示每个关键路径时间单位平均可并行的工作量。因为 P 核加速比 T₁/T_P 同时受 P 和跨度律约束,所以 T₁/T_P≤min(P,T₁/T∞)。
当处理器数 P 超过并行度时,关键路径已成为上限,不可能达到 P 倍理想线性加速;并行度描述的是算法执行迹可提供的并行机会,而不是机器实际拥有的核心数。
独立卡片:并行度是工作量与跨度之比。
原书依据 · 1 处
松弛度衡量并行度相对处理器数
设 T₁ 为总工作量、T∞ 为关键路径长度、P 为处理器数。并行松弛度为 T₁/(P·T∞)=(T₁/T∞)/P,即算法并行度相对处理器数的倍数。
- 小于 1 表示处理器数已经超过可用并行度,跨度阻止理想线性加速;
- 远大于 1 表示并行机会远多于处理器,
T₁/P工作下界大于T∞,此时增加处理器通常仍可缩短时间,单纯继续缩短跨度的收益较小。
独立卡片:松弛度衡量并行度相对处理器数。
原书依据 · 1 处
原书依据 · 1 处
贪心调度时间不超过双下界之和
令 T₁ 为总工作量、T∞ 为依赖图最长路径即跨度、T_P 为 P 个处理器上的运行时间。理想 P 核上,贪心调度只要有至少 P 个就绪任务便同时执行 P 个,称为完整步骤;就绪任务不足 P 个时称为不完整步骤。完整步骤每次完成 P 单位工作,数量至多 T₁/P。不完整步骤会执行全部就绪任务;剩余依赖图中任何最长链的首节点都必是就绪任务,因此该步后剩余跨度至少下降 1,不完整步骤至多有 T∞ 个。两类步骤相加得到 T_P≤T₁/P+T∞。
独立卡片:贪心调度时间不超过双下界之和。
原书依据 · 1 处
贪心调度至多比最优慢两倍
令 T₁ 为总工作量、T∞ 为最长依赖链、T_P* 为 P 个处理器上的最优调度时间。工作律和跨度律给出 T_P*≥max(T₁/P,T∞);贪心调度时间 T_P 满足
T_P≤T₁/P+T∞≤2·max(T₁/P,T∞)≤2T_P*。
因此贪心调度的运行时间不超过最优调度的 2 倍。这里的 2 来自“两项之和至多是较大项的两倍”,而不是假设两项相等。
独立卡片:贪心调度至多比最优慢两倍。
原书依据 · 1 处
串并组合分别相加或取最大跨度
- 两段计算串行组合时,总工作量与跨度都相加;
- 并行组合时,总工作量仍相加,跨度取两段跨度的最大值。
它是fork-join递推分析的基本规则。
独立卡片:串并组合分别相加或取最大跨度。
原书依据 · 1 处
并行斐波那契有大跨度比
把朴素递归 F(n−1) 与 F(n−2) 并行后,工作量仍为 Θ(φⁿ),其中 φ=(1+√5)/2≈1.618;这是因为两棵递归子树仍都要计算。关键路径只经过两棵子树中较慢的一棵,所以跨度满足 T∞(n)=max(T∞(n−1),T∞(n−2))+Θ(1)=Θ(n),并行度为 T₁/T∞=Θ(φⁿ/n)。
并行化并未消除重复计算。
独立卡片:并行斐波那契有大跨度比。
原书依据 · 1 处
并行循环可用二分派生实现
parallel for允许各迭代同时执行;
运行时可递归将迭代区间二分,一半spawn、另一半本地计算,最后sync。满二叉派生树的内部节点只带来常数倍工作开销。
独立卡片:并行循环可用二分派生实现。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
工作跨度可预测扩容后的性能
并行优化若减少总工作量却增加最长依赖链,在小机器上可能更快、扩容后反而更慢。
用工作量除以处理器数再加跨度估算时,跨度会在处理器增多后主导耗时;因此不能只看当前机器的基准时间。
独立卡片:工作跨度可预测扩容后的性能。
原书依据 · 1 处
两层并行矩阵乘法的跨度为线性
矩阵乘法并行化外层行、列循环,内层累加仍串行,因此总工作量为三次方、跨度为线性、并行度为平方。
若直接把内层也并行化,多个迭代会写同一矩阵元素。
独立卡片:两层并行矩阵乘法的跨度为线性。
原书依据 · 1 处
临时矩阵隔离并行乘积写入
递归矩阵乘法的八个子乘积可并发计算,但同一结果子矩阵的两项不能并发累加。
先将其中四项写入临时矩阵,汇合后再相加,便以额外空间换取无写入竞争的并行。
独立卡片:临时矩阵隔离并行乘积写入。
原书依据 · 1 处
递归并行矩阵乘法具有高并行度
八个子矩阵乘法可并发;每层额外初始化与合并的跨度为对数级,因此总跨度为对数平方级。工作量仍为三次方,得到三次方除以对数平方的并行度。
独立卡片:递归并行矩阵乘法具有高并行度。
原书依据 · 1 处
并行斯特拉森降低工作但跨度同阶
斯特拉森的七个子乘积可以并发计算,每层矩阵加减保留对数级跨度。
跨度仍为 Θ(lg²n),并行度略低于八乘积版本,原因是总工作量更少;评价并行度时要同时比较工作和跨度。
独立卡片:并行斯特拉森降低工作但跨度同阶。
原书依据 · 1 处
串行归并限制并行归并排序扩容
即使两半递归排序并行,若顶层归并仍串行,最长依赖链仍是线性,工作量为n log n,并行度只有log n。
要扩容到更多处理器,必须降低归并步骤本身的跨度。
独立卡片:串行归并限制并行归并排序扩容。
原书依据 · 1 处
并行归并选较长数组中点为枢轴
取较长有序子数组的中间元素为枢轴,再在较短数组中二分定位分割点。这样两个子任务分别归并枢轴两侧,且即使另一数组分割很偏,最大子任务也不超过原规模的四分之三。
独立卡片:并行归并选较长数组中点为枢轴。
原书依据 · 1 处
原书依据 · 1 处
并行归并先写临时数组再拷回
并行归并把两个有序输入段的结果写到临时数组,使递归子任务写入互不重叠的位置;完成后再并行拷回原数组。
临时空间换来了清晰的输出边界与并发写安全。
独立卡片:并行归并先写临时数组再拷回。
原书依据 · 1 处
并行归并跨度为对数平方
较长数组中点保证任一递归分支最多处理原规模的四分之三;每层在较短数组上二分找分割点耗对数时间。
最长依赖链遂为对数平方级,不能只因两个分支并行就断言常数跨度。
独立卡片:并行归并跨度为对数平方。
原书依据 · 1 处
并行归并维持线性工作量
每层虽多做一次二分,但两条递归分支合计至多覆盖其余n−1个元素,且分割比例有界。把每层搜索代价计入递归式,整体工作量仍为线性,避免以缩短跨度换来超线性工作。
独立卡片:并行归并维持线性工作量。
原书依据 · 1 处
并行归并排序跨度为对数立方
并行归并每层保持线性工作和对数平方跨度;两半排序并发后递归层数为对数级。因此并行归并排序总工作为n log n、跨度为对数立方级,并行度为n除以对数平方。
独立卡片:并行归并排序跨度为对数立方。
原书依据 · 1 处
粗化基本情况可减少派生开销
实际并行实现可在小规模子问题切换高效串行排序,减少任务派生和同步的常数成本。
此举牺牲部分理论并行度,却可能降低真实耗时;阈值需按运行环境测量。
独立卡片:粗化基本情况可减少派生开销。
原书依据 · 1 处
归约把数组折叠为一个值
归约用结合运算把数组各项合为单一结果,例如求和。
结合律允许改变括号结构,因此可将连续区段并行归约后合并;若运算不满足结合律,重排可能改变结果。
独立卡片:归约把数组折叠为一个值。
原书依据 · 1 处
扫描产生各位置的前缀结果
扫描又称前缀计算,输出每个位置之前所有输入项的结合结果,而非仅输出总值。
相邻前缀存在依赖,不能直接把串行循环改成并行循环;需重组依赖或分轮处理。
独立卡片:扫描产生各位置的前缀结果。
原书依据 · 1 处
模板计算依赖固定邻域
模板计算中,每个数组位置依赖预先固定的邻近位置;例如最长公共子序列的表格项依赖左、上、左上。
并行执行必须先满足这些前驱依赖,固定模板本身不表示所有格子可同时算。
独立卡片:模板计算依赖固定邻域。
原书依据 · 1 处
随机并行加速比取期望时间之比
原书问题26-6(b)提出以 E[T₁]/E[Tₚ] 而非 E[T₁/Tₚ] 定义随机算法加速比,要求读者论证。
按题设:1% 时 T₁=10⁴、T₁₀₀₀₀=1;其余99% 时两者均为10⁹。
前者约1,后者100.99;罕见的极高逐次加速会放大后者。
独立卡片:随机并行加速比取期望时间之比。
原书依据 · 1 处
第27章 在线算法
在线算法在输入逐步到来时就必须行动,不能回看尚未发生的请求。竞争分析把它与知道整段输入的离线最优算法比较,研究信息不足带来的代价。自组织链表和缓存展示不同策略及对手假设;这与对随机输入求平均不同,也与仅把单次操作摊薄的分析目的不同。
本节在全书中的作用:说明输入逐步到达时,算法如何在不知道未来的条件下作决定,并用竞争分析比较在线决策与预知全部请求的最优离线决策。章节从简单阈值策略推进到自适应链表和缓存,最后展示随机化如何改善缓存的竞争界。
展开顺序:竞争比考察每个输入上在线代价相对最优离线代价的最坏上界。电梯与楼梯的例子中,一直选择一方可能在另一种行程长度下损失很大;等待阈值后改变策略可得到常数竞争比。搜索链表把查找位置和相邻交换都计入成本,移至表首策略按当前请求调整列表;以它和离线列表之间两倍逆序数作势能,可在本章成本模型下证明四竞争。在线缓存必须在缺失时淘汰块;后进先出的竞争比会随请求数相对缓存大小增长,最近最少使用可按时期划分,将每期缺失控制在缓存容量的量级,而任意确定性在线策略也有同量级下界。
# 第27章 在线算法
## 在线决策与竞争分析
- 输入逐步到达
- 在线决策与离线最优
- 竞争比的最坏输入比较
- 电梯楼梯阈值策略
## 自组织链表
- 搜索链表
- 移至表首
- 逆序数势能与四竞争
## 在线缓存
- 在线缓存
- 后进先出与最近最少使用
- 确定性策略下界
- 随机标记
- 旧块缺失概率
- 调和数与对数期望界
## 信息与模型边界
- 固定输入与对手模型
- 前瞻排程动态图与数据流
原书依据 · 1 处
竞争分析与知晓未来的最优解比
竞争分析把在线策略在每个输入上的结果与预知完整输入的最优离线结果比较,再取最坏情形。它给出不依赖未来输入概率模型的保证,适合需求顺序未知的决策。
独立卡片:竞争分析与知晓未来的最优解比。
原书依据 · 1 处
竞争比衡量最坏相对代价
最小化问题的竞争比是所有可能输入中在线代价与离线最优代价之比的最大值,至少为1。
比值越接近1,说明未知未来造成的最坏额外代价越小;它并非平均性能。
独立卡片:竞争比衡量最坏相对代价。
原书依据 · 1 处
等待阈值对冲两端最坏情形
电梯未知何时到达时,先等爬楼所需的k分钟,仍未到就走楼梯。
书中示例k=10、B=300时,该策略竞争比为2,优于始终走的10与始终等的30。
优势依赖参数;如k=1,始终走的竞争比已是1。
独立卡片:等待阈值对冲两端最坏情形。
原书依据 · 1 处
搜索链表计入查找和交换成本
维护有序搜索链表时,访问第i个元素需i单位查找成本,相邻元素交换各需1单位。
在线重排策略要最小化整段请求的查找与交换总和,不能只用当前一次查找速度评价。
独立卡片:搜索链表计入查找和交换成本。
原书依据 · 1 处
移至表首用当前访问调整链表
移至表首策略每次先查找目标,再通过相邻交换把它移到链表首位。
若原位置为r,本次成本是r次查找加r−1次交换,共2r−1;它用已发生的访问更新未来排列。
独立卡片:移至表首用当前访问调整链表。
原书依据 · 1 处
逆序数衡量两个链表排列差异
对同一批元素的两个链表,若一对元素的前后顺序相反,就构成一个逆序。逆序数统计两种排列的差异,可作为在线移首与离线最优排列之间的势能指标。
独立卡片:逆序数衡量两个链表排列差异。
原书依据 · 1 处
原书依据 · 1 处
移首分析用两倍逆序数作势能
令在线链表与离线最优链表之间的势能等于两倍逆序数。每个逆序既可能影响一次查找位置,也可能对应一次交换;逐次比较真实成本与势能变化,就能累加出全序列上界。
独立卡片:移首分析用两倍逆序数作势能。
原书依据 · 1 处
移首策略在此模型下四竞争
在访问位置与相邻交换均计费的模型中,移至表首的任意请求序列总成本不超过预知未来的最优策略的四倍。
这个保证比较整段序列,并不要求每一步成本都较低。
独立卡片:移首策略在此模型下四竞争。
原书依据 · 1 处
在线缓存缺失时决定淘汰块
缓存未命中且已满时,策略必须根据已见请求选择被逐出的块。
目标是让整个请求序列的未命中次数尽可能少;预取不在本章模型中,故不同策略只比较淘汰选择。
独立卡片:在线缓存缺失时决定淘汰块。
原书依据 · 1 处
缓存淘汰策略分时间与频率
- FIFO淘汰最早进入的块,LIFO淘汰最后进入的块;
- LRU淘汰最久未使用的块,LFU淘汰累计访问最少的块,同频时选最早进入者。
前两者按入缓存时间,后两者按使用记录决策。
独立卡片:缓存淘汰策略分时间与频率。
原书依据 · 1 处
后进先出缓存竞争比随请求增长
当缓存容纳k块而请求在第k与第k+1块间反复切换,LIFO每次都逐出刚载入的块,导致n次未命中;预知未来的策略仅需k+1次。
故其竞争比为Θ(n/k),随请求长度增长。
独立卡片:后进先出缓存竞争比随请求增长。
原书依据 · 1 处
最近使用缓存按时期计数失误
按每遇到第k+1种不同块分期,LRU每期至多k次失误。
不能说离线最优每期必失误;前一期k种块加下一期首块共有k+1种,在该跨期窗口中最优至少失误一次。
隔一个边界取互不重叠窗口,m期给出OPT≥⌈(m−1)/2⌉,故LRU≤2k·OPT+k,竞争比为O(k)。
独立卡片:最近使用缓存按时期计数失误。
原书依据 · 1 处
确定性缓存策略有线性缓存下界
若对手总请求在线策略刚逐出的块,确定性策略每次都失误;
而离线最优在k+1种块间可让一次淘汰避开之后至少k次请求。
因此足够长的序列上,任何确定性策略的竞争比至少为Ω(k)。
独立卡片:确定性缓存策略有线性缓存下界。
原书依据 · 1 处
随机算法区分知晓随机数的对手
- 遗忘型对手知道算法却不知道本轮随机选择;
- 非遗忘型对手能观察随机结果并据此适应请求。
随机在线算法的较好竞争保证通常针对前者,不能自动推广到能跟踪缓存内容的后者。
独立卡片:随机算法区分知晓随机数的对手。
原书依据 · 1 处
标记缓存保护本轮已请求块
标记策略为缓存块维护一位近期访问标记:
- 命中则标记;
- 缺失时从未标记块中淘汰,若全部已标记则先清除标记。
这样本轮已经请求的块不会在下一轮开始前被逐出。
独立卡片:标记缓存保护本轮已请求块。
原书依据 · 1 处
随机标记从未标记块均匀淘汰
随机标记沿用标记策略,但在缺失时对未标记块做均匀随机淘汰。
对手若看不到随机结果,就无法始终指定刚被逐出的块;这与确定性策略面对适应性请求的情形不同。
独立卡片:随机标记从未标记块均匀淘汰。
原书依据 · 1 处
期望竞争比对每个固定输入取期望
随机在线策略的期望竞争比要求:对每个固定输入,策略在内部随机性上的期望成本至多为离线最优成本的c倍。
概率只作用于策略的选择,不把输入序列自动当作随机分布。
独立卡片:期望竞争比对每个固定输入取期望。
原书依据 · 1 处
标记缓存区分旧块与新块
在一个缓存时期内,旧请求指向该时期开始时已在缓存中的块,也就是上一时期出现过的块;
新请求指向此前未在缓存中的块。
分析时只需关注各块本时期的首次请求,因为标记会防止再次请求失误。
独立卡片:标记缓存区分旧块与新块。
原书依据 · 1 处
旧块再次失误概率随未标记池缩小
缓存可容纳 k 个块;一个时期只看每个块的首次请求,并在出现第 k+1 个不同块前结束。相对上一时期,未出现过的是“新块”,出现过的是“旧块”。设本时期第 j 个旧块首次请求之前已有 n_ij 次新块请求,又已有 o_ij=j−1 个旧块被请求并标记保护。
随机标记算法只从未标记块中均匀淘汰,因此目标旧块被此前请求淘汰的概率为 n_ij/(k−o_ij)=n_ij/(k−j+1)。分母变小并不表示概率必然单调,因为分子也随请求次序变化;公式表达的是每个旧块在其被请求时的准确失误概率。
独立卡片:旧块再次失误概率随未标记池缩小。
原书依据 · 1 处
随机标记单时期失误受调和数控制
一个时期若有 r_i 个新块请求,它们必然各失误一次;其余 k−r_i 个旧块中,第 j 个旧请求的失误概率至多 r_i/(k−j+1)。由期望的线性性,
E[X_i]≤r_i+r_i·Σ_{j=1}^{k−r_i}1/(k−j+1)=r_i(1+H_k−H_{r_i})≤r_iH_k,
其中 H_k=1+1/2+⋯+1/k 是第 k 个调和数。这个界不要求各次失误事件相互独立。
独立卡片:随机标记单时期失误受调和数控制。
原书依据 · 1 处
随机标记期望竞争比为对数级
设时期 i 有 r_i 个相对时期 i−1 的新块,离线最优在这两个时期共见到 k+r_i 个不同块,而缓存只能放 k 个,因此其失误数满足 m_{i−1}+m_i≥r_i。把相邻时期的不等式相加,每个 m_i 至多被计两次,得到 Σr_i≤2Σm_i。
随机标记在时期 i 的期望失误至多 r_iH_k,故总期望失误至多 H_kΣr_i≤2H_kΣm_i。由于 H_k=Θ(log k),其期望竞争比至多 2H_k=O(log k)。
此结论针对遗忘型对手,即请求序列不能根据算法当次的随机选择自适应改变。
独立卡片:随机标记期望竞争比为对数级。
原书依据 · 1 处
前瞻算法能看到后续固定数量请求
l步前瞻在线算法在作当前决策时可额外看到后续l个请求,仍不知道更远未来。
书中将其用于缓存竞争下界练习;有限前瞻并不等于完整离线信息。
独立卡片:前瞻算法能看到后续固定数量请求。
原书依据 · 1 处
最短剩余处理时间允许抢占
SRPT在每个时刻运行已到达任务中剩余处理时间最短者;新任务若更短,可以抢占正在运行的任务。
它是带释放时间调度问题中的可抢占基线,不能直接当作不可抢占版本的完整解。
独立卡片:最短剩余处理时间允许抢占。
原书依据 · 1 处
动态图算法随边点变化更新答案
动态图算法面对顶点、边或权重逐步增删改;每次变化后维护图问题的答案,目标是利用先前计算而非从头求解。
例如增删边后更新最小生成树或最短路。
独立卡片:动态图算法随边点变化更新答案。
原书依据 · 1 处
流算法用少量内存处理数据
流算法处理无法完整存入内存的数据,空间限制显著小于输入规模;除了时间,还需记录对数据的扫描遍数。它把在线输入约束落到可用内存和通行次数上。
独立卡片:流算法用少量内存处理数据。
原书依据 · 1 处
第28章 矩阵运算
线性方程组可以通过分解矩阵后求解较简单的三角方程组,LUP分解用置换处理主元选择。矩阵乘法、求逆和求解之间存在算法联系,但不表示直接求逆总是最好的实际求解方式。对称正定条件和最小二乘问题进一步显示,矩阵结构决定可采用的方法及其边界。
本节在全书中的作用:把矩阵作为算法对象,说明如何用分解求解线性方程组,证明矩阵乘法与求逆在给定条件下具有相同渐近难度,并把正定矩阵的性质用于最小二乘拟合。
展开顺序:对非奇异方阵,LUP 分解满足 PA=LU,先前代求 Ly=Pb,再回代求 Ux=y;一次三次方时间的分解可供多个右端向量复用,每次代入为二次方时间。无置换的 LU 分解逐步消去变量并形成舒尔补,但零主元会使除法失败,小主元还可能放大数值误差;LUP 在当前列选绝对值最大的主元,同步交换整行与置换索引,仍为三次方时间。矩阵逆可通过逐列解 AXᵢ=eᵢ 求出。反向归约则把矩阵积嵌入一个块矩阵的逆;对实数非奇异矩阵,先证明正定矩阵的逆可递归地用子块求逆和矩阵乘法构成,再用 AᵀA 转化一般情形。两方向的渐近等价依赖定理列出的时间下界和正则条件,并不表示显式求逆是求解方程的实用首选。
# 第28章 矩阵运算
## 方程组分解与求解
- 矩阵与线性方程组
- LUP分解 PA=LU
- 前代与回代
- 消元与舒尔补
- 列主元和行置换
## 求逆与归约
- 复用分解求多组右端
- 逐列求矩阵逆
- 乘法与求逆的双向归约
- 正定矩阵分块逆
- 一般矩阵转为转置乘积
## 正定矩阵
- 对称正定性质
- 主子阵和舒尔补仍正定
- 无零主元的LU分解
## 拟合与延伸
- 最小二乘拟合
- 正规方程与满列秩伪逆
- 噪声过拟合与基函数选择
- 章末样条问题与SVD注记
舍入误差放大导致数值不稳定
浮点数精度有限,计算中的舍入误差若被后续步骤放大,结果可偏离真实解;这种算法称为数值不稳定。
评价矩阵算法不能只看运算次数,还要看误差传播。
独立卡片:舍入误差放大导致数值不稳定。
原书依据 · 1 处
欠定与超定取决于方程约束
- 线性系统的秩小于未知数时为欠定,可能有无穷解,方程不相容时也可能无解;
- 方程多于未知数时为超定,通常需考虑近似解。
方程数量只是判断线索,秩与相容性才决定解的情况。
独立卡片:欠定与超定取决于方程约束。
原书依据 · 1 处
LUP分解用置换和三角矩阵求解
LUP把矩阵表示成PA=LU:P重排行,L为单位下三角矩阵,U为上三角矩阵。
解Ax=b时先前代求Ly=Pb,再回代求Ux=y;可复用分解处理多个右端向量。
独立卡片:LUP分解用置换和三角矩阵求解。
原书依据 · 1 处
原书依据 · 1 处
回代逆序解上三角系统
对上三角系统Ux=y,从最后一行求xn,再逆序代入求x{n−1}至x_1。
对角主元须可除;各行求和的总成本为Θ(n²),它与前代配合完成LUP求解。
独立卡片:回代逆序解上三角系统。
原书依据 · 1 处
LU分解以消元记录行乘子
无置换时A=LU。
高斯消元逐列清除主元下方元素,形成上三角U;消元时使用的行乘子组成单位下三角L。
若遇到零或过小主元,须引入置换,不能机械套用无主元版本。
独立卡片:LU分解以消元记录行乘子。
原书依据 · 1 处
舒尔补是消去首列后的子问题
把矩阵写成 A=[[a₁₁,wᵀ],[v,A′]],其中 a₁₁ 是首主元,wᵀ 是其余首行,v 是其余首列。若 a₁₁≠0,用首行消去 v 后,右下块变为 A′−vwᵀ/a₁₁,这就是 A 相对首主元的舒尔补。
外积 vwᵀ 同时记录每一行应减去多少倍首行。舒尔补把 n 阶分解缩成 n−1 阶问题;前提是当前主元可除,后续递归仍需检查主元,必要时要换行选主元。
独立卡片:舒尔补是消去首列后的子问题。
原书依据 · 1 处
原书依据 · 1 处
LU因子可复用原矩阵空间存储
LU分解后,L的非对角下半部与U的对角及上半部互不重叠,可共同写回原矩阵;L的单位对角无需存储。
这样节省独立矩阵空间,读取时仍须按位置解释元素属于哪个因子。
独立卡片:LU因子可复用原矩阵空间存储。
原书依据 · 1 处
列主元选择最大绝对值减小风险
LUP每步在当前列剩余行中挑绝对值最大的元素作主元,再交换整行。
它既避开零除,也降低小除数放大舍入误差的风险;不能把此数值策略理解成改变方程组的解。
独立卡片:列主元选择最大绝对值减小风险。
原书依据 · 1 处
LUP交换整行并同步置换索引
列主元确定后,分解器交换矩阵的整行,同时交换置换数组中对应项。
整行包含此前存下的消元乘子,若只换未处理子块,会破坏PA=LU的一致性。
独立卡片:LUP交换整行并同步置换索引。
原书依据 · 1 处
带主元置换仍保持三次方耗时
LUP每轮额外扫描当前列并交换行,核心舒尔补更新仍由三重循环主导,因此总耗时Θ(n³),与无置换LU同阶。
选择主元改善可计算性和稳定性,渐近成本不升阶。
独立卡片:带主元置换仍保持三次方耗时。
原书依据 · 1 处
一次分解可解多个右端方程
LUP 分解把带换行的高斯消元写成 PA=LU:P 是行置换矩阵,L、U 分别是下三角与上三角矩阵。它只依赖系数矩阵 A。求解 Ax=b 时先解下三角方程 Ly=Pb,再解上三角方程 Ux=y。
前代和回代各求一个未知量时,要与已知分量做长度至多 n 的内积;全程约有 1+2+⋯+(n−1) 次乘加,故各为 Θ(n²)。多个方程若只更换右端 b,可复用同一分解;每个新右端只需两次三角求解,k 个右端累计 Θ(kn²),一次性的分解成本另计。
独立卡片:一次分解可解多个右端方程。
原书依据 · 1 处
矩阵求逆可逐列解单位向量方程
求A的逆可把AX=I拆成n个方程AX_i=e_i。
先分解A,再对每个单位向量做前代和回代,得到逆矩阵各列;整体仍为Θ(n³)。
这说明可行性,不代表实际求解Ax=b应先显式求逆。
独立卡片:矩阵求逆可逐列解单位向量方程。
原书依据 · 1 处
矩阵乘法可归约为块矩阵求逆
构造含A、B的3n阶上三角块矩阵,其逆矩阵右上块给出AB。
若求逆复杂度I(n)至少平方级且满足I(3n)=O(I(n)),则乘法可在O(I(n))时间完成;这是复杂度归约,并非日常乘法建议。
独立卡片:矩阵乘法可归约为块矩阵求逆。
原书依据 · 1 处
正定矩阵求逆可递归缩成块乘法
对称正定矩阵分块后,借舒尔补把求逆拆为两个半阶求逆和常数次半阶矩阵乘法。若乘法时间满足定理的正则条件,递归成本为O(M(n)),从而求逆渐近上不难于乘法。
独立卡片:正定矩阵求逆可递归缩成块乘法。
原书依据 · 1 处
一般可逆矩阵转正定矩阵求逆
实数可逆矩阵A的AᵀA对称正定,且A⁻¹=(AᵀA)⁻¹Aᵀ。
故先乘出AᵀA、用分块算法求逆再乘Aᵀ,可在理论上把一般求逆归约到正定求逆;此式不应忽略数值稳定性。
独立卡片:一般可逆矩阵转正定矩阵求逆。
原书依据 · 1 处
对称正定要求非零向量二次型为正
实方阵对称正定须同时满足A=Aᵀ,且任意非零向量x都有xᵀAx>0。
该条件强于仅对角为正,能保证矩阵可逆,也支撑无置换LU分解。
独立卡片:对称正定要求非零向量二次型为正。
原书依据 · 1 处
正定矩阵的左上主子阵仍正定
左上k阶主子阵取原矩阵前k行、前k列。
若原矩阵对称正定,可把该子阵上的非零向量补零嵌回原空间,其二次型仍为正,因此每个左上主子阵也对称正定。
独立卡片:正定矩阵的左上主子阵仍正定。
原书依据 · 1 处
正定矩阵的舒尔补仍正定
把对称正定矩阵写成 A=[[A_k,B],[Bᵀ,C]],其中 A_k 是左上 k×k 主子阵。相对 A_k 的舒尔补为 S=C−BᵀA_k⁻¹B,它仍是对称正定矩阵。
对任意非零向量 y,取 x=−A_k⁻¹By,则分块二次型满足 [xᵀ,yᵀ]A[x,y]ᵀ=yᵀSy>0。左侧严格为正来自 A 的正定性,因而 S 正定;分块对称又直接给出 S 对称。递归消元或求逆因此继续面对可逆子问题。
独立卡片:正定矩阵的舒尔补仍正定。
原书依据 · 1 处
正定矩阵无需置换即可LU分解
对称正定矩阵的首主元为e₁ᵀAe₁>0;每次消元后的舒尔补仍正定,故后续主元也严格为正。
于是无主元置换LU不会除零;这是理论可行性,实际数值稳定性仍须另评估。
独立卡片:正定矩阵无需置换即可LU分解。
原书依据 · 1 处
过高次数的拟合会追随噪声
当设计矩阵可逆(多项式基通常需样本横坐标互异)时,用与数据点一样多的系数可精确插值,却也可能吸收测量噪声,使未见样本的预测变差。
若矩阵秩不足,n=m也不保证能穿过所有样本;可先选较少基函数再最小二乘拟合。
独立卡片:过高次数的拟合会追随噪声。
原书依据 · 1 处
最小二乘正规方程约束残差
设 A∈ℝ^{m×n} 的每一行是一条观测的特征,c∈ℝ^n 是待求系数,y∈ℝ^m 是观测值。最小化残差平方和 ‖Ac−y‖²,展开为 cᵀAᵀAc−2yᵀAc+yᵀy;对 c 求导并令导数为零,得到正规方程 AᵀAc=Aᵀy。
这个方程也表示残差 y−Ac 与 A 的每一列正交。若 A 满列秩,即各列线性无关,则 AᵀA 正定且可逆,最小二乘解唯一。
独立卡片:最小二乘正规方程约束残差。
原书依据 · 1 处
满列秩矩阵的伪逆给最小二乘解
对 A∈ℝ^{m×n} 且 m≥n,满列秩表示 n 列线性无关,于是 AᵀA 可逆。定义左伪逆 A⁺=(AᵀA)⁻¹Aᵀ,正规方程的唯一解便是 c=A⁺y;并且 A⁺A=I_n。
当 m>n 时通常没有 AA⁺=I_m,因为 AA⁺ 是把观测向量投影到 A 的列空间。因此伪逆扩展了方阵求逆的用途,却不是非方阵的双侧逆。
独立卡片:满列秩矩阵的伪逆给最小二乘解。
原书依据 · 1 处
三次样条由分段三次式拼接
三次样条在相邻节点区间各用一个三次多项式表示曲线,节点处把片段拼接。插值要求经过给定点,并以导数连续约束光滑度;它兼顾局部可调与整体连续。
独立卡片:三次样条由分段三次式拼接。
原书依据 · 1 处
自然三次样条端点二阶导为零
自然三次样条在各内部节点保持二阶导连续,并规定首尾节点二阶导为零。
它用端点边界条件封闭导数方程,从而确定分段三次式;一般三次样条不必使用这组端点条件。
独立卡片:自然三次样条端点二阶导为零。
原书依据 · 1 处
奇异值分解拆成正交因子与对角量
奇异值分解把矩阵表示为两个列正交矩阵与中间对角形矩阵的乘积,后者只在对角线上有非零值。
它适用于非方阵,与LU以消元构造三角因子的目的和结构不同。
独立卡片:奇异值分解拆成正交因子与对角量。
原书依据 · 1 处
第29章 线性规划
线性规划用变量表示决策,用线性等式或不等式限制可行解,并优化线性目标。模型可能无可行解、无界或具有有限最优值,必须先分辨这些结果。网络问题提供建模例子,对偶关系则把一个方向的可行解与另一方向的界联系起来,形成判断最优性的证据。
本节在全书中的作用:把资源约束下的优化问题写成线性规划,说明可行性、最优性和求解方法的边界;再以图问题展示建模价值,并用原问题与对偶问题的关系提供最优性证书。
展开顺序:建模先选决策变量,再写线性约束和线性目标;原文选举广告例子同时提醒,形式可行的模型可能允许超出真实人口的票数。标准形以最大化、Ax≤b 和非负变量表达线性规划;可行解满足全部约束,可行域无界也可能有有限最优值。单纯形法沿可行域顶点的边逐步改进,实践中常有效,但最坏情况可能需要指数级迭代;椭球法和内点法提供多项式时间求解途径。整数约束会改变问题难度。把问题写成多项式规模的线性规划,才保留多项式时间求解的意义。最短路可令源距离为零、每条边满足距离上界并最大化目标距离;最大流由容量、守恒和流值目标组成;最小费用流固定需求后最小化成本;多商品流为各商品保留守恒并共享边容量。
# 第29章 线性规划
## 建模与解的状态
- 线性目标与线性约束
- 选变量约束和目标
- 标准形与可行域
- 有限最优不可行或无界
## 求解方法
- 求解方法
- 单纯形顶点改进
- 椭球法与内点法
## 网络问题建模
- 图问题建模
- 最短路距离约束
- 最大流与最小费用流
- 多商品流共享容量
## 对偶与证书
- 原问题与对偶问题
- 对偶乘子给上界
- 弱对偶与相等证书
- 法卡斯不可行证书
- 强对偶
- 章末互补松弛与环流问题
线性规划优化线性目标与约束
线性规划在资源和其他约束下优化目标;目标须是决策变量的线性函数,限制须能写成这些变量的线性等式或不等式。
先检查线性性,才能把实际问题交给线性规划算法。
独立卡片:线性规划优化线性目标与约束。
原书依据 · 1 处
建模先定变量约束与目标
把现实问题建成线性规划时,
- 先用决策变量表达可选行动,
- 再写出限制这些变量的约束,
- 最后明确要最大化或最小化的目标。
选举广告例把四类支出作为变量,以票数为约束、总支出为目标。
独立卡片:建模先定变量约束与目标。
原书依据 · 1 处
线性规划不允许严格不等式
线性约束可写成等式、≤或≥;线性规划不接受严格的<或>。
建模时若业务要求“超过阈值”,须明确边界如何处理,不能直接把严格不等式原样交给标准线性规划。
独立卡片:线性规划不允许严格不等式。
原书依据 · 1 处
标准形统一最大化与非负变量
书中的线性规划标准形为最大化cᵀx,满足Ax≤b及x≥0。
A是m×n矩阵,b为m维向量,c和x为n维向量;含等式或可取负值变量的问题需先转换,不能直接当成标准形。
独立卡片:标准形统一最大化与非负变量。
原书依据 · 1 处
可行解须满足全部约束
一个变量赋值只有满足全部约束才是可行解;违反任何一条便不可行。
可行解集合构成可行域;其中目标值在全部可行解中达到最大值的才是最大化问题的最优解。
独立卡片:可行解须满足全部约束。
原书依据 · 1 处
无界可行域仍可能有有限最优
可行域向某些方向无限延伸,不代表目标值也能沿那些方向无限改善。
书中明确提出无界可行域仍可有有限最优目标值;判断线性规划是否无界,必须看目标在可行方向上的变化。
独立卡片:无界可行域仍可能有有限最优。
原书依据 · 1 处
单纯形法最坏情况非多项式
- 椭球法和内点法能在多项式时间求解线性规划;
- 单纯形法最坏情况下不具多项式时间保证,却在实践中通常表现良好。
评估求解器时应区分理论最坏界与实际运行表现。
独立卡片:单纯形法最坏情况非多项式。
原书依据 · 1 处
有界线性规划可在顶点取最优
二维有界可行域上,线性目标的等值线平移至最后接触可行域时,接触处可为一个顶点或一条边。
若是一条边,两个端点也最优,因此至少有一个顶点最优;这解释了单纯形法关注顶点的直觉。
独立卡片:有界线性规划可在顶点取最优。
原书依据 · 1 处
单纯形法沿顶点边逐步改进
单纯形法从可行域顶点出发,每步沿边移到目标值不下降的邻接顶点。
线性目标与凸可行域使局部最优可成为全局最优;这种顶点路径直觉不等于多项式最坏时间保证。
独立卡片:单纯形法沿顶点边逐步改进。
原书依据 · 1 处
整数约束改变线性规划难度
在线性规划上再要求所有变量取整数,得到整数线性规划。
书中指出仅寻找一个可行整数解就可为NP难;连续变量线性规划能在多项式时间求解,不能把这一保证直接套到整数版本。
独立卡片:整数约束改变线性规划难度。
原书依据 · 1 处
多项式规模建模保留求解效率
把问题写成相对于输入规模为多项式大小的线性规划,就可用椭球法或内点法在多项式时间求解。
建模时不仅要验证目标与约束线性,还要数清变量、约束和编码规模。
独立卡片:多项式规模建模保留求解效率。
原书依据 · 1 处
最短路线性规划最大化目标距离
在目标可达且模型所含全部边均无负权环时,令变量dᵥ满足dₛ=0及每条边的dᵥ≤dᵤ+w(u,v)。
这些不等式给目标点距离设上界;最大化dₜ才将其推到最短路权重。
若仅排除源点可达的负环,不连通负环仍会使整组约束不可行。
独立卡片:最短路线性规划最大化目标距离。
原书依据 · 1 处
最大流可写成容量守恒线性规划
以各顶点对的流量为变量,约束每条边不超容量、非源汇顶点流入等于流出且流量非负,再最大化源点净流出。目标和约束全是线性的,因此最大流可直接写成线性规划。
独立卡片:最大流可写成容量守恒线性规划。
原书依据 · 1 处
最小费用流固定需求再优化成本
最小费用流在容量、流量守恒和非负约束下,增加源点净流出恰为需求d的等式,并最小化各边单位费用与流量乘积之和。
与最大流相比,流量变成指定需求,目标变成总费用。
独立卡片:最小费用流固定需求再优化成本。
原书依据 · 1 处
多商品流共用边容量
多商品流让多种货物分别从各自源点流向汇点,每种都有需求量和守恒约束;同一边上各商品流量之和不能超过共享容量。
这里先问是否存在满足全部需求的流,目标函数可取常数零。
独立卡片:多商品流共用边容量。
原书依据 · 1 处
对偶把最大化配成最小化
线性规划对偶为原最大化问题构造相关的最小化问题。两者的可行解可相互提供上下界;在满足可行且有界等条件时,最优目标值相等,因此可用对偶解核验原问题的最优性。
独立卡片:对偶把最大化配成最小化。
原书依据 · 1 处
对偶交换目标与约束系数
设 A∈ℝ^{m×n}、x,c∈ℝ^n、b,y∈ℝ^m。原问题为最大化 cᵀx,满足 Ax≤b、x≥0;其对偶为最小化 bᵀy,满足 Aᵀy≥c、y≥0。转置把原问题的 m 行约束变成 m 个对偶变量,又把原问题的 n 个变量变成 n 条对偶约束。
这里的方向依赖这组标准形:原问题是非负变量下的最大化与 ≤ 约束。若变量可正可负或约束为等式,必须先作等价变换,不能机械套用同一不等号方向。
独立卡片:对偶交换目标与约束系数。
原书依据 · 1 处
对偶乘子构成原问题上界
考虑标准原问题:最大化 cᵀx,满足 Ax≤b、x≥0。给第 i 条 ≤ 约束乘以非负数 y_i 并求和,不会改变不等号方向,得到 (Aᵀy)ᵀx≤bᵀy。若 Aᵀy≥c,则 cᵀx≤(Aᵀy)ᵀx≤bᵀy。所以每个对偶可行向量 y 都构成原目标值的可验证上界;对偶最小化 bᵀy,就是在这些加权上界中寻找最紧者。
独立卡片:对偶乘子构成原问题上界。
原书依据 · 1 处
弱对偶给原目标设上界
对原问题可行解 x,有 Ax≤b、x≥0;对偶可行解 y 满足 Aᵀy≥c、y≥0。两次利用非负性逐项相乘可得
cᵀx≤xᵀAᵀy=yᵀAx≤yᵀb=bᵀy。
这就是弱对偶:任何原问题目标值都不超过任何对偶可行值。即使尚未求到最优解,一个可行 y 也能给原问题提供可验证上界。
独立卡片:弱对偶给原目标设上界。
原书依据 · 1 处
相等可行目标值证明双最优
对标准原问题 max cᵀx 及其对偶 min bᵀy,如果找到一对可行解 x,y 且 cᵀx=bᵀy,那么任意原可行解 x′ 都满足 cᵀx′≤bᵀy=cᵀx,任意对偶可行解 y′ 都满足 bᵀy′≥cᵀx=bᵀy。因此 x 与 y 分别达到最大值和最小值,两者均最优。
等式把弱对偶留下的“对偶间隙”闭合为 0,所以这对可行解是一张无需枚举其他解的最优性证书。
独立卡片:相等可行目标值证明双最优。
原书依据 · 1 处
法卡斯引理给不可行证书
对线性不等式组Mv≤g,法卡斯引理断言恰有一者成立:存在可行v;或存在非负w使wᵀM=0且wᵀg。
后一组乘子把所有左端消为零、右端压成负数。若可行 v 与该 w 同时存在,由 Mv≤g 和 w≥0 可得 wᵀMv≤wᵀg,但左侧 wᵀMv=(wᵀM)v=0,右侧却小于 0,产生 0<0 型矛盾。因此 w 构成任何人都能直接核验的不可行证书。
独立卡片:法卡斯引理给不可行证书。
原书依据 · 1 处
强对偶使有限最优值相等
标准形原问题是 max cᵀx,满足 Ax≤b、x≥0;对偶是 min bᵀy,满足 Aᵀy≥c、y≥0。若两者都可行且有界,则各自最优解满足 cᵀx*=bᵀy*。
弱对偶只保证任意可行对有 cᵀx≤bᵀy;强对偶进一步保证最优时对偶间隙为 0,即最紧上界确实达到。原书证明用法卡斯引理构造出与原最优值相等的对偶可行证书。
独立卡片:强对偶使有限最优值相等。
原书依据 · 1 处
线性规划只有三种终态
标准形线性规划必落在三种情况之一:有有限目标值的最优解、无可行解,或无界。
求解器除了返回最优值,还应区分不可行与目标可无限改进;可行域无界本身不等于问题无界。
独立卡片:线性规划只有三种终态。
原书依据 · 1 处
互补松弛连接变量与紧约束
对标准原问题 max cᵀx, Ax≤b, x≥0 与对偶 min bᵀy, Aᵀy≥c, y≥0,原约束松弛量是 b−Ax≥0,对偶约束松弛量是 Aᵀy−c≥0。对偶间隙可分解为
bᵀy−cᵀx=yᵀ(b−Ax)+xᵀ(Aᵀy−c)。
每个分量乘积都非负,所以间隙为 0 当且仅当 y_i[b_i−(Ax)_i]=0 且 x_j[(Aᵀy)_j−c_j]=0。也就是说,正的原变量对应的对偶约束必须取等号,正的对偶变量对应的原约束必须取等号;变量可以为 0 与约束恰好取等号同时发生,互补条件并不排斥这种退化情形。
独立卡片:互补松弛连接变量与紧约束。
原书依据 · 1 处
最小费用环流无需源汇需求
最小费用环流只有网络边容量与费用,不指定源点、汇点或流量需求。可行流在每个顶点守恒并遵守容量约束,目标是让边费用乘流量的总和最小;它与指定源汇及需求的最小费用流不同。
独立卡片:最小费用环流无需源汇需求。
原书依据 · 1 处
网络单纯形专用于流问题
网络单纯形把单纯形法专门用于网络流问题。
它不是一般线性规划的新复杂度保证;书中指出在最短路、最大流、最小费用流等特定网络问题上,某些变体可在多项式时间运行。
独立卡片:网络单纯形专用于流问题。
原书依据 · 1 处
第30章 多项式与快速傅里叶变换
多项式既能用系数表示,也能用足够多点上的取值表示。在点值表示下相乘只需逐点乘,难点转移到两种表示之间的转换。快速傅里叶变换利用单位根的递归结构加速转换,因而加速卷积和多项式乘法;逆变换、补零与数值问题都是完整算法的一部分。
本节在全书中的作用:把多项式乘法化为系数卷积,再通过系数表示与点值表示之间的快速转换,把直接乘法的二次方时间降到 Θ(n lg n);并展示 FFT 的电路结构和数值边界。
展开顺序:次数界决定系数向量长度,乘积的每个系数是两组输入系数的卷积。点值表示用互异的采样点唯一确定给定次数界的多项式,范德蒙德矩阵可证明插值唯一,拉格朗日公式直接构造插值式;但两个次数界为 n 的多项式相乘,要先扩充到足够表示乘积的 2n 个采样点。快速乘法先补零并在复单位根处求值,再逐点相乘,最后逆变换回系数。复单位根等距分布在单位圆上,其平方把 n 个点压成半规模的点集,幂和性质提供变换与逆变换所需的正交性。FFT 将偶数位与奇数位系数拆成两个半规模多项式,递归求值后用旋转因子合并;递推式为两次半规模计算加线性合并。逆 DFT 改用逆单位根并除以长度,从而实现卷积定理所需的插值。
# 第30章 多项式与快速傅里叶变换
## 多项式表示与采样
- 多项式系数表示
- 乘法等于系数卷积
- 扩充采样点与补零
- 单位根处的点值表示
- 复单位根的折半与幂和
## 变换与卷积
- 偶奇系数递归FFT
- 旋转因子蝶形合并
- 逐点相乘
- 逆DFT插值
- 得到卷积系数
## 实现与数值边界
- 位逆序输入
- 分级并行蝶形电路
- 范德蒙德唯一性与拉格朗日插值
- 浮点误差与数值稳定性
- 模变换问题与FFTW注记
频域把信号拆成正弦分量
时域把信号视为时间到振幅的函数;
频域则用不同频率、相位的正弦分量及其权重描述同一信号。
傅里叶分析提供两种视角的转换,便于在频率结构上理解或处理声音、图像等数据。
独立卡片:频域把信号拆成正弦分量。
原书依据 · 1 处
次数界决定多项式系数长度
多项式的次数是最高非零系数对应的指数;次数界n是严格大于次数的整数。
用系数表示时可把它存成n维向量,不足的高次项补零;次数界是表示长度的上界,未必等于实际次数。
独立卡片:次数界决定多项式系数长度。
原书依据 · 1 处
多项式乘法等于系数卷积
两个多项式相乘后,结果的第j个系数是所有指数和为j的输入系数乘积之和,即离散卷积。
朴素系数乘法要枚举系数对,耗时Θ(n²);快速乘法也可看作快速求卷积。
独立卡片:多项式乘法等于系数卷积。
原书依据 · 1 处
点值表示需要互异采样点
次数界为n的多项式可由n组点值对表示,每组记录互异横坐标xₖ及对应的函数值。
给定互异点与足够数量的值后,可插值恢复原多项式;重复横坐标不能提供新的独立约束。
独立卡片:点值表示需要互异采样点。
原书依据 · 1 处
范德蒙德矩阵保证插值唯一
把n个互异采样点的函数值写成范德蒙德矩阵乘系数向量。互异横坐标使该矩阵行列式非零,因此可逆,次数界n的插值多项式唯一;点不互异时这项可逆性依据失效。
独立卡片:范德蒙德矩阵保证插值唯一。
原书依据 · 1 处
拉格朗日公式直接构造插值式
给定n个横坐标互异的样本(xₖ,yₖ),为每个样本构造基多项式:
Lₖ(x)=∏ⱼ≠ₖ(x−xⱼ)/(xₖ−xⱼ)
Lₖ(xₖ)=1,而在其他采样点上为0,所以插值式为A(x)=Σₖ yₖLₖ(x)。互异性保证分母xₖ−xⱼ≠0。
补充教学演示:两点 (0,2)、(1,5) 给出 A(x)=2(1−x)+5x=2+3x;代回两点即得原样本值。
独立卡片:拉格朗日公式直接构造插值式。
原书依据 · 1 处
乘积插值需要两倍采样点
两个次数界为n的多项式相乘,乘积次数界可达2n。
若只把各自在n个点上的值逐点相乘,所得n对点值不足以唯一确定乘积;须先扩展到至少2n个互异采样点。
独立卡片:乘积插值需要两倍采样点。
原书依据 · 1 处
快速乘法先变换再逐点相乘
- 先把两个输入的次数界补到2n,用FFT在2n次单位根处求值;
- 再逐点相乘,
- 最后用逆变换插值得到乘积系数。
补零与逐点乘为Θ(n),两次变换主导为Θ(n lg n),从而加速系数表示的多项式乘法。
独立卡片:快速乘法先变换再逐点相乘。
原书依据 · 1 处
单位根均匀分布于复平面圆周
复数ω满足ωⁿ=1时是n次单位根。
全部n个根为e^(2πik/n),k取0到n−1,在复平面单位圆上等角间隔;选这些特殊点求值,是FFT能够复用子问题的基础。
独立卡片:单位根均匀分布于复平面圆周。
原书依据 · 1 处
单位根平方把规模减半
当n为偶数时,n个n次单位根平方后只得到n/2个互异的n/2次单位根,每个出现两次。FFT把偶次与奇次系数分别求值时,正靠这个重合把两个递归问题各缩到一半。
独立卡片:单位根平方把规模减半。
原书依据 · 1 处
单位根幂和产生正交性
- 若k不是n的倍数,全部n个n次单位根的k次幂之和为零;
- 若k是n的倍数,和为n。
这一求和性质让DFT矩阵与候选逆矩阵相乘时,非对角项抵消、对角项保留。
独立卡片:单位根幂和产生正交性。
原书依据 · 1 处
离散傅里叶变换在单位根求值
对长度n的系数向量,离散傅里叶变换把其多项式在n个n次单位根处的值排成向量。
它是系数表示到特殊点值表示的映射;快速傅里叶变换是计算该映射的算法。
独立卡片:离散傅里叶变换在单位根求值。
原书依据 · 1 处
偶奇系数拆成两个半规模多项式
按系数下标奇偶拆成A偶与A奇,可写成A(x)=A偶(x²)+xA奇(x²)。在n次单位根处求值时,平方后的采样点仅有n/2个互异值,于是原DFT转成两个n/2规模DFT再合并。
独立卡片:偶奇系数拆成两个半规模多项式。
原书依据 · 1 处
蝶形运算复用一乘两次输出
合并偶、奇子变换时,令 t=ωₙ^k·yₖ^odd。将同一乘积复用,分别算 yₖ=yₖ^even+t 与 yₖ₊ₙ⁄₂=yₖ^even−t,得到上下两半输出。这组一次乘法配一加一减的计算称蝶形运算。
独立卡片:蝶形运算复用一乘两次输出。
原书依据 · 1 处
FFT复杂度来自双递归线性合并
基于偶奇拆分的FFT每层做两个n/2规模DFT,并用Θ(n)次合并操作;递推T(n)=2T(n/2)+Θ(n),得到Θ(n lg n)。
关键节省是共享单位根采样点,并非逐点独立套用霍纳法。
独立卡片:FFT复杂度来自双递归线性合并。
原书依据 · 1 处
逆DFT换逆单位根并除以长度
设系数向量为a=(a₀,…,aₙ₋₁),多项式A(x)=Σⱼ aⱼxʲ,ωₙ是n次本原单位根。DFT的输出是yₖ=A(ωₙᵏ);逆变换用
aⱼ=(1/n)Σₖ₌₀ⁿ⁻¹ yₖωₙ^(−j k)
恢复系数。把正变换代入后,每对系数会出现Σₖωₙ^((ℓ−j)k):当j=ℓ时和为n,否则为0,因而只保留aⱼ。算法上可沿用FFT结构,把单位根换成其逆,再将每个结果除以n,时间为Θ(n lg n)。
补充教学演示:n=2时,y₀=a₀+a₁、y₁=a₀−a₁,所以a₀=(y₀+y₁)/2、a₁=(y₀−y₁)/2。
独立卡片:逆DFT换逆单位根并除以长度。
原书依据 · 1 处
卷积可由变换后的逐点乘积求得
设a、b是两个长度n的系数向量,卷积cₖ=Σᵢ₊ⱼ₌ₖaᵢbⱼ就是对应多项式乘积的第k个系数。先把a、b补零到2n,DFT会把它们变成在2n个单位根上的求值向量;多项式乘法在点值表示下只需逐点相乘。再做逆DFT,即恢复出卷积系数:
a⊗b=DFT₂ₙ⁻¹(DFT₂ₙ(a)·DFT₂ₙ(b))
补零使乘积的最高可能次项仍被单独存放,防止高次系数回绕到低次位置而变成长n的循环卷积。
独立卡片:卷积可由变换后的逐点乘积求得。
原书依据 · 1 处
FFT电路可把深度降到对数级
FFT递归电路先并行运行两个半规模子电路,再以n/2个蝶形运算合并。每层电路深度只增加常数,递归层数为lg n,故从输入到输出的最长计算路径为Θ(lg n)。
独立卡片:FFT电路可把深度降到对数级。
原书依据 · 1 处
位逆序使递归叶子顺序连续
FFT按下标奇偶递归分组时,逐层剥离的是原下标的低位。把每个下标的lg n位二进制顺序反转,输入就排成递归叶子的次序,可从两点变换自底向上逐级合并。
独立卡片:位逆序使递归叶子顺序连续。
原书依据 · 1 处
位逆序后按级并行执行蝶形
完整FFT电路先对输入做位逆序置换,再运行lg n级蝶形。每一级有n/2个可并行的蝶形,所以总蝶形数为Θ(n lg n),而最长串行路径仅有Θ(lg n)级。
独立卡片:位逆序后按级并行执行蝶形。
原书依据 · 1 处
模运算FFT可避免浮点舍入
复数DFT在浮点实现中可能引入舍入误差。
若目标结果是整数,并能选出适合变换长度的模数和单位根,可把变换放在模环中做,以获得精确的模运算结果;还须处理取值范围与还原。
这里“适合”至少包含这些条件:对长度为N的变换,要在模p下找到阶恰为N的元素ω(即ωᴺ≡1,但更小的正指数不能得到1),并且N在模p下可逆,逆变换才能乘以N⁻¹。书中题目取N为2的幂、p=kN+1为素数,再由模p乘法群的生成元构造ω。
模运算得到的是系数对p的余数。若已知真实整数系数落在一个不会发生混淆的范围内,可直接选唯一代表;若可能越界,则要选更大的模数,或用多个模数的结果经中国余数定理还原。这样“没有浮点误差”才等于“恢复了原整数答案”。
独立卡片:模运算FFT可避免浮点舍入。
原书依据 · 1 处
FFTW规划器试选计算分解
FFTW针对同一规模需要重复计算的DFT,先以试运行选择该机器上合适的FFT分解,再复用计划执行变换。计划还能利用缓存与小规模直线代码;这种选择与机器环境有关。
独立卡片:FFTW规划器试选计算分解。
原书依据 · 1 处
插值正确不等于数值稳定
插值公式在数学上能唯一恢复多项式,不代表浮点计算稳定。
输入的微小扰动或舍入误差可能让系数结果出现明显变化;选实现和验证时须把代数正确性与数值条件分开检查。
独立卡片:插值正确不等于数值稳定。
原书依据 · 1 处
迭代更新旋转因子会积累误差
FFT逐次相乘更新旋转因子可省去每轮重新计算,但浮点误差会随迭代累积,输入越大越需留意。
性能优化因此伴随数值精度代价;预计算因子表是一种可评估的替代。
独立卡片:迭代更新旋转因子会积累误差。
原书依据 · 1 处
第31章 数论算法
数论算法把整数的整除、同余和模运算变成可计算的工具。欧几里得算法求最大公因数,扩展形式帮助求逆与解同余,快速幂减少重复乘法。素性检验和课本RSA展示这些工具的组合,但概率保证、位复杂度和实际密码协议的安全边界必须分别理解,不能从课本公式直接推出工程安全。
本节在全书中的作用:建立按输入位数分析整数算法的视角,从整除、最大公约数、模运算与有限群出发,推导模方程、CRT 和模幂算法,再以课本 RSA 与 Miller–Rabin 素性检验展示应用及其证明边界。
展开顺序:大整数的算法成本应按二进制长度和位操作计算。带余除法给每个整数唯一的标准余数,模同余把整数分成等价类;最大公约数既是最大公共正因数,也是最小正整数组合。素数整除乘积的性质支撑唯一素因数分解。欧几里得算法利用取余不改变 gcd 反复缩小参数,相邻斐波那契数刻画最坏递归次数;扩展算法回传贝祖系数,可用于求模逆元。模加法在所有余数类上成群,模乘法只在与模数互素的余数类上成群;子群大小、元素阶与欧拉函数决定了若干模幂性质。模线性方程 ax≡b mod n 当且仅当 gcd(a,n) 整除 b 才有解;有解时恰有该公因数个余数解,可由贝祖系数构造一个并按 n/gcd(a,n) 的步长列出其余解。中国剩余定理在两两互素模数之间建立积模数和分量余数的一一对应,用基元素重建答案。欧拉定理、费马小定理和本原根描述模乘群的幂结构;重复平方法使模幂的算术操作数随指数位数线性增长。
# 第31章 数论算法
## 整数和模运算基础
- 整数输入按位数计成本
- 整除余数与素因数分解
- 欧几里得与扩展欧几里得
- 贝祖系数与模逆元
- 模加群与模乘群
- 子群阶与欧拉函数
- 模线性方程求解
- 中国剩余定理重建
## 定理与课本密码模型
- 欧拉与费马定理
- 重复平方法
- 课本RSA正确性
## 素性检验与概率边界
- 费马伪素数检验
- 卡迈克尔反例
- Miller Rabin证人检验
- 抽样轮数与误判上界
- 后验概率需输入先验
大整数算法按输入位数计复杂度
数论算法常处理少量却很大的整数,输入规模应按二进制位数衡量。
把加减乘除都当作单位时间会低估成本;朴素乘法、除法对β位数通常需Θ(β²)位操作。
独立卡片:大整数算法按输入位数计复杂度。
原书依据 · 1 处
整除表示存在整数倍关系
d整除a记作d∣a,含义是存在整数k使a=kd。
0可被任意整数整除;若d整除非零a,取正因子时其范围为1到|a|。
整除关系是素数、最大公约数与模同余的基础。
独立卡片:整除表示存在整数倍关系。
原书依据 · 1 处
素数只有两个正因子
大于1的整数若正因子只有1和自身,就是素数;大于1但不满足者是合数。
1既非素数也非合数,0和负整数也不在这两个类别中。判定素数必须先限定整数范围。
独立卡片:素数只有两个正因子。
原书依据 · 1 处
带余除法给唯一标准余数
对任意整数a和正整数n,存在唯一整数q、r满足a=qn+r且0≤r。r是a对n的标准余数;即使a为负也必须落在该非负区间,这让模运算有统一代表元。
独立卡片:带余除法给唯一标准余数。
原书依据 · 1 处
模同余类按相同余数划分整数
模n同余把相差n的整数归入同一类:[a]ₙ={a+kn∣k为整数}。每类可用0到n−1中的一个余数代表;代表元不同不意味着底层同余类不同。
独立卡片:模同余类按相同余数划分整数。
原书依据 · 1 处
最大公约数取最大公共正因子
gcd(a,b)是同时整除a和b的最大非负整数,二者不同时为零;约定gcd(0,0)=0以保持常用恒等式。
处理负数时仍取非负公约数,不把符号当成大小比较。
独立卡片:最大公约数取最大公共正因子。
原书依据 · 1 处
最大公约数是最小正整数组合
对不同时为零的整数a、b,所有ax+by(x、y为整数)中的最小正值恰为gcd(a,b)。这给出贝祖等式gcd(a,b)=ax+by,并把“公共因子”连接到可构造的线性组合。
独立卡片:最大公约数是最小正整数组合。
原书依据 · 1 处
互素等于最大公约数为一
两个整数互素是指它们只有公共正因子1,即gcd(a,b)=1;
互素不要求每个数本身都是素数,例如8与15互素。
这个条件决定某些模方程是否可约去乘子。
独立卡片:互素等于最大公约数为一。
原书依据 · 1 处
乘积互素要求两个因子均互素
对任意整数a、b、p,gcd(ab,p)=1当且仅当gcd(a,p)=1且gcd(b,p)=1。一个因子若与p有公共因子,乘积也不会与p互素;反向可由贝祖线性组合证明。
独立卡片:乘积互素要求两个因子均互素。
原书依据 · 1 处
素数整除乘积必整除某因子
若素数p整除ab,则p必整除a或b。
素性是关键前提;一般合数不满足,如6整除2×3却既不整除2也不整除3。
这条性质支撑素因数分解的唯一性。
独立卡片:素数整除乘积必整除某因子。
原书依据 · 1 处
原书依据 · 1 处
取余不改变最大公约数
对非负整数a与正整数b,有gcd(a,b)=gcd(b,a mod b)。因为a mod b=a−⌊a/b⌋b,两组数生成相同的公共因子;这条递推式是欧几里得算法的正确性核心。
独立卡片:取余不改变最大公约数。
原书依据 · 1 处
欧几里得算法反复取余求公因数
欧几里得算法在b≠0时把(a,b)换成(b,a mod b),在b=0时返回a。第二参数每次严格减小且非负,故必终止;最大公约数递推式保证每一步保留答案。
独立卡片:欧几里得算法反复取余求公因数。
原书依据 · 1 处
相邻斐波那契数使辗转相除最慢
欧几里得算法递归次数随较小输入b的位数线性增长;相邻斐波那契数恰达到文中的递归次数上界。
对β位输入,书中由每次算术O(β²)得O(β³)位操作上界,另提示可改进。
独立卡片:相邻斐波那契数使辗转相除最慢。
原书依据 · 1 处
扩展欧几里得回传贝祖系数
扩展欧几里得算法除求d=gcd(a,b),还回传x、y使d=ax+by。
若递归子问题给出d=bx′+(a mod b)y′,用a mod b=a−⌊a/b⌋b回代,得到x=y′、y=x′−⌊a/b⌋y′。
独立卡片:扩展欧几里得回传贝祖系数。
原书依据 · 1 处
群要求封闭单位元结合律与逆元
群由集合和二元运算构成,运算须封闭、满足结合律,且存在单位元与每个元素的逆元;
若还满足交换律,则是阿贝尔群。
检查模乘法能否构成群时,最容易漏掉并非每个剩余类都有逆元。
独立卡片:群要求封闭单位元结合律与逆元。
原书依据 · 1 处
模加法在全部剩余类上成群
模n的所有剩余类在加法下构成n元素的有限阿贝尔群。零类是单位元,[a]的加法逆元是[−a];代表元可以先正常相加,再对n取余,因为同余类的和不依赖代表元选择。
独立卡片:模加法在全部剩余类上成群。
原书依据 · 1 处
模乘法只在与模互素的类成群
模n乘法的群只包含与n互素的剩余类,才保证每个元素有乘法逆元;
全体剩余类一般不构成乘法群。
判断能否“除以a”,先检查gcd(a,n)=1。
独立卡片:模乘法只在与模互素的类成群。
原书依据 · 1 处
扩展欧几里得可求模逆元
若gcd(a,n)=1,扩展欧几里得给出整数x、y满足ax+ny=1,于是ax≡1(mod n),x取模n就是a的乘法逆元。
若最大公约数不为1,这种逆元不存在;模除法只能在可逆元素上做。
独立卡片:扩展欧几里得可求模逆元。
原书依据 · 1 处
欧拉函数计数可逆剩余类
欧拉函数φ(n)是0到n−1中与n互素的整数个数,也就是模n乘法群的大小。
若p遍历n的不同素因子,则φ(n)=n∏(1−1/p);当n为素数时φ(n)=n−1。
独立卡片:欧拉函数计数可逆剩余类。
原书依据 · 1 处
子群规模必须整除原群规模
有限群的子群在原运算下仍成群,其元素个数必整除原群元素个数。
这是拉格朗日定理;若子群是真子群,大小至多是原群的一半,能为随机化素性测试等概率界提供结构约束。
独立卡片:子群规模必须整除原群规模。
原书依据 · 1 处
单个元素生成循环子群
在有限群中反复对元素a施加群运算,得到的不同元素组成由a生成的子群。这个集合非空且对运算封闭;a的阶是第一次回到单位元的最小正次数,不一定等于整个群的大小。
独立卡片:单个元素生成循环子群。
原书依据 · 1 处
元素的阶等于生成子群的大小
有限群元素a的阶是运算若干次首次得到单位元的正整数t。生成序列的前t项互异,此后以t为周期重复,因此ord(a)=|⟨a⟩|;由拉格朗日定理,t还整除群的大小。
独立卡片:元素的阶等于生成子群的大小。
原书依据 · 1 处
模线性方程可解条件是公因数整除
对a、n为正整数的ax≡b(mod n),设d=gcd(a,n)。
a在模n加法群中生成的剩余类恰是d的倍数,因此方程有解当且仅当d整除b;不能在不互素时贸然把a约掉。
独立卡片:模线性方程可解条件是公因数整除。
原书依据 · 1 处
模线性方程有解时恰有公因数个解
若ax≡b(mod n)有解,且d=gcd(a,n),则在模n下恰有d个不同解;若d不整除b则一个也没有。
原因是序列ax mod n的周期为n/d,在n个候选x中重复d次。
独立卡片:模线性方程有解时恰有公因数个解。
原书依据 · 1 处
贝祖系数构造模方程初始解
扩展欧几里得给出d=gcd(a,n)=ax′+ny′。若d整除b,则x₀=x′(b/d) mod n满足ax₀≡b(mod n);先检查整除条件,再用同一组贝祖系数构造一个解。
独立卡片:贝祖系数构造模方程初始解。
原书依据 · 1 处
模方程全部解按固定步长枚举
已知ax≡b(mod n)的一个解x₀和d=gcd(a,n)后,全部d个不同解为xᵢ=x₀+i(n/d) mod n,i从0到d−1。
求解器先算最大公约数和一个解,再按此步长枚举;输出d个解本身需至少d次操作。
独立卡片:模方程全部解按固定步长枚举。
原书依据 · 1 处
中国剩余定理拆分互素模运算
当n是两两互素模数nᵢ的乘积时,模n的一个剩余类与各模nᵢ的余数组成的元组一一对应。加法和乘法可在每个坐标独立完成;互素条件使拆分与重建都唯一。
独立卡片:中国剩余定理拆分互素模运算。
原书依据 · 1 处
中国剩余定理用基元素重建
设mᵢ=n/nᵢ,取cᵢ=mᵢ·(mᵢ⁻¹ mod nᵢ)。cᵢ在模nᵢ下为1、在其他模数下为0,因此给定余数aᵢ时,x=Σaᵢcᵢ mod n就是同时满足各同余式的唯一解。
独立卡片:中国剩余定理用基元素重建。
原书依据 · 1 处
欧拉定理推广费马小定理
若n>1且gcd(a,n)=1,则a^φ(n)≡1(mod n)。
当n为素数p时φ(p)=p−1,得到a^{p−1}≡1(mod p),前提是p不整除a;另对所有整数a有a^p≡a(mod p)。
独立卡片:欧拉定理推广费马小定理。
原书依据 · 1 处
本原根生成全部可逆剩余类
模n的本原根g是其幂能遍历全部与n互素剩余类的元素;存在这种g时,模n乘法群为循环群。
一个普通可逆元素可能只生成真子群,不能仅因它有逆就称本原根。
独立卡片:本原根生成全部可逆剩余类。
原书依据 · 1 处
离散对数是模幂运算的指数
给定模n本原根g及可逆剩余类a,满足g^z≡a(mod n)的指数z称a以g为底的离散对数。指数只需按φ(n)取模区分;定义依赖g确实生成整个可逆剩余类群。
独立卡片:离散对数是模幂运算的指数。
原书依据 · 1 处
非平凡平方根证明模数合数
若x²≡1(mod n),而x既不等于1也不等于−1(mod n),则x是1的非平凡平方根,足以证明n为合数。
此判据是素性检测的合数证据;没有找到这种根不等于已证明n为素数。
独立卡片:非平凡平方根证明模数合数。
原书依据 · 1 处
重复平方法递归减半求模幂
在模数n≥2、指数b≥0时,
- 偶数指数先求a^{b/2}再平方取模;
- 奇数指数先降为b−1再乘a取模;
- b=0返回1。
每一步都在模n下运算,避免先构造巨大的a^b;n=1时基例需改为1 mod n。
独立卡片:重复平方法递归减半求模幂。
原书依据 · 1 处
模幂复杂度取决于指数位数
书中递归模幂对β位指数进行O(β)次算术操作;若每次β位乘除按朴素方法计O(β²)位操作,总上界为O(β³)。
复杂度应按输入位数衡量,不能把大整数乘法视为常数。
独立卡片:模幂复杂度取决于指数位数。
原书依据 · 1 处
公私钥互逆使加解密成立
公钥函数与私钥函数在允许消息集合上互为逆映射。
发送者用接收者公钥加密,只有掌握对应私钥的接收者才能按此模型解密;保密性还取决于旁人无法实际求得私钥。
独立卡片:公私钥互逆使加解密成立。
原书依据 · 1 处
公钥加密使用接收者公钥
Bob发送给Alice时,用Alice公钥计算密文C=P_A(M),Alice再用私钥恢复S_A©=M。
发送者自己的公钥不能替代接收者公钥,否则目标接收者无法用自己的私钥解开。
独立卡片:公钥加密使用接收者公钥。
原书依据 · 1 处
数字签名用私钥生成公钥验
Alice用私钥对消息M生成签名σ=S_A(M),收件人用她的公钥核验P_A(σ)=M。
签名验证绑定发送者身份与消息内容;此处是书中的原始置换模型,后文还给出先哈希再签名的做法。
独立卡片:数字签名用私钥生成公钥验。
原书依据 · 1 处
原书依据 · 1 处
RSA密钥来自两个素数与逆元
RSA选不同大素数p、q,令n=pq,取与φ(n)=(p−1)(q−1)互素的e,再求d≡e⁻¹ mod φ(n)。
公开(e,n),保密(d,n)及用于求d的因子;公钥作M^e mod n,私钥作C^d mod n。
独立卡片:RSA密钥来自两个素数与逆元。
原书依据 · 1 处
RSA证明覆盖非互素消息
RSA取不同素数p、q,令n=pq,并选择e、d满足ed≡1 (mod φ(n))。要证明任意消息M都能由指数ed还原,分别考察模p和模q。
以模p为例:若p不整除M,由费马小定理和p−1整除φ(n),可得Mᵉᵈ≡M (mod p);若p整除M,则两边本来都同余0,不需要费马小定理。模q同理。最后由中国剩余定理,两个模下都相等推出Mᵉᵈ≡M (mod pq),所以证明也覆盖与n不互素的消息。
独立卡片:RSA证明覆盖非互素消息。
原书依据 · 1 处
分解RSA模数可反推出私钥
若能分解公开模数n得到p、q,就可算φ(n)并从公开指数e求出私钥指数d。
因此易分解会导致RSA易破;反向命题“难分解必然保证RSA安全”并未被证明。
独立卡片:分解RSA模数可反推出私钥。
原书依据 · 1 处
混合加密只用RSA封装短密钥
长消息先用随机短对称密钥K加密为C,再用接收者RSA公钥加密K并发送两者。
接收者用RSA私钥恢复K,再以K解密C;RSA处理短密钥,长数据交给更快的对称加密。
独立卡片:混合加密只用RSA封装短密钥。
原书依据 · 1 处
哈希后签名缩短公钥运算输入
先算消息的抗碰撞哈希h(M),再用私钥签名短摘要;验证者重算h(M),用公钥检验签名对应摘要。
消息改变而保持签名有效需找到相同摘要,故安全论证依赖所用哈希的抗碰撞性。
独立卡片:哈希后签名缩短公钥运算输入。
原书依据 · 1 处
证书用可信方签名绑定公钥
可信机构对“Alice的公钥是P_A”签名形成证书。
收件人验证机构签名后,才有依据把随消息给出的公钥归属于Alice,再用该公钥验Alice签名。
独立卡片:证书用可信方签名绑定公钥。
原书依据 · 1 处
大素数随机试探期望对数次
素数定理给π(n)≈n/ln n。
随机选接近n的整数,命中素数的概率约为1/ln n,几何分布下期望约试ln n次;若只试奇数,约可减半,但每次仍须做素性判定。
独立卡片:大素数随机试探期望对数次。
原书依据 · 1 处
试除法按输入位数呈指数增长
判断n是否为素数可试除至√n;若n有β位,√n的量级为2^{β/2},因此即使暂把每次除法算常数,最坏试除次数也随位数指数增长。
找到因子时还能给出一个具体素因子线索。
独立卡片:试除法按输入位数呈指数增长。
原书依据 · 1 处
费马伪素数检测只给单侧保证
对奇数n检验2^{n−1} mod n:
- 结果不为1即可断定n合数;
- 等于1只说明n通过基数2的费马检验,仍可能是伪素数。
不能把程序返回的PRIME当成确定性素数证明。
独立卡片:费马伪素数检测只给单侧保证。
原书依据 · 1 处
卡迈克尔数能骗过多底费马检验
卡迈克尔数虽为合数,却对所有与其互素的底数a满足a^{n−1}≡1 mod n。
多换几个底数做单纯费马检验仍无法消除全部误判;非互素底数虽可揭示合数,却可能难找到。
独立卡片:卡迈克尔数能骗过多底费马检验。
原书依据 · 1 处
米勒拉宾随机抽底并查平方根
米勒拉宾对多个随机底数运行证人检测,除检查a^{n−1}是否为1,还在连平方过程中寻找1的非平凡平方根。
任一检查发现证据即判合数;多次没有发现证据只提高素数判断置信度。
独立卡片:米勒拉宾随机抽底并查平方根。
原书依据 · 1 处
证人检测分解奇数部分再连平方
将奇数n的n−1写为2^t·u(u为奇数),先算x₀=a^u mod n,再连平方t次得到x_t=a^{n−1} mod n。
每次由非±1值平方得到1都提供合数证据。
独立卡片:证人检测分解奇数部分再连平方。
原书依据 · 1 处
证人返回真必能证明合数
证人过程返回真有两种依据:
- 末值a^{n−1} mod n不为1,违反素数的费马性质;
- 或中途发现模n下1的非平凡平方根。
两者都证明n合数,所以合数判定没有假阳性。
独立卡片:证人返回真必能证明合数。
原书依据 · 1 处
米勒拉宾找证据失败仍可能合数
米勒拉宾对选中的每个底数寻找合数证据;一旦找到即可确定为合数。
连续s次未找到只能作概率性素数判断,合数仍可能因抽到的底数都不是证人而漏检。
独立卡片:米勒拉宾找证据失败仍可能合数。
原书依据 · 1 处
连平方序列四种终态区分证人
连平方序列若末值不是1,或最后一个非1值既不是−1也不是1,则底数是合数证人;
全为1或最后一个非1值为−1,则该底数不提供合数证据。
后一种结果不能单独证明n为素数。
独立卡片:连平方序列四种终态区分证人。
原书依据 · 1 处
奇合数至少半数底数为证人
对奇合数n,书中定理指出合数证人至少有(n−1)/2个。
“证人”是能让算法发现费马同余失败或1的非平凡平方根的底数;非证人则暂时没暴露合性。任何非证人都必须与 n 互素,因而落在模 n 可逆群中。
证明再分两种情形:非卡迈克尔数可用满足 x^(n−1)≡1 (mod n) 的可逆元素组成真子群;卡迈克尔情形则根据连平方序列中出现 −1 的最晚位置构造另一个真子群,并用中国剩余定理找到不在其中的可逆元素。两种情形的非证人都被包含在真子群内;有限群的真子群最多占一半,故证人至少占一半。
独立卡片:奇合数至少半数底数为证人。
原书依据 · 1 处
CRT构造真子群外证人
在定理31.39的卡迈克尔分支,写 n−1=2^t·u,其中 u 为奇数。若 v 与 n 互素,且 v^(2^j·u)≡−1 (mod n),就称 (v,j) 可接受。选所有可接受对中最大的 j,并定义
B={x∈ℤ_n* : x^(2^j·u)≡±1 (mod n)}
非证人的连平方序列要么全为1,要么至迟在第j位出现−1,所以全部非证人都在B中。再取非平凡互素分解n=n₁·n₂,其中n₁,n₂>1,用CRT构造w≡v (mod n₁)、w≡1 (mod n₂)。于是w^(2ʲ·u)在两个模下分别为−1与1;因两模数都大于1,这两个剩余类不同,不可能在模n下等于统一的±1,故w∉B。因而B是包含所有非证人的真子群,规模最多占ℤₙ*的一半。
独立卡片:CRT构造真子群外证人。
原书依据 · 1 处
米勒拉宾误判上界随轮数减半
奇合数至少一半底数是合数证人。
独立随机抽取s轮都未命中证人的概率至多2^{−s};素数不会被误判为合数。
因此“通过测试”是带误差界的概率结论,合数证据则是确定结论。
独立卡片:米勒拉宾误判上界随轮数减半。
原书依据 · 1 处
误判率不等于后验素数概率
给定合数时米勒拉宾误报素数的概率上界是2^{−s};
但随机候选通过测试后为素数的概率还依赖候选本来为素数的比例。
需用贝叶斯公式结合素数密度计算后验,不能把前一个误判率直接当后验错误率。
补充教学演示:假设候选中素数先验只有1%,检验不会拒绝素数,但合数以1/1024的概率通过。则通过者为合数的后验上界为(0.99/1024)÷(0.01+0.99/1024)≈8.8%,而不是1/1024≈0.098%。
独立卡片:误判率不等于后验素数概率。
原书依据 · 1 处
二进制最大公约数避开取余
二进制GCD利用减法、奇偶测试和折半替代反复求余;偶偶可同时折半并提出公因子2,奇偶可把偶数折半,奇奇可通过差值缩小问题。
原书在习题中要求证明这些恒等式并设计完整算法,此处只保留方法框架。
独立卡片:二进制最大公约数避开取余。
原书依据 · 1 处
二次剩余表示模素数平方有解
对奇素数p,若存在x使x²≡a(mod p),就称a为模p的二次剩余。它问的是某个剩余类能否由平方得到,而不是普通整数平方根是否存在;后续习题要求证明数量与求根方法。
独立卡片:二次剩余表示模素数平方有解。
原书依据 · 1 处
勒让德符号区分平方剩余类
对奇素数p及非零剩余类a,勒让德符号用1表示a是二次剩余、用−1表示不是;它把“是否能开模平方根”压缩为一个分类值。
原书在习题中定义该符号,后续判别式仍是待证明任务。
独立卡片:勒让德符号区分平方剩余类。
原书依据 · 1 处
AKS实现确定性多项式素性判定
2002年的AKS算法表明素性判定存在确定性多项式时间方法,因此随机化并非取得多项式时间的必要条件。
是否适合实际应用还要比较常数与实现成本,不能把复杂度类别直接等同于更快。
独立卡片:AKS实现确定性多项式素性判定。
原书依据 · 1 处
课本RSA置换模型只是基础形式
本章用公私钥互逆的基础形式解释RSA与签名,章末明确现代实现对这些技术作了重要改进。
学习时应把此模型用于理解数论机制,不把它直接当作完整的现实加密或签名部署方案。
独立卡片:课本RSA置换模型只是基础形式。
原书依据 · 1 处
第32章 字符串匹配
字符串匹配寻找模式在文本中的出现位置。朴素方法逐个对齐比较,Rabin–Karp用滚动指纹筛选候选,自动机和KMP则保存已经比较出的前缀信息以减少重复工作。指纹可能碰撞,前缀回退必须保留正确的不匹配信息;预处理和扫描之间的代价分工是比较这些方法的关键。
本节在全书中的作用:以“找出文本中模式的全部有效位移”为共同问题,比较逐位尝试、哈希、自动机和前缀函数的取舍,再用后缀数组展示支持更多字符串查询的预处理结构。
展开顺序:先界定有效位移及预处理与扫描的成本,说明朴素算法为何在重复字符上反复比较;Rabin–Karp 用模数下的滚动指纹筛选候选,但命中须逐字符验真,期望界依赖误命中假设。有限自动机把“已读文本后缀中最长的模式前缀”作为状态,以全转移表换取逐字符常数时间;KMP 仅存模式的真前后缀长度,沿边界链在失配时回退,并在命中后继续报告重叠出现。最后按字典序排列文本后缀,借连续区间查询出现位置、借相邻后缀的 LCP 求最长重复片段;倍增秩与计数排序构造后缀数组,文本相邻后缀的公共前缀下界让 LCP 可线性计算。章末问题给出重复因子、线性后缀排序的递归框架及 BWT 的末列与逆变换,未把题目要求的证明冒充正文已证结论。
# 第32章 字符串匹配
## 匹配任务与信息复用
- 全部有效位移
- 朴素逐位比较
- 复用已知匹配信息
## 滚动指纹
- Rabin Karp滚动指纹
- 模哈希筛选后验真
## 自动机与前缀函数
- 有限自动机
- 最长匹配前缀状态与转移表
- KMP前缀函数
- 边界链回退与重叠匹配
## 后缀表示与延伸
- 后缀数组与LCP
- 出现区间与最长重复片段
- 倍增秩排序与线性LCP
- 章末扩展问题
- 重复因子与线性后缀排序框架
- BWT末列及逆变换
有效位移定位模式全部出现
长度m的模式P在长度n的文本T中,位移s有效当且仅当T[s+1:s+m]=P[1:m],其中0≤s≤n−m。
字符串匹配要找出所有有效位移,不能找到第一次就结束;位移s对应文本起点s+1。
独立卡片:有效位移定位模式全部出现。
原书依据 · 1 处
匹配成本分预处理与扫描两段
多数匹配算法先根据模式建立辅助信息,再扫描文本找有效位移;总时间是预处理与匹配时间之和。
比较算法时应同时列出两段成本,尤其在同一模式要匹配多份文本时,预处理可以复用。
独立卡片:匹配成本分预处理与扫描两段。
原书依据 · 1 处
前缀与后缀包含空串和整串
若x=wy,则w是x的前缀;若x=yw,则w是x的后缀。
空串及x本身都可算前后缀,只有长度严格小于x时才称真前缀或真后缀;这些定义给后续匹配失败后的重用关系提供语言。
独立卡片:前缀与后缀包含空串和整串。
原书依据 · 1 处
重叠后缀按长度形成包含关系
若x与y都是同一字符串z的后缀,则较短者也是较长者的后缀;长度相同便相等。
例如z=abc、x=c、y=bc时,c是bc的后缀。
不能反写为“x和y都以z结尾”;该引理支撑后续前缀函数推导。
独立卡片:重叠后缀按长度形成包含关系。
原书依据 · 1 处
朴素匹配逐位移比较整个模式
朴素字符串匹配枚举s=0到n−m,在每个位移比较模式P与对应文本片段;相等就报告该位移。
它不预处理模式,也不跨位移保存已比较的信息。
独立卡片:朴素匹配逐位移比较整个模式。
原书依据 · 1 处
重复字符使朴素匹配达到最坏界
每个候选位移最多比较m个字符,故朴素匹配最坏为Θ((n−m+1)m)。
例如文本和模式都由同一字符组成时,每个位移都要完成全部m次比较;m约为n/2时达到二次量级。
独立卡片:重复字符使朴素匹配达到最坏界。
原书依据 · 1 处
跨位移复用失配信息可少比较
朴素算法在每个新位移重新比较,忽略了先前已知的文本字符。
若模式已有匹配部分或某位已失配,这些信息可能排除后续若干位移;KMP等方法正是利用这种约束减少重复工作。
独立卡片:跨位移复用失配信息可少比较。
原书依据 · 1 处
拉宾卡普把等长片段映成数
把字母表字符视作d进制数字,长度m的模式及文本窗口都可映成一个数;数值相同等价于窗口字符逐位相同。这为用窗口数值比较替代直接逐字比较铺路,但大数成本需另行处理。
独立卡片:拉宾卡普把等长片段映成数。
原书依据 · 1 处
滚动更新移出首位移入末位
窗口从s移到s+1时,先从数值t_s中减去最高位字符的权值,再乘进制d并加新末位字符。
预先算好d^{m−1}后,每次滑动只需常数次算术操作;若数值超出机器字,仍要另计大整数成本。
独立卡片:滚动更新移出首位移入末位。
原书依据 · 1 处
模数让窗口指纹保持机器字宽
长模式的整数表示可能过大,拉宾卡普改为对模式与每个窗口的数值取模q,并用模运算滚动更新。
适当选q可使d·q装入机器字;模指纹相等只是候选,真实字符核验与误命中留待下一单元。
独立卡片:模数让窗口指纹保持机器字宽。
原书依据 · 1 处
原书依据 · 1 处
拉宾卡普滚动保持窗口指纹不变式
每次进入位移s的检查时,滚动值t_s必须等于当前长度m文本窗口的数值模q。预处理算初始指纹和最高位权值;每次滑动按递推式更新,保证下轮哈希筛选的是正确窗口。
独立卡片:拉宾卡普滚动保持窗口指纹不变式。
原书依据 · 1 处
拉宾卡普仍有逐位移验真最坏界
拉宾卡普虽然用指纹快速排除大多数位移,但所有有效位移都需逐字符确认。
若文本与模式均为重复的同一字符,每个位置都命中且需比较m字符,最坏时间仍为Θ((n−m+1)m)。
独立卡片:拉宾卡普仍有逐位移验真最坏界。
原书依据 · 1 处
哈希均匀假设决定期望误命中
若把模q指纹近似视为均匀随机映射,一个无效位移与模式同余的概率约1/q,约n个窗口期望产生O(n/q)次误命中。
该期望界依赖哈希分布假设与有效位移数,不是对任意输入的确定保证。
独立卡片:哈希均匀假设决定期望误命中。
原书依据 · 1 处
有限自动机由五元组定义
有限自动机由状态集合Q、初态q₀、接受态集合A、输入字母表Σ和转移函数δ组成。δ根据当前状态与下一个字符给出新状态;状态数有限,因而可把已经读过的前缀压缩为当前状态。
独立卡片:有限自动机由五元组定义。
原书依据 · 1 处
接受态判定已读前缀是否匹配
自动机从q₀开始逐字符转移;读完前缀w后的状态记为φ(w),φ(ε)=q₀且φ(wa)=δ(φ(w),a)。当φ(w)属于接受态集合A时,已读的w被接受;每读一字即可判断当前前缀。
独立卡片:接受态判定已读前缀是否匹配。
原书依据 · 1 处
后缀函数量出模式最长前缀
针对固定模式P,后缀函数σ(x)是P的前缀中同时为x后缀的最长长度,取值0到m。
空串保证它总有定义;σ(x)=m当且仅当x以完整模式结尾。
这个长度可直接作为匹配自动机的状态。
独立卡片:后缀函数量出模式最长前缀。
原书依据 · 1 处
自动机状态记录最长匹配前缀
模式匹配自动机以0到m为状态,0为初态、m为唯一接受态。
读过文本前缀后,状态q表示模式P最长前缀与已读文本后缀相同的长度;到达m意味着完整模式刚在当前位置结束。
独立卡片:自动机状态记录最长匹配前缀。
原书依据 · 1 处
转移函数按追加字符后的后缀求值
处于状态q并读到字符a时,转移到δ(q,a)=σ(P[:q]a):先把当前已匹配的模式前缀后接a,再找仍是模式前缀的最长后缀。这能在继续匹配与失配回退之间选出正确状态。
独立卡片:转移函数按追加字符后的后缀求值。
原书依据 · 1 处
失配边由模式自身预处理得到
若新字符等于模式下一字符,自动机沿主干从q到q+1;
失配时它无需重扫文本,而转向当前文本末尾还能保留的最长模式前缀。
预处理时让模式与自身比较,提前建好这些回退转移。
独立卡片:失配边由模式自身预处理得到。
原书依据 · 1 处
自动机扫描每字符只转移一次
模式匹配自动机预先备好转移函数后,扫描文本时每读一个字符只查一次转移并检查是否进入接受态。
若转移查找为常数时间,匹配阶段是Θ(n);预处理建表时间须另外计算。
独立卡片:自动机扫描每字符只转移一次。
原书依据 · 1 处
追加一字符最多增长一位匹配前缀
后缀函数满足σ(xa)≤σ(x)+1:若追加a后有长度r的模式前缀匹配文本后缀,删去末字符后,其前r−1字符已经匹配x的后缀。这个上界限制了下一状态的候选范围。
独立卡片:追加一字符最多增长一位匹配前缀。
原书依据 · 1 处
后缀递推只需保留当前匹配前缀
设P是固定模式,σ(x)表示“既是x的后缀、又是P的前缀”的最长字符串长度,P[:q]表示P的前q个字符。若q=σ(x),对新字符a有
σ(xa)=σ(P[:q]a)。
原因是任何能在xa末尾继续成立的模式前缀,长度都不超过q+1;判断它时只需看x末尾已经匹配的P[:q]和新字符a。于是已经读过的长文本x无需保留全文,只须保存整数状态q,这正是有限自动机能在线跟踪匹配的关键。
独立卡片:后缀递推只需保留当前匹配前缀。
原书依据 · 1 处
转移建表枚举状态与字符
直接构造模式匹配自动机时,对每个状态q和输入字符a,从min(m,q+1)向下找最大k,使P[:k]成为P[:q]a的后缀,并置δ(q,a)=k。空串总是后缀,故搜索必会停止。
独立卡片:转移建表枚举状态与字符。
原书依据 · 1 处
全量转移表可预处理到字母表线性
按直接枚举方法计算转移表要O(m³|Σ|),因为要枚举状态和字符、递减候选长度并逐字符检查后缀。
利用预先算出的模式信息可将建表改进到O(m|Σ|),随后扫描文本仍为Θ(n)。
独立卡片:全量转移表可预处理到字母表线性。
原书依据 · 1 处
KMP用前缀数组替代全转移表
KMP只预处理模式的前缀函数π,需Θ(m)时间与m个数组项;失配时按π在扫描过程中摊还地求下一状态。
相较显式保存Θ(m|Σ|)个转移项,预处理不再随字母表大小成倍增长。
独立卡片:KMP用前缀数组替代全转移表。
原书依据 · 1 处
前缀函数记录最长真前后缀
π[q]是模式前q个字符的最长真后缀长度,要求这个后缀同时是模式前缀,且长度严格小于q。
它只描述模式自身的重叠结构,不依赖待搜索文本。
独立卡片:前缀函数记录最长真前后缀。
原书依据 · 1 处
前缀函数给出下一候选位移
已匹配q字符后失配,令k=π[q],下一可能有效的位移是s′=s+(q−k)。此前k字符必然与已读文本对齐,无需重比;选最长可复用前缀对应最小安全位移,避免漏匹配。
独立卡片:前缀函数给出下一候选位移。
原书依据 · 1 处
前缀表回退总量被增长量约束
构造π时,匹配长度k每轮最多增长1,总增长不超过m−1;失配循环每次都使k下降且k不为负,所以总下降次数也不超过m−1。
虽有嵌套while,整表仍只需Θ(m)时间。
独立卡片:前缀表回退总量被增长量约束。
原书依据 · 1 处
前缀函数迭代列出全部边界
对模式P,π[q]是P[:q]的最长真边界长度;“边界”指同时是前缀和后缀、但短于整个字符串的部分。从π[q]开始反复取π,直到0,得到的集合π*[q]恰好列出P[:q]的全部真边界长度。
这是因为任一更短边界也是最长边界P[:π[q]]的边界;反过来,最长边界的每个边界也会落在P[:q]的首尾。每次回退因而保留了所有仍可能与已读文本对齐的候选,KMP不必逐一试探每个较短长度。
独立卡片:前缀函数迭代列出全部边界。
原书依据 · 1 处
新边界必由旧边界延长
对模式P,π[q]是P[:q]的最长真边界长度,π[q−1]是从π[q−1]反复回退得到的全部真边界长度(含0)。若π[q]>0,则π[q]−1必在π[q−1]中:把P[:q]两端长度π[q]的相同片段同时删去末字符,就得到P[:q−1]的一个真边界。
因此,P[:q]的每个非空边界都由P[:q−1]的某个旧边界再匹配字符P[q]而来;计算新边界只须在旧边界链中找能延长的候选。
独立卡片:新边界必由旧边界延长。
原书依据 · 1 处
可延长边界决定前缀函数
设P是长度m的模式,π[q]是P[:q]的最长真边界长度,π[q−1]列出P[:q−1]的全部真边界长度并包含0。求q=2..m的π[q]时,从π[q−1]筛出满足P[k+1]=P[q]的可延长边界k,得到集合E(q−1)。
- 若E(q−1)为空,则π[q]=0;
- 否则π[q]=1+max E(q−1)。
候选k延长后形成长度k+1的新边界,取最大者就得到最长边界。还须检查空边界k=0,才能识别P[q]=P[1]时从首字符重新开始的匹配。
独立卡片:可延长边界决定前缀函数。
原书依据 · 1 处
前缀表沿边界链递减搜索
COMPUTE-PREFIX-FUNCTION从前一项π[q−1]出发,失配就令k=π[k],按递减顺序检查所有候选边界。
遇到首个可延长边界置π[q]=k+1;到0后仍不匹配则置0。
独立卡片:前缀表沿边界链递减搜索。
原书依据 · 1 处
KMP失配沿边界链模拟转移
以下按1起始下标记P[1]…P[m];P[:q]表示前q个字符。KMP的状态q表示已读文本的最长后缀恰好等于P[:q]。π[q]是P[:q]的最长真边界长度,沿q、π[q]、π[π[q]]……回退,就按从长到短枚举所有仍可能对齐的边界。
当q、遇到新字符a而P[q+1]≠a时,KMP沿这条边界链回退,找到首个满足P[q′+1]=a的q′,再进入状态q′+1;若连空边界q′=0也不能接,就进入0。若q=m,算法已经报告一次完整匹配,要先令q←π[m],再处理下一个字符,因而不会访问不存在的P[m+1]。整个过程只重用已经确认相等的字符,与显式匹配自动机的转移一致,而不回退文本指针。
独立卡片:KMP失配沿边界链模拟转移。
原书依据 · 1 处
KMP命中后回退继续匹配
找到完整模式后,KMP把已匹配长度q重置为π[m],再处理下一文本字符。
这样既避免读取不存在的P[m+1],也保留模式自身可复用的最长边界,从而继续发现重叠出现。
独立卡片:KMP命中后回退继续匹配。
原书依据 · 1 处
后缀数组按字典序记录起点
长度为n的文本有n个非空后缀。
后缀数组SA按字典序存放这些后缀的起始位置;SA[i]=j表示第i小的后缀是T[j:]。
它用位置数组表达排序结果,不复制每个后缀。
独立卡片:后缀数组按字典序记录起点。
原书依据 · 1 处
最长公共前缀数组比较相邻后缀
LCP[i]记录后缀数组中第i个和前一个后缀的最长公共前缀长度;首项因没有前驱记0。相邻比较把后缀之间的重复信息压缩成数组,供重复子串等查询使用。
独立卡片:最长公共前缀数组比较相邻后缀。
原书依据 · 1 处
模式出现对应后缀数组连续区间
所有以模式P开头的后缀在字典序中连续,因此可先二分找到一个命中,再向两侧扩展得到全部出现位置。
直接比较每次至多读m字符,查找加列举k处的成本为O(m lg n+km)。
独立卡片:模式出现对应后缀数组连续区间。
原书依据 · 1 处
最大公共前缀定位最长重复片段
LCP的最大值给出文本中最长重复子串的长度;在达到最大值的相邻后缀上取同长前缀,就是一个实例。因为任意重复片段都对应至少两个后缀,其共同前缀会在排序后的相邻位置体现。
独立卡片:最大公共前缀定位最长重复片段。
原书依据 · 1 处
后缀排序按倍增长度复用秩
倍增算法先按长度2的片段排序,再把已排序的长度l片段的秩组成左右二元组,排序得到长度至多2l片段的次序。
每轮长度翻倍;当覆盖n个字符时,次序就是后缀次序。
独立卡片:后缀排序按倍增长度复用秩。
原书依据 · 1 处
空后段秩为零使短后缀先行
倍增排序用左右秩比较片段;超过文本末尾的右段视为空串,秩定为0,低于任何非空片段。这样一个后缀恰为另一个的前缀时,较短者仍正确地排在前面。
独立卡片:空后段秩为零使短后缀先行。
原书依据 · 1 处
相同片段在重排后共享秩
MAKE-RANKS遍历已按左右秩排序的片段:相邻二元组相同就赋同一个新秩,不同才递增。新秩表示当前长度片段的字典序等级,可在下一轮用两个整数比较更长片段。
独立卡片:相同片段在重排后共享秩。
原书依据 · 1 处
倍增排序维持片段字典序不变式
后缀数组按字典序列出文本T各后缀的起点。倍增算法为每个起点i保存长度ℓ片段T[i:i+ℓ−1]的秩;越过文本末尾的部分用小于正常字符的哨兵秩处理。
初轮由字符编码得到短片段的秩。若长度ℓ片段的秩已正确,长度2ℓ片段可拆成前、后两个长度ℓ片段,因此用秩对(rank[i], rank[i+ℓ])排序,就得到长度2ℓ片段的正确字典序和新秩。ℓ每轮翻倍;当ℓ≥n时,每个片段已覆盖从其起点到文本末尾,按秩排列的起点就是后缀数组。
独立卡片:倍增排序维持片段字典序不变式。
原书依据 · 1 处
计数排序使后缀倍增每轮线性
倍增法每轮都排序n个左右秩二元组;两个秩都在0到n之间,可先按右秩、再按左秩稳定计数排序。
每轮Θ(n),约lg n轮,建后缀数组总时间Θ(n lg n)。
若改用比较排序,总界为O(n lg² n)。
独立卡片:计数排序使后缀倍增每轮线性。
原书依据 · 1 处
逆后缀数组快速定位排序位置
逆数组rank满足rank[SA[i]]=i。
SA按字典序位置找文本起点,rank则按文本起点找其字典序位置;计算相邻后缀LCP时需要从文本顺序转到排序顺序。
独立卡片:逆后缀数组快速定位排序位置。
原书依据 · 1 处
相邻文本后缀公共前缀至多减一
后缀数组把T的各后缀按字典序排列,LCP[r]记录第r个后缀与其排序前驱的最长公共前缀长度。若T[i−1:]与其排序前驱共有ℓ>1个字符,同时删去两个后缀的首字符,就得到T[i:]与另一个更小后缀至少共有ℓ−1个字符。
这个“另一个后缀”未必紧挨T[i:];但字典序中夹在两个具有同一长度ℓ−1前缀的字符串之间的后缀,也必须具有该前缀。因此T[i:]与它自己的排序前驱的LCP至少为ℓ−1。
独立卡片:相邻文本后缀公共前缀至多减一。
原书依据 · 1 处
计算LCP复用前一文本后缀匹配
按文本起点i递增计算LCP:用rank找到T[i:]的排序前驱,从上轮公共前缀长度减一开始,只比较后续字符。
引理保证这个起点不超过真实LCP;比较结束后写入LCP[rank[i]]。
独立卡片:计算LCP复用前一文本后缀匹配。
原书依据 · 1 处
LCP线性算法用增减量摊还
COMPUTE-LCP中匹配长度l每次循环比较成功只加1,处理下个文本起点前至多减1,并始终小于n。因此成功比较总次数少于2n;两个外层线性循环加上这些比较,使总时间Θ(n)。
独立卡片:LCP线性算法用增减量摊还。
原书依据 · 1 处
重复因子度量字符串整段重复
若字符串x能写成某个字符串y连续拼接r次,就说x具有重复因子r;ρ(x)取可行r的最大值。
它衡量整个x的周期重复程度,不能把“某个局部子串重复”直接算进去。
独立卡片:重复因子度量字符串整段重复。
原书依据 · 1 处
线性后缀排序先处理三分之二起点
线性时间后缀数组方案按起点模3分组:余1、余2的是样本后缀,余0的是非样本后缀。
先排序约三分之二的样本,再借其秩排序余下三分之一,最后合并;递归步骤与线性合并的证明留后续问题。
独立卡片:线性后缀排序先处理三分之二起点。
原书依据 · 1 处
三字符元字符保留样本排序信息
DC3把起点位置模3余1或2的后缀称为样本后缀。对每个样本起点,把连续三个字符(T[i],T[i+1],T[i+2])视为一个元字符;末尾不足三字符时,用编码0且小于正常字符的特殊符号补齐。
把模3余1位置的元字符依次组成P₁,把模3余2位置的元字符依次组成P₂,再拼成P=P₁P₂。若n是3的倍数,原书还在P₁末尾追加全由特殊符号组成的元字符(ØØØ)。这个哨兵保证P₁以含Ø的最小元字符结束,比较P₁中的后缀时不会越过拼接边界、误把P₂开头当作原文本的延续。
先按三个字符的字典序给元字符赋秩,P上的后缀就成为秩序列:比较两个秩序列,等价于每三个字符一组比较原样本后缀。若元字符秩仍有重复,再递归求P的后缀次序,便得到全部样本后缀的次序。
独立卡片:三字符元字符保留样本排序信息。
原书依据 · 1 处
样本后缀递归规模约为三分之二
问题32-2先把样本起点的三字符块编码成秩序列P′。
若秩均不同,直接由首字符秩得到其后缀次序;否则递归排序P′,再映回原文本的样本后缀。
子问题规模约2n/3。
独立卡片:样本后缀递归规模约为三分之二。
原书依据 · 1 处
非样本后缀按首字与样本秩排序
DC3先递归排好起点位置模3余1或2的“样本后缀”,并用r[i]记录样本后缀T[i:]的名次。起点i模3余0的非样本后缀删去首字符后从i+1开始,恰好是样本后缀,所以两个非样本后缀可按二元组(T[i], r[i+1])比较:首字符不同时看T[i],相同时看余下后缀的已知名次。
合并样本与非样本时也只需常数项比较。设j模3余0:
- 若样本起点i模3余1,比较(T[i], r[i+1])与(T[j], r[j+1]);
- 若i模3余2,比较(T[i], T[i+1], r[i+2])与(T[j], T[j+1], r[j+2])。
第二种多比较一个字符,是为了让双方删去两个字符后都落到样本位置(起点模3余1或2)。每次比较都是常数时间,线性归并才成立。
独立卡片:非样本后缀按首字与样本秩排序。
原书依据 · 1 处
伯罗斯惠勒变换取排序旋转末列
BWT先给文本末尾加一个小于原字母表全部字符的唯一终止符,再列出所有循环旋转并按字典序排序。
顺序读取排序结果的最后一列,就得到变换后的字符串。
独立卡片:伯罗斯惠勒变换取排序旋转末列。
原书依据 · 1 处
伯罗斯惠勒变换聚拢相同字符
BWT常把相同字符移到相邻或较近的位置,为后续前移编码、游程编码及霍夫曼编码创造压缩机会。
BWT本身只是可逆重排,压缩率仍取决于后续编码和输入文本。
独立卡片:伯罗斯惠勒变换聚拢相同字符。
原书依据 · 1 处
变换末列的重复字符按次序赋秩
求BWT逆变换时,按字符的字典序给末列每个出现位置唯一秩;同一个字符的后续出现,秩比前一次大1。这保留了重复字符在末列中的相对次序,可对应到排序旋转的首列。
独立卡片:变换末列的重复字符按次序赋秩。
原书依据 · 1 处
逆变换沿末列与秩倒推原文
BWT把“原文加唯一终止符$”的所有循环移位按字典序排列,并保存排序矩阵的末列L;首列F就是L排序后的结果。相同字符在L和F中的出现次序一一对应:若L第r行的字符c是该字符在L中的第k次出现,就转到F中字符c的第k次出现所在行。这一LF转移对应把当前循环移位向前扩展一个字符。
因为$只出现一次,可从L中$所在行开始。每次读取当前行的L字符,再做一次LF转移;反复执行会按从后向前的顺序走过原文的字符。去掉$并逆序,即恢复原文。这里“第k次”是稳定的出现秩,不能只按字符值跳转,否则重复字符会混淆。
独立卡片:逆变换沿末列与秩倒推原文。
原书依据 · 1 处
候选位移计数必须包含端点
长度n文本中搜索长度m模式,合法起点从0到n−m,共n−m+1个。
复杂度写成Θ(n−m+1)而非Θ(n−m),因为m=n时仍须检查唯一一个起点,成本为常数而非0。
独立卡片:候选位移计数必须包含端点。
原书依据 · 1 处
第33章 机器学习算法
机器学习算法从数据中构造用于预测或归类的规则。聚类把相似对象分组,专家预测根据过往损失调整权重,梯度下降沿目标函数的局部变化方向更新参数。它们的任务、反馈和保证各不相同;把目标函数、更新规则和假设分开,才能理解为何某个误差或遗憾界成立。
本节在全书中的作用:用聚类、在线专家预测和梯度下降三个算法案例,说明怎样把学习任务写成可计算的目标、迭代更新及有条件的性能保证;区分监督、无监督、强化和在线学习的任务边界。
展开顺序:先以特征向量和平方欧氏距离刻画聚类,强调特征缩放及最近中心分配;Lloyd 交替更新质心与归属使目标值下降并终止,但所得局部条件不保证全局最优。接着把专家预测建为在线决策,以事后最佳单一专家的错误数作比较,先用完美专家的淘汰法引入对数错误界,再用加权多数对误判专家施加乘性降权,通过总权重势能导出依赖参数的错误界。最后以负梯度迭代求函数低点,说明步长和非凸性带来的局限;在凸性、梯度上界与合适步长等条件下,对迭代点均值给出误差界,并用投影把更新限制在凸可行域。线性方程近似求解与线性回归是后续应用;牛顿法、Hedge、随机梯度下降和平滑性出现在章末问题或注记,未把待证界与有文字歧义的公式当作已核定结论。
# 第33章 机器学习算法
## 学习任务
- 学习任务与可计算目标
## 聚类
- 聚类
- 特征向量与距离
- Lloyd交替分配和质心更新
- 目标下降但仅局部条件
## 专家预测
- 在线专家预测
- 事后最佳专家与遗憾值
- 加权多数乘性降权
- 总权重势能推错误界
## 连续优化与应用
- 梯度下降
- 负梯度更新与步长
- 凸性条件下均值误差界
- 凸集投影
- 线性方程与回归应用
## 延伸线索
- 章末方法与注记
- 牛顿法 Hedge 随机梯度 平滑性
训练假设用于预测新数据
机器学习从训练数据归纳假设,再用假设预测新数据的属性或类别。训练阶段对已知样本寻找规律,预测阶段把规律用于未见样本;只拟合训练集不能说明预测表现。
独立卡片:训练假设用于预测新数据。
原书依据 · 1 处
有监督学习依赖带标签样本
有监督学习的训练样本同时给出输入属性和对应标签,学习算法据此建立从属性到标签的假设,再用于新样本。
垃圾邮件分类中的“垃圾/非垃圾”就是标签。
独立卡片:有监督学习依赖带标签样本。
原书依据 · 1 处
无监督学习从无标签数据找结构
无监督学习的训练数据没有预设标签,算法从样本自身寻找结构;本章的聚类通过寻找群组中心来描述数据分组。
发现的群组不等于事先给定的真实类别。
独立卡片:无监督学习从无标签数据找结构。
原书依据 · 1 处
强化学习借环境反馈更新模型
强化学习中学习者在有状态的环境里采取行动,环境状态受到影响并返回反馈,学习者再更新对环境的模型。
它与静态带标签训练的差别在于行动会改变后续经验。
独立卡片:强化学习借环境反馈更新模型。
原书依据 · 1 处
原书依据 · 1 处
因果推断关注特征影响
有监督任务有时追求解释模型,目标是描述输入特征如何影响标签,而非只提高新样本标签预测准确率。
书中把这称为因果推断;建立这类解释模型需要区别于单纯拟合。
这里的“影响”是因果问题:若主动改变某个特征,标签会怎样变化。仅观察训练数据中某特征与标签相关,或让模型很好地拟合二者,并不能单独排除混杂因素、反向因果等解释,因此也不能仅凭拟合结果断言因果关系。
独立卡片:因果推断关注特征影响。
原书依据 · 1 处
乘性权重压低表现差专家
在线预测可同时参考多个“专家”。
乘性权重法给每位专家正权重,表现差时按比例降低其权重;目标是在未知未来样本的条件下,让累计预测表现接近最佳专家。
独立卡片:乘性权重压低表现差专家。
原书依据 · 1 处
梯度下降调整模型参数
梯度下降沿目标函数的下降方向反复调整参数,寻找局部极小值。
在有标签的学习任务中,下降一步意味着修改假设参数,以改善对训练样本的拟合;局部极小不保证全局最优。
独立卡片:梯度下降调整模型参数。
原书依据 · 1 处
原书依据 · 1 处
平方欧氏距离度量不相似
本章以平方欧氏距离Δ(x,y)=Σₐ(xₐ−yₐ)²度量两个特征向量的不相似度。距离越小越相似;它要求相关属性可比较且取值齐全,是具体建模选择而非聚类的唯一尺度。
独立卡片:平方欧氏距离度量不相似。
原书依据 · 1 处
缩放防止特征尺度主导距离
若不同属性量纲或数值范围差异很大,平方距离会被大尺度属性主导。
聚类前可做最小最大缩放或均值零、方差一的标准化;同尺度相关属性应考虑一致规则。
独立卡片:缩放防止特征尺度主导距离。
原书依据 · 1 处
k聚类把样本分为互斥子集
给定样本集合S,k聚类是把它分成k个互不相交、并集为S的子集;在本书定义下,某些子集可以为空。
若样本属性相同,数学上还可能把S视为多重集。
独立卡片:k聚类把样本分为互斥子集。
原书依据 · 1 处
最近中心归属须稳定处理并列
以k个中心定义聚类时,样本归于距离最近的中心;中心可在样本集之外。
距离并列须保证每个样本只属于一组,且已有最近中心时不要仅因并列就换组,避免无收益的反复迁移。
独立卡片:最近中心归属须稳定处理并列。
原书依据 · 1 处
k均值最小化到最近中心的平方和
k均值的目标是在给定k下选择k个中心,使所有样本到各自最近中心的平方距离之和最小。目标同时取决于中心位置和由最近中心规则诱导的分组;优化的是全体样本成本。
独立卡片:k均值最小化到最近中心的平方和。
原书依据 · 1 处
劳埃德迭代只保证局部条件
劳埃德过程反复更新分组与中心,直到每个点属于最近中心且每组中心取该组均值。
这些条件是全局最优的必要条件,但不足以保证全局最优;结果可能停在局部极小。
独立卡片:劳埃德迭代只保证局部条件。
原书依据 · 1 处
质心唯一最小化组内平方距离
固定一个非空聚类时,每个坐标上的组内平方误差都是关于中心坐标的严格凸二次函数;令导数为零,中心该坐标等于组内均值。因此整组质心是唯一的平方误差最小中心。
独立卡片:质心唯一最小化组内平方距离。
原书依据 · 1 处
固定中心时最近分配最小化成本
中心已固定时,每个样本对目标函数只贡献一次自己的距离平方。逐点选最近中心即可分别最小化各自贡献;任一更远分配都会增加总成本。
并列最近中心可择一。
独立卡片:固定中心时最近分配最小化成本。
原书依据 · 1 处
劳埃德交替分配与更新中心
劳埃德过程
- 先按最近中心分组,
- 再把每组中心更新为该组质心,
- 反复执行直至分组不再变化。
若出现空组,书中约定中心取零向量;并列距离不随意改组。
独立卡片:劳埃德交替分配与更新中心。
原书依据 · 1 处
劳埃德收敛源于严格下降
重算质心不会增大平方误差;只有严格更近才把点换组,所以非末轮的分组变化会严格降低目标值。可能的k分组数量有限,因此不会无限重复,最终停止在局部最优分配。
独立卡片:劳埃德收敛源于严格下降。
原书依据 · 1 处
劳埃德成本随迭代次数线性增长
若执行T轮,每轮把n个d维样本分到k个最近中心需O(dkn),重算质心需O(dn),总计O(Tdkn)。
这个界显式依赖实际迭代次数,不能单凭单轮线性工作就宣称全程线性。
独立卡片:劳埃德成本随迭代次数线性增长。
原书依据 · 1 处
机器学习可表为假设损失优化
先用参数θ定义假设hθ,再以损失f(E,θ)衡量它对训练数据E的拟合不足,最后寻找使损失尽量小的θ。
k均值中参数就是各中心的位置;优化目标可只找到局部最小。
独立卡片:机器学习可表为假设损失优化。
原书依据 · 1 处
正则化用复杂度惩罚约束拟合
训练目标可加入正则项,对过于复杂的假设施加惩罚,以缓解只对训练数据拟合很好的过拟合。
书中仅说明这个设计入口,没有给出具体正则形式或保证。
独立卡片:正则化用复杂度惩罚约束拟合。
原书依据 · 1 处
颜色量化把像素映射到有限色板
向量量化把像素RGB值视为点,以k均值选k种代表色。
每像素存代表色索引,另用色板保存k个24位RGB中心;可减少每像素编码位数,但还原只能得到近似颜色,属于有损压缩。
独立卡片:颜色量化把像素映射到有限色板。
原书依据 · 1 处
在线专家预测只能用过去反馈
第t轮先收集专家对二元事件的预测,学习者据此及过去反馈给出自己的预测;真实结果在预测后才揭示。
算法不能看未来事件,也不能额外使用当前事件的隐藏结果。
独立卡片:在线专家预测只能用过去反馈。
原书依据 · 1 处
遗憾值比较事后最佳单一专家
设学习者总错误数为m,各专家错误数为mᵢ,事后最佳单一专家错误数m*=minᵢmᵢ。
遗憾值定义为m−m*;目标是让它小,即使起初不知道哪位专家最终最好。
独立卡片:遗憾值比较事后最佳单一专家。
原书依据 · 1 处
完美专家使多数淘汰错误至多对数
若n位专家中至少一位始终正确,只保留从未出错者并按其多数票预测。学习者每次预测错误,至少淘汰当前一半专家;完美专家始终留下,因此最多错⌈lg n⌉次。
独立卡片:完美专家使多数淘汰错误至多对数。
原书依据 · 1 处
原书依据 · 1 处
错误专家权重按比例衰减
观察真实结果后,对预测错误的专家把权重乘以1−γ,正确者权重不变,其中0<γ≤1/2。
初始权重都为1;重复出错者影响力逐轮下降,但权重仍为正。
独立卡片:错误专家权重按比例衰减。
原书依据 · 1 处
总权重势能受错误轮次压低
令W为所有专家权重之和。
算法若预测错误,错误一侧至少占当前总权重一半,更新后W至多乘1−γ/2;预测正确时W也不会增加。
每位专家权重仍给W一个下界,由此可比较算法与任意专家的错误数。
独立卡片:总权重势能受错误轮次压低。
原书依据 · 1 处
加权多数的错误界对任意前缀成立
共有n位专家,算法连续预测T轮。对任意专家i和任意前T′轮(T′≤T),令m(T′)为加权多数算法犯错次数,mᵢ(T′)为专家i犯错次数。若错误专家的权重每次乘以1−γ,且0<γ≤1/2,则
m(T′) ≤ 2(1+γ)mᵢ(T′) + 2ln(n)/γ。
它不是只在最后一轮成立:任取前缀和任取比较专家都成立。右侧第一项随该专家错误数增长,第二项是从n个专家中竞争付出的代价;γ越大,第二项越小,但第一项系数越大。
独立卡片:加权多数的错误界对任意前缀成立。
原书依据 · 1 处
乘性权重可扩展到实值损失
乘性权重不局限二元预测:结果和预测可为实数,更新因子可随损失变化,也可把权重归一化成专家抽样分布。
具体保证须按新损失与更新规则重新分析,不能直接套二元错误数界。
独立卡片:乘性权重可扩展到实值损失。
原书依据 · 1 处
梯度由各坐标偏导组成
对f:ℝⁿ→ℝ,梯度∇f是由n个偏导数组成的向量。在可微点,它指向函数局部增长最快的方向;负梯度给出局部下降方向,但“局部”结论需要可微等条件。
独立卡片:梯度由各坐标偏导组成。
原书依据 · 1 处
梯度下降沿负梯度迭代
从初始点x⁽⁰⁾开始,每轮在当前点计算∇f,再沿负梯度方向移动得到下一点。
要成为可执行算法,还必须确定步长、停止条件及可接受的解质量;方向正确不等于任意步长都下降。
独立卡片:梯度下降沿负梯度迭代。
原书依据 · 1 处
步长过大会越过低点并升高目标
一维示例中,沿负梯度走小步可降低函数值,过大一步却可能越过谷底使目标升高;
只允许小步下降时,又可能被初始点附近的局部极小值困住而到不了全局极小值。
独立卡片:步长过大会越过低点并升高目标。
原书依据 · 1 处
梯度下降返回迭代点均值
固定步长γ和迭代数T后,每轮按x⁽ᵗ⁺¹⁾=x⁽ᵗ⁾−γ∇f(x⁽ᵗ⁾)更新;此版本返回前T个迭代点的均值,不返回最后一个点。
平均值是后续误差界所分析的输出。
独立卡片:梯度下降返回迭代点均值。
原书依据 · 1 处
凸函数的局部极小也是全局极小
凸性要求任意两点间的函数值不高于端点函数值的线性插值。若某个局部极小仍高于另一个点,沿两点连线取足够近的点就会得到更低值,产生矛盾。
独立卡片:凸函数的局部极小也是全局极小。
原书依据 · 1 处
凸函数在均值处不高于均值函数值
对凸函数,先平均若干输入点再求函数值,不高于先求各点函数值再平均。梯度下降返回的是迭代点均值,因此可以用各轮函数值的平均数控制最终输出。
独立卡片:凸函数在均值处不高于均值函数值。
原书依据 · 1 处
梯度下降的凸优化误差界
若f凸且可微、存在全局最优点x*,初始距离R=∥x⁽⁰⁾−x*∥>0,沿途梯度范数≤L且L>0;
T≥1时取γ=R/(L√T),前T点均值的目标差f(x̄)−f(x*)≤RL/√T。
此界针对平均输出。
独立卡片:梯度下降的凸优化误差界。
原书依据 · 1 处
精度减半需要四倍迭代
由凸优化误差界ε=RL/√T反解,达到目标误差ε需T=R²L²/ε²轮。
R、L固定时,目标误差减半意味着迭代轮数增至四倍;梯度计算成本还需另计。
独立卡片:精度减半需要四倍迭代。
原书依据 · 1 处
约束梯度下降每步投影回可行域
对闭凸可行域K,
- 先从可行点沿负梯度走一步,
- 再把候选点投影到K中距离最近的位置。
投影让下一轮仍满足约束;算法假设初始点也在K内。
独立卡片:约束梯度下降每步投影回可行域。
原书依据 · 1 处
投影不增加到可行点的距离
设K为凸体、a∈K,b是b′到K的欧氏投影,则∥b−a∥²≤∥b′−a∥²。
特别地,把梯度步投影回K不会增加它到任一可行最优点的距离;这只是投影性质,不能单独推出整个算法收敛。
独立卡片:投影不增加到可行点的距离。
原书依据 · 1 处
凸约束下仍保留梯度误差界
设要在凸可行域S内最小化凸函数f,x*是S内最优点;初始点到x*的距离至多R,并假设各次梯度范数至多L。每轮先做普通梯度步x′(t+1)=x(t)−γ∇f(x(t)),再把x′(t+1)投影到S得到x(t+1)。
欧氏投影到凸集不会增大它到任一可行点的距离,所以
‖x(t+1)−x*‖ ≤ ‖x′(t+1)−x*‖。
无约束分析中的距离势能上界因而仍成立。取γ=R/(L√T),并返回T个迭代点的平均值;凸性保证平均值仍在S内,且其目标差至多RL/√T。这个迭代次数界还没有计入每轮求投影的计算成本。
独立卡片:凸约束下仍保留梯度误差界。
原书依据 · 1 处
正半定二次型可近似解线性方程组
对对称正半定A,f(x)=½xᵀAx−bᵀx的梯度为Ax−b。
只有Ax=b可解(b在A的值域内)时,f才有极小点且极小点满足该方程;合适步长的梯度下降可逼近解。
若A=0且b≠0,目标无下界,不能称为近似求解。
独立卡片:正半定二次型可近似解线性方程组。
原书依据 · 1 处
海森矩阵正半定刻画二阶凸性
海森矩阵由目标函数对各坐标的二阶偏导组成。对二阶可微函数,海森矩阵处处正半定是凸性的判据;在线性系统的二次目标中,它就是对称矩阵A。
独立卡片:海森矩阵正半定刻画二阶凸性。
原书依据 · 1 处
线性回归拟合特征到标签
线性回归用权重和偏置把特征向量映射为预测值,再从训练样本学习这些参数。
模型形式f(x)=w₀+Σwⱼxⱼ;用于新样本前,应区分训练拟合与未见样本上的预测质量。
独立卡片:线性回归拟合特征到标签。
原书依据 · 1 处
最小二乘损失由残差平方求和
对样本i,残差是预测值f(x⁽ⁱ⁾)与标签y⁽ⁱ⁾之差;最小二乘把所有残差平方求和,并以权重为变量最小化。
在线性模型下损失是凸函数,但训练损失低不自动保证泛化。
独立卡片:最小二乘损失由残差平方求和。
原书依据 · 1 处
范数球约束限制模型权重
以∥w∥≤B约束线性模型权重,可限制权重整体规模。
投影到该球时,
- 候选w′已在球内就保持不变;
- 超出球时才缩放为(B/∥w′∥)w′。
书中直接缩放公式须加上这个条件。
独立卡片:范数球约束限制模型权重。
原书依据 · 1 处
牛顿法以切线零点更新求根
一维牛顿法在当前点用切线近似函数,并以该切线与横轴的交点作下一点:x⁽ᵗ⁺¹⁾=x⁽ᵗ⁾−f(x⁽ᵗ⁾)/f′(x⁽ᵗ⁾)。
导数不能为零,且局部收敛依赖起点与函数条件。
独立卡片:牛顿法以切线零点更新求根。
原书依据 · 1 处
Hedge按专家权重随机预测
Hedge把专家权重归一化为概率,按此分布抽取专家并采用其预测;错误专家再按损失更新权重。
它和加权多数的确定性投票不同;题目给出的期望错误界是待证明结论,不能当作已推导的保证。
独立卡片:Hedge按专家权重随机预测。
原书依据 · 1 处
随机梯度下降以单样本估计梯度
随机梯度下降逐次读取随机样本,用该样本损失对参数的梯度估计总体梯度,再沿负方向小步更新。
单步成本较低,但轨迹含随机波动;本书该处要求读者自行推导期望误差,未直接给出证明。
独立卡片:随机梯度下降以单样本估计梯度。
原书依据 · 1 处
平滑凸函数有二次上界
β-平滑条件给出函数在x附近的二次上界:f(y)≤f(x)+⟨∇f(x),y−x⟩+(β/2)∥y−x∥²。
它限制局部增长速度,可用于分析更快的梯度下降界;不能和凸性的切线下界混同。
独立卡片:平滑凸函数有二次上界。
原书依据 · 1 处
第34章 NP完全性
P讨论多项式时间可解的判定问题,NP讨论给定证书后能在多项式时间核验的判定问题。归约把一个问题的实例转换为另一个问题,用来传递求解能力或困难性。证明NP完全须分别证明属于NP与NP难,尤其要注意归约方向。P与NP的关系仍是开放问题,困难性分类也不等同于不可计算。
本节在全书中的作用:建立 NP 完全性的形式语言、证书验证和多项式归约框架,再以一条有方向的归约链证明不同组合问题的计算难度。P 与 NP 是否相等仍是开放问题;NP 完全并不等于已证明不存在多项式算法。
展开顺序:从最短路与最长简单路径、欧拉回路与哈密顿回路等对照切入,区分求解和验证、判定版和优化版。形式化输入编码、语言、接受与判定以及证书后,定义 NP、NP 困难和 NP 完全;归约必须在多项式时间内把原问题的 yes 实例恰好映为目标问题的 yes 实例。CIRCUIT-SAT 的通用性通过多项式时间验证器的电路展开给出证明思路;再用每条导线的局部约束得到 SAT,以辅助变量把公式变为 3-CNF-SAT。随后依次用每子句选一个相容文字证明 CLIQUE、用补图转为 VERTEX-COVER、用选择器与部件构造 HAM-CYCLE、用零一边权转为 TSP,并以无进位的位列和松弛数字证明 SUBSET-SUM。每次归约都要核对构造规模、双向正确性和目标问题属于 NP;章末其他问题和注记不自动算作正文已经证明的结果。
# 第34章 NP完全性
## 复杂度与归约框架
- P 与 NP 的判定问题
- 编码 语言与多项式时间
- 证书验证定义 NP
- 归约方向与 NP 完全判定
## 逻辑与图问题归约
- CIRCUIT-SAT 通用验证器展开
- SAT 局部导线约束
- 3-CNF-SAT 辅助变量
- CLIQUE 相容文字
- VERTEX-COVER 补图
- HAM-CYCLE 部件与选择器
## 数值问题与验证条件
- TSP 零一边权
- SUBSET-SUM 无进位位列
- 逐项验证规模 双向等价 NP 成员资格
P类要求多项式时间可解
P类包含存在多项式时间算法可求解的判定问题。
这里的n是输入编码长度,指数k须为常数;“多项式”是复杂度分类,不保证高次多项式在实际规模上足够快。
独立卡片:P类要求多项式时间可解。
原书依据 · 1 处
NP类允许多项式时间验算证书
NP类判定问题的“是”实例有可在输入长度的多项式时间内验证的证书,例如哈密顿环的顶点序列。
能多项式时间求解的问题也能验算,因此P⊆NP;NP不等于“非多项式”。
独立卡片:NP类允许多项式时间验算证书。
原书依据 · 1 处
相近问题可有不同复杂度
书中对比最短路与最长简单路、欧拉回路与哈密顿环、2-CNF与3-CNF可满足性:表面相近不保证复杂度相同。判定问题的约束细节会改变已知复杂度类别,不能只按题目名称类比。
独立卡片:相近问题可有不同复杂度。
原书依据 · 1 处
NP完全兼属NP且至少同样难
NP完全问题既属于NP,又在多项式归约意义下不比NP中任何问题容易。
只要一个NP完全问题有多项式时间算法,就会得到P=NP;目前不能把尚未找到算法等同于证明它不存在。
独立卡片:NP完全兼属NP且至少同样难。
原书依据 · 1 处
优化难度可由判定版本传递
NP完全性直接讨论是非判定。
对最短路优化问题,可问“是否存在不超过k条边的路径”;若优化可在多项式时间求解,就能比较最优值回答判定版。
因此判定版的困难也构成优化版困难的证据。
独立卡片:优化难度可由判定版本传递。
原书依据 · 1 处
多项式归约保持是非答案
把A的任意实例在多项式时间内变为B的实例,并保持“是”当且仅当“是”,即A≤ₚB。
若B易解,则A易解;若已知A为NP难,要证明B至少同样难,归约方向必须是A到B,不能反过来。
独立卡片:多项式归约保持是非答案。
原书依据 · 1 处
电路可满足性提供归约起点
证明新的NP完全问题通常需要一个已知的NP完全起点。
书中以电路可满足性为起点:给定AND、OR、NOT组合电路,问是否有布尔输入使输出为1。其NP完全性证明安排在本章后文。
独立卡片:电路可满足性提供归约起点。
原书依据 · 1 处
抽象问题可表示为实例解关系
抽象问题是实例集合与解集合之间的关系,一例可以对应多个合法解;判定问题则把每个实例映射到0或1。
这样区分有助于把最短路等求解任务改写为可讨论复杂度类别的判定任务。
独立卡片:抽象问题可表示为实例解关系。
原书依据 · 1 处
复杂度输入规模取编码长度
计算机处理的是抽象实例的二进制编码;复杂度分析中的输入规模是编码串长度|i|,不是对象的直观数量。
不同编码会影响长度,因此称某问题属于P时,需明确具体问题及合理编码。
独立卡片:复杂度输入规模取编码长度。
原书依据 · 1 处
多项式算法组合仍为多项式
若两个算法各在多项式时间内运行,且前者输出作为后者输入的长度也受多项式界约束,其顺序组合仍是多项式时间。这种加法、乘法和复合的闭包性使归约链可以保持复杂度界。
独立卡片:多项式算法组合仍为多项式。
原书依据 · 1 处
一元编码会改变多项式判断
- 同一算法若耗时Θ(k),输入k用一元编码时长度为k,耗时对输入长度是线性的;
- 用二进制时长度约为log k,耗时对输入长度可呈指数增长。
谈抽象问题复杂度前须固定合理编码。
独立卡片:一元编码会改变多项式判断。
原书依据 · 1 处
多项式相关编码保持P类归属
两种编码若可相互在多项式时间内转换,就称多项式相关。
若一个编码下的判定问题属于P,先转换再运行原算法仍为多项式时间,因此另一编码下也属于P;单向可转换不足以称两者等价。
独立卡片:多项式相关编码保持P类归属。
原书依据 · 1 处
判定问题可视为是实例语言
字母表是有限符号集,语言是其字符串集合。
对二进制判定问题Q,可把所有答案为“是”的编码串组成语言L={x:Q(x)=1};算法求解问题就转为判断字符串是否属于L。
独立卡片:判定问题可视为是实例语言。
原书依据 · 1 处
Kleene星号允许零次连接
语言L的连接L₁L₂由两个语言中的字符串依次拼接形成。
Kleene星号L*包含零次、一次及任意多次连接的结果,零次对应空串ε;别把空串与空语言Ø混同。
独立卡片:Kleene星号允许零次连接。
原书依据 · 1 处
接受与判定的停机要求不同
- 接受语言时,只要求属于语言的输入得到“是”;非成员输入可以一直运行。
- 判定语言则要求每个输入都停机,成员输出“是”、非成员输出“否”。
因此会在否实例上死循环的接受算法不是判定算法。
独立卡片:接受与判定的停机要求不同。
原书依据 · 1 处
多项式接受可转成多项式判定
若某语言的所有是实例都在至多cnᵏ步内被接受,可模拟该算法至此上界;已接受则输出1,否则输出0。模拟开销仍为多项式,所以P也可表述为可多项式时间接受的语言类。
此论证依赖统一时间界存在。
独立卡片:多项式接受可转成多项式判定。
原书依据 · 1 处
哈密顿环证书是顶点顺序
哈密顿环须经过图中每个顶点恰好一次并闭合。
给出顶点顺序后,验证者可检查它是全体顶点的排列且相邻边与首尾边都存在;验证高效,不意味着可高效找到该顺序。
独立卡片:哈密顿环证书是顶点顺序。
原书依据 · 1 处
验证算法须拒绝所有伪证书
验证器A接收实例x与证书y。
- x属于语言须存在某个y使A(x,y)=1;
- x不属于语言时任何y都不能使A接受。
只检查某张证书格式而允许否实例蒙混过关,就没有正确验证该语言。
独立卡片:验证算法须拒绝所有伪证书。
原书依据 · 1 处
NP证书长度须有多项式界
NP的正式定义要求存在多项式时间验证器,且“是”实例可用长度至多为输入长度多项式的证书得到接受。
验证时间与证书长度两个限制都重要;能多项式时间直接判定的语言可忽略证书,故P⊆NP。
独立卡片:NP证书长度须有多项式界。
原书依据 · 1 处
coNP按补语言属于NP定义
co-NP由补语言定义:语言L属于co-NP,当且仅当L的补语言属于NP。
P对取补封闭,所以P⊆NP∩co-NP;NP是否对取补封闭、NP是否等于co-NP都仍未解决。
独立卡片:coNP按补语言属于NP定义。
原书依据 · 1 处
NP完全性不等于不可解证明
NP完全性表明该问题至少与NP中所有问题一样难,但P与NP是否相等尚未知。没有找到多项式算法是困难性的证据,不能写成已证明的超多项式下界。
独立卡片:NP完全性不等于不可解证明。
原书依据 · 1 处
形式化归约保持成员资格
L₁≤ₚL₂要求存在可在多项式时间计算的函数f,使任意输入x满足x∈L₁当且仅当f(x)∈L₂。
归约必须同时保持“是”和“否”,不能只把正例映到正例;于是L₂∈P可推出L₁∈P。
独立卡片:形式化归约保持成员资格。
原书依据 · 1 处
NP难与NP完全差在自身归属
若NP中每个语言都能多项式归约到L,则L为NP难;再加上L自身属于NP,才称NP完全。
证明新问题NP完全时,两项条件都需核对,只有归约到它不足以说明它有多项式证书验证器。
独立卡片:NP难与NP完全差在自身归属。
原书依据 · 1 处
NP完全问题入P则P等于NP
若L为NP完全且L∈P,任意L′∈NP都能归约到L,再用L的算法便可多项式时间判定L′。结合P⊆NP,得到P=NP。
这是条件命题,不预设当前已经找到该算法。
独立卡片:NP完全问题入P则P等于NP。
原书依据 · 1 处
组合电路的依赖图无环
组合电路由逻辑门和导线组成,门输出可供多个门输入使用;导线只能有一个产生它的门输出。
把门当顶点、依赖当有向边,图必须无环,否则不再是此处讨论的组合电路。
独立卡片:组合电路的依赖图无环。
原书依据 · 1 处
逻辑门以真值表定义输出
- 非门反转一位输入;
- 与门仅在所有输入为1时输出1;
- 或门在任一输入为1时输出1。
真值表列出每种输入对应的输出,这使组合电路每条线的值可按门依赖顺序验证。
独立卡片:逻辑门以真值表定义输出。
原书依据 · 1 处
电路可满足性询问能否输出一
CIRCUIT-SAT把仅含与、或、非门的单输出无环组合电路编码为输入,询问是否存在一组布尔输入使输出为1。
若存在称可满足;这不同于问给定一组输入的输出是多少。
独立卡片:电路可满足性询问能否输出一。
原书依据 · 1 处
电路证书可逐门验证
给每条导线指定布尔值作为证书,验证器逐门检查输出值是否由输入值正确计算,并检查电路总输出为1。
证书长度及检查时间都受电路规模的多项式界约束,因此CIRCUIT-SAT属于NP。
独立卡片:电路证书可逐门验证。
原书依据 · 1 处
枚举赋值不证明指数下界
有k个电路输入时,朴素判定法最多枚举2ᵏ组赋值;这只给出一个指数级算法,不能证明不存在更快算法。
要证电路可满足性NP完全,还需证明每个NP语言可多项式归约到它。
独立卡片:枚举赋值不证明指数下界。
原书依据 · 1 处
验证计算可展开成组合电路
对任意NP语言的多项式验证器A,把每一步配置转移表示为组合电路M,并串接T(n)份。
固定程序与实例x,只让证书y作为输入;电路输出即A(x,y)的接受位。
这是电路可满足性NP难证明的核心构造。
独立卡片:验证计算可展开成组合电路。
原书依据 · 1 处
证书存在当且仅当电路可满足
构造出的电路C满足C(y)=A(x,y)。
- 若x有被验证器接受的证书y,则C可满足;
- 若C有使输出为1的输入y,则A接受该证书。
双向等价才使x∈L与C∈CIRCUIT-SAT一致。
独立卡片:证书存在当且仅当电路可满足。
原书依据 · 1 处
电路规模受验证时间的多项式界
验证器在T(n)=O(nᵏ)步内运行,证书和工作存储均为多项式规模;单步转移电路M的规模也受多项式界约束。
串接T(n)份M后,归约输出电路仍是多项式大小,因而可在多项式时间构造。
独立卡片:电路规模受验证时间的多项式界。
原书依据 · 1 处
已知NP完全问题可作证明起点
要证明目标L为NP完全,
- 可先证明L∈NP,
- 再选已知NP完全的L′,
- 构造L′≤ₚL并证明双向答案保持与多项式构造时间。
由归约传递性,所有NP语言也归约到L;归约方向必须指向目标。
独立卡片:已知NP完全问题可作证明起点。
原书依据 · 1 处
电路可满足性兼具NP与NP难
电路可满足性有多项式证书验证器,故属于NP;任意NP语言的验证计算又可多项式归约为电路,故NP难。
两项合起来才得到NP完全。书中第二项给的是证明梗概,技术细节未完全展开。
独立卡片:电路可满足性兼具NP与NP难。
原书依据 · 1 处
公式可满足性由电路归约证明
SAT问布尔公式是否存在使其值为1的变量赋值。
赋值可多项式时间验算,故SAT∈NP;再把任意电路转成等可满足的公式,得到CIRCUIT-SAT≤ₚSAT,结合已知起点得SAT为NP完全。
独立卡片:公式可满足性由电路归约证明。
原书依据 · 1 处
逐门设变量避免共享子式展开
直接递归展开电路为公式,会因高扇出共享子电路被重复复制而可能指数膨胀。
为每条导线设变量、为每个门写等价约束,并要求输出变量为1,可保持公式规模为多项式且与原电路等可满足。
独立卡片:逐门设变量避免共享子式展开。
原书依据 · 1 处
三合取范式每子句恰有三文字
- 文字是变量或其否定;
- 子句是若干文字的或;
- CNF是子句的与。
书中3-CNF进一步要求每个子句恰含三个不同文字,允许同一变量以正、负两种文字出现。
3-CNF-SAT只接收这类可满足公式的编码。
独立卡片:三合取范式每子句恰有三文字。
原书依据 · 1 处
3CNF归约先给语法树设变量
把原公式解析成一元或二元连接词的树,给每个内部节点输出新设变量;写出节点变量与子表达式等价的局部约束,再与根变量为真合取。
这样保留可满足性,且每个约束只涉及少量变量。
独立卡片:3CNF归约先给语法树设变量。
原书依据 · 1 处
局部约束借真值表转成CNF
每个局部门约束只涉及少数变量,可列出使其为假的赋值;这些假赋值构成其否定的析取范式,再取反并用德摩根律得到等价CNF。
此时子句至多三文字,恰好三文字的补齐步骤留到后续单元。
独立卡片:局部约束借真值表转成CNF。
原书依据 · 1 处
短子句可用辅助变量补到三文字
- 对二文字子句a∨b,用(a∨b∨p)∧(a∨b∨¬p)替代;
- 对单文字a,用p、q的四种正负组合形成四个三文字子句。
无论辅助变量取值如何,合取结果都与原子句等价,并满足书中3-CNF的句长要求。
独立卡片:短子句可用辅助变量补到三文字。
原书依据 · 1 处
三合取范式归约保持多项式规模
- 语法树每个连接词最多引入一个变量和局部约束;
- 每个局部约束涉及至多三变量,真值表最多八行;
- 短子句扩充最多四倍。
因此从SAT到3-CNF-SAT的结果长度和构造时间都受多项式界约束。
独立卡片:三合取范式归约保持多项式规模。
原书依据 · 1 处
团是两两相邻的顶点集合
无向图中的团是一个顶点子集,其中任意两个不同顶点都有边相连,即完全子图。
团大小是顶点数;最大团是优化问题,问是否有大小k的团则是判定问题,二者不能混为一谈。
独立卡片:团是两两相邻的顶点集合。
原书依据 · 1 处
三合取范式归约为团问题
对有k个子句的3-CNF公式,每个文字建一个顶点;只在不同子句且两个文字不互为否定的顶点间连边。
若公式可满足,可从每个子句选一个真文字组成k团;团的每个顶点也可反向构成一致赋值。
独立卡片:三合取范式归约为团问题。
原书依据 · 1 处
受限输出图仍可证明一般团NP难
3-CNF到CLIQUE的归约只产生按子句分组的特殊图,但一般图算法也必须处理这些特殊图,所以足以证明一般CLIQUE的NP难性。
归约要覆盖来源问题的任意实例,不能预先知道其满足赋值。
独立卡片:受限输出图仍可证明一般团NP难。
原书依据 · 1 处
顶点覆盖要覆盖每条边
无向图的顶点覆盖是顶点子集,使每条边至少有一个端点被选中。
最小顶点覆盖是优化问题;给定k问是否存在大小为k的覆盖是判定问题,给出的顶点集合可逐边验算。
独立卡片:顶点覆盖要覆盖每条边。
原书依据 · 1 处
补图把团转换为顶点覆盖
在图G中,k个顶点两两相邻当且仅当其补集在补图Ḡ中覆盖每条边。
因此把CLIQUE实例(G,k)变成VERTEX-COVER实例(Ḡ,|V|−k),可在多项式时间内构造,并保持是非答案。
独立卡片:补图把团转换为顶点覆盖。
原书依据 · 1 处
哈密顿环归约用边构件限制路径
从顶点覆盖归约哈密顿环时,原图每条边(u,v)对应一个12顶点构件Γᵤᵥ,两侧各有一条6顶点链。只有[u,v,1]、[u,v,6]、[v,u,1]、[v,u,6]四个端点能连接构件外部。
因此哈密顿环若从u侧入口进入,只能从u侧出口离开:它可以一次走遍12个顶点,也可以只走u侧6个顶点,稍后再从v侧入口到出口走另外6个。对v侧同理;构件不存在把u侧入口接到v侧出口、同时又用另一条不相交路径覆盖其余顶点的走法。
归约随后把同一原顶点关联的构件入口和出口串起来。选择沿u侧穿过Γᵤᵥ就表示用顶点u覆盖边(u,v),沿v侧则表示用v覆盖;两侧都走表示两个端点都入选。三种允许形态正好编码“选u、选v、两者都选”,并排除一条边两端都不选。
独立卡片:哈密顿环归约用边构件限制路径。
原书依据 · 1 处
顶点覆盖归约的规模界
顶点覆盖到哈密顿环的构造为每条原边配置12个顶点,另加k个选择顶点;内部边、构件间边和选择边也都只有多项式数量。
证明归约时须同时给出规模界与双向正确性,不能只展示图形。
独立卡片:顶点覆盖归约的规模界。
原书依据 · 1 处
覆盖与哈密顿环的双向性
若原图有k点覆盖,可让每个被选顶点对应一条穿过其关联边构件的路径,再用选择顶点连成环;每条边至少被覆盖一次,构件顶点便全被访问。
反过来,环的每条选择路径对应一个原顶点,所有构件被访问保证每条原边有被选端点。
独立卡片:覆盖与哈密顿环的双向性。
原书依据 · 1 处
旅行商问题的两种形式
- 旅行商优化问题在带非负整数费用的完全图上,寻找经过每城一次并回到起点的最低费用环;
- 判定问题给出预算k,问是否存在费用不超过k的环。
费用最小值和是否低于阈值是不同的输出。
独立卡片:旅行商问题的两种形式。
原书依据 · 1 处
哈密顿环归约到旅行商
把无向图补成完全图:原有边费用设0,补加边费用设1,再问是否存在费用不超过0的旅行商环。
原图有哈密顿环当且仅当新图有零费用环;补边不能出现在合格环中。
独立卡片:哈密顿环归约到旅行商。
原书依据 · 1 处
子集和要求精确求和
子集和问题给定正整数集合S和目标t,问能否选出一个子集使其元素之和恰为t。
它是判定问题;集合本身可作为证书,通过加总核验。
输入整数按二进制编码,复杂度应按位数而非数值大小衡量。
独立卡片:子集和要求精确求和。
原书依据 · 1 处
子集和归约的位列编码
3-CNF到子集和的构造为每个变量和子句各留一位。
目标的变量位为1、子句位为4;每个变量提供真与假两个数,在自身变量位写1,并在其取值满足的子句位写1。
精确求和会强制每个变量二选一。
独立卡片:子集和归约的位列编码。
原书依据 · 1 处
松弛数补足子句位
每个子句另配两个仅在该子句位分别为1、2的松弛数。
- 已满足子句由真文字贡献1至3,再选择松弛数补到目标4;
- 未满足子句贡献0,松弛数最多合计3,无法伪造满足。
独立卡片:松弛数补足子句位。
原书依据 · 1 处
无进位保证按位推理
归约中任一子句位最多收到三个文字数的1,再加两个松弛数的1与2,合计最多6;用十进制编码便不会进位。
这样整数和等于目标才可逐位解释为变量选择与子句满足,不能忽略进位条件。
独立卡片:无进位保证按位推理。
原书依据 · 1 处
子集和归约的反向证明
若选出的数之和等于目标,每个变量位等于1迫使真假候选恰选一个;每个子句位须等于4,而该位松弛数最多提供3,故至少有一个被选文字数在此位写1。
由此还原出的赋值满足所有子句。
独立卡片:子集和归约的反向证明。
原书依据 · 1 处
NP完全归约方向不能倒
证明目标问题Y为NP难,应从已知NP完全问题X构造到Y的多项式归约;这样Y的快速解法才会带来X的快速解法。
只完成归约得到NP难,还须证明Y的证书能在多项式时间验证,才能称NP完全。
独立卡片:NP完全归约方向不能倒。
原书依据 · 1 处
特殊情形可传递困难性
若NP难问题X是问题Y的特殊情形,Y的通用算法必然能处理X,因此Y也NP难。
例如将0-1背包的价值设为重量,并把重量上限与价值下限都设为总重量的一半,可嵌入集合划分判定问题。
独立卡片:特殊情形可传递困难性。
原书依据 · 1 处
奖惩权重编码约束
归约可用费用把合法选择与非法选择区分:从哈密顿环到旅行商时,原图边费用0、补边费用1,预算0使任何补边都无法出现在合格环中。
构造权重时,必须证明预算阈值恰好区分原问题的是非实例。
独立卡片:奖惩权重编码约束。
原书依据 · 1 处
归约构件强制局部性质
归约构件是嵌入新实例的局部组件,通过连接方式限制解的形态。
顶点覆盖到哈密顿环的边构件约束环如何穿过12个顶点;子集和中的松弛数也可视为使子句位补到目标值的简单构件。
独立卡片:归约构件强制局部性质。
原书依据 · 1 处
独立集内没有相邻顶点
图的独立集是顶点子集,使每条边至多有一个端点落在其中,等价于所选顶点两两不相邻。
最大独立集求最大规模;判定版本给定k问能否找到至少k个。与团问题相比,邻接条件正好相反。
独立卡片:独立集内没有相邻顶点。
原书依据 · 1 处
图着色限制相邻同色
k着色把图的每个顶点分配到k种颜色之一,要求每条边的两端颜色不同;图着色优化问题求所需最少颜色数。
判定版本则固定k,问能否用k色着色。与地图实例的国家和边界对应只是建模方式。
独立卡片:图着色限制相邻同色。
原书依据 · 1 处
文字三角形编码真假
3着色归约的练习草图让TRUE、FALSE、RED构成三角形,每对变量与其否定再同RED构成三角形。
在合法着色中,变量与否定必须使用另外两色,可表示真假二选一;子句构件正确性仍是练习要求,不能直接当作已证定理。
独立卡片:文字三角形编码真假。
原书依据 · 1 处
带截止期任务的收益
单机任务各有处理时长、收益和截止期,任务不可抢占;只有在截止期前完成才取得收益。
优化问题要安排全部任务的顺序,使所得收益最大。
改变为判定问题时应再给收益门槛,不能把该练习要求误记成已完成的NP完全证明。
独立卡片:带截止期任务的收益。
原书依据 · 1 处
编码变换须处理无效串
证明两种编码在复杂度上等价时,转换函数除映射合法实例,还须把源编码中的无效串映到目标编码的无效串。
否则只验证实例之间的转换,可能无法保持整个判定语言的成员资格。
独立卡片:编码变换须处理无效串。
原书依据 · 1 处
第35章 近似算法
近似算法在有限时间内给出可行解,并证明它相对最优值的质量界。最小化和最大化问题的比值方向不同,保证又往往依赖三角不等式或其他输入结构。顶点覆盖、集合覆盖和子集和展示不同近似方法;从精确最优转向可证明的近似,是承接上一章困难性分析的一条可行路径。
本节在全书中的作用:在 NP 完全问题的精确求解难度之外,给出可证明的近似质量,并展示下界、三角不等式、贪心、随机化、线性规划松弛和修剪如何分别支撑误差保证。
展开顺序:先定义最小化与最大化统一适用的近似比,并区分固定精度下多项式时间的 PTAS 与对输入长度、精度倒数均多项式时间的 FPTAS。顶点覆盖任取边并纳入双端点,凭不相交选边的下界得到二倍界。满足三角不等式的 TSP 以最小生成树作下界、完整遍历后捷径成环得到二倍界;一般 TSP 的缺口构造说明若 P≠NP 则没有固定常数近似比。集合覆盖每轮选择新增覆盖最多的子集,用剩余元素递减分析得到对数界。MAX-3-CNF-SAT 的独立随机赋值以每条子句至少 7⁄8 的满足概率给出期望意义的 8⁄7 界;加权顶点覆盖对线性松弛解作半阈值舍入得到二倍界。最后对 SUBSET-SUM 的精确列表逐轮修剪,在误差累积和列表长度均受控的前提下得到 FPTAS。章末装箱、调度、匹配和背包等问题只给题目与待证步骤;例题 n=4、ε=0.40 时应写 δ=0.40/(2×4)=0.40⁄8=0.05;当前 EPUB 的“0.40/80”分母有误,后续采用的 δ=0.05 正确。
# 第35章 近似算法
## 质量目标与近似方案
- 近似质量与计算时间
- 近似比 PTAS FPTAS
- 最优值下界
## 典型近似算法
- 顶点覆盖 不相交选边 二倍
- 度量TSP 最小生成树与捷径 二倍
- 一般TSP 缺口归约难近似
- 集合覆盖 贪心递减 对数界
- 随机赋值 MAX-3-CNF-SAT 期望八分之七
- 线性松弛 加权顶点覆盖半阈值舍入
## 子集和与误差界
- SUBSET-SUM 修剪列表
- 累积误差与长度界推出FPTAS
- 章末问题与参考线索
近似算法追求可控误差
近似算法为难以高效精确求解的优化问题,在可接受时间内给出接近最优的可行解。
它仍需说明解的质量保证;“运行很快”或“看起来不错”本身都不是近似比证明。
独立卡片:近似算法追求可控误差。
原书依据 · 1 处
近似比统一最大与最小化
若算法解成本为C、最优成本为C且均为正,近似比要求max(C/C, C*/C)不超过ρ(n)。
最小化看C/C,最大化看C/C;比值至少为1,等于1才保证最优。
这个定义把两类优化问题放在同一尺度。
独立卡片:近似比统一最大与最小化。
原书依据 · 1 处
多项式时间近似方案
近似方案把误差参数ε>0也作为输入,对每个固定ε给出(1+ε)近似保证。
PTAS只要求固定ε时对实例规模n呈多项式时间;随着ε趋小,其耗时仍可能急剧增加,因此不能把它等同于对1/ε也高效。
独立卡片:多项式时间近似方案。
原书依据 · 1 处
全多项式近似方案
FPTAS除满足(1+ε)近似外,还要求运行时间同时对实例规模n与1/ε为多项式。
因而把ε缩小固定倍数时,开销只增加多项式表达式中的固定倍数;它比仅固定ε时多项式的PTAS有更强效率保证。
独立卡片:全多项式近似方案。
原书依据 · 1 处
双端点构造顶点覆盖
- 从未覆盖边中任取一条,
- 把它的两个端点都加入集合,
- 并删除它们覆盖的所有边;
重复到无边,所得集合必是顶点覆盖。
算法按邻接表可在线性图规模内完成,关键是任取边无需求最优覆盖。
独立卡片:双端点构造顶点覆盖。
原书依据 · 1 处
不相交选边给出二倍界
每次选边后删除其两端相接的其他边,故被选边集合A两两不共享端点。
任意顶点覆盖至少要为A的每条边选一个不同端点,因而|C|≥|A|;算法恰取两端,|C|=2|A|≤2|C|。
独立卡片:不相交选边给出二倍界。
原书依据 · 1 处
近似证明可借最优下界
证明近似比不必计算未知的最优值,可以找一个易求的最优下界L,再证明算法结果不超过ρL。
顶点覆盖的被选边构成极大匹配,匹配大小就是覆盖规模下界;需区分极大匹配与最大匹配。
独立卡片:近似证明可借最优下界。
原书依据 · 1 处
三角不等式允许捷径
旅行费用满足三角不等式时,直接从u到w的成本不高于经v中转。
由此可在遍历树的行程中跳过重复访问的顶点而不增成本;若费用不满足该性质,这一步近似证明便失效。
独立卡片:三角不等式允许捷径。
原书依据 · 1 处
最小生成树先给旅行下界
在满足三角不等式的完全图上,先求最小生成树,再按树的前序首次访问顺序形成旅行环。
任一最优旅行环去掉一条边就是生成树,且费用非负,所以最小生成树的权重不超过最优环成本。
独立卡片:最小生成树先给旅行下界。
原书依据 · 1 处
树遍历捷径形成二倍旅行
树的完整往返遍历把每条树边走两次,成本为生成树权重的两倍。
按三角不等式跳过重复顶点不增成本,余下的首次访问顺序组成旅行环;结合生成树下界,得到至多两倍最优旅行费用。
独立卡片:树遍历捷径形成二倍旅行。
原书依据 · 1 处
旅行商无三角约束难近似
若一般旅行商存在任意固定近似比ρ的多项式算法,就可把哈密顿环实例补成完全图,原边费用1、非原边费用设为足够大的惩罚值。
原图有环时最优费用为|V|,无环时所有行程费用都跨越ρ倍缺口,从算法输出即可判定哈密顿环;除非P=NP,否则该近似算法不存在。
独立卡片:旅行商无三角约束难近似。
原书依据 · 1 处
缺口归约证明难近似
证明某优化问题难以ρ近似,可从NP难判定问题构造实例,使是实例最优值至多k,否实例任何解都大于ρk。
若存在ρ近似算法,其输出费用可区分两类实例,从而多项式时间解决原判定问题。
关键是严格拉开两种情形的费用缺口。
独立卡片:缺口归约证明难近似。
原书依据 · 1 处
集合覆盖选最少子集
集合覆盖给定元素集合X与覆盖每个元素的子集族F,目标从F中选尽量少的子集,使其并集包含整个X。
目标规模数的是子集个数,不是被覆盖元素个数;给定上限k的版本是判定问题。
独立卡片:集合覆盖选最少子集。
原书依据 · 1 处
贪心覆盖每次增益最大
集合覆盖的贪心法维护未覆盖元素U,每轮选取与U交集最大的子集,再从U删去新覆盖元素。
循环到U为空即可得到可行覆盖;单步最大新增覆盖数并不保证最终子集数最少。
独立卡片:贪心覆盖每次增益最大。
原书依据 · 1 处
集合覆盖贪心有对数界
设非空全集X的最优覆盖用k≥1个子集。
每轮贪心至少覆盖剩余元素的1/k,故i轮后剩余量至多|X|e^(−i/k)。取i=⌊k ln|X|⌋+1便小于1,得到贪心集合数≤k(1+ln|X|);|X|=1时也成立。
原书的⌈ln|X|⌉倍写法漏了小规模边界。
独立卡片:集合覆盖贪心有对数界。
原书依据 · 1 处
随机近似看期望质量
随机近似算法的近似比以输出成本的期望值衡量,而不是保证每次随机运行都达到同一质量。
比较时仍要按最大化或最小化方向把期望成本与最优成本相除;不能把期望保证写成逐次确定性保证。
独立卡片:随机近似看期望质量。
原书依据 · 1 处
最大三合取满足数
MAX-3-CNF-SAT沿用三合取范式公式作为输入,但目标是找到使尽量多子句为真的变量赋值。
即使公式整体不可满足,也有可比较的最优满足子句数;它与问能否让所有子句为真的判定问题不同。
独立卡片:最大三合取满足数。
原书依据 · 1 处
随机赋值给出八分之七期望
若每个变量独立等概率取真假,且每个三文字子句不含重复变量及其否定,子句全假的概率为1/8,满足概率为7/8。
对m个子句用期望线性性得平均满足7m/8个;最优值至多m,所以随机算法的期望近似比至多8/7。
独立卡片:随机赋值给出八分之七期望。
原书依据 · 1 处
加权顶点覆盖的线性松弛
加权顶点覆盖给每个顶点正权重,目标最小化所选权重和。
用0或1变量表示是否选顶点,并对每条边约束两端变量和至少为1;把变量域放宽到[0,1]形成线性松弛。
松弛最优值不大于整数最优值,因此可作为近似证明的下界。
独立卡片:加权顶点覆盖的线性松弛。
原书依据 · 1 处
半阈值舍入加权顶点覆盖
线性松弛的每条边满足x(u)+x(v)≥1,因此至少一端变量值≥1/2;选入所有达到半阈值的顶点便覆盖每条边。
被选顶点的权重至多是松弛目标值的两倍,而松弛值不超过整数最优值,故得到二倍近似。
独立卡片:半阈值舍入加权顶点覆盖。
原书依据 · 1 处
子集和优化版不超目标
- 子集和的判定版问能否恰好凑成目标t;
- 优化版则在所有不超过t的子集和中取最大值。
即使无法精确凑到t,优化版仍有解和质量比较,因此可讨论近似算法。
独立卡片:子集和优化版不超目标。
原书依据 · 1 处
精确子集和逐项扩展列表
处理前i个数时,维护不超过目标t的所有可达子集和列表L_i;下一轮合并旧列表与每个旧值加上x_i的列表,去重并删除超出t的值。
状态可能增长到2^i,因此精确法一般为指数时间。
独立卡片:精确子集和逐项扩展列表。
原书依据 · 1 处
修剪列表用较小值代表
对子集和列表按升序修剪时,若较小保留值z与待删值y满足z≤y≤(1+δ)z,就可以让z代表y。
保留较小值既不超出目标,又把相近状态合并;单次修剪线性完成,但误差会跨轮累积。
独立卡片:修剪列表用较小值代表。
原书依据 · 1 处
子集和近似每轮小幅修剪
输入S={x₁,…,xₙ}是一组正整数,t是允许的最大目标和,0<ε是误差参数。列表Lᵢ保存处理前i个数后仍保留的真实可达子集和,初始L₀=〈0〉。第i轮:
- 合并Lᵢ₋₁与Lᵢ₋₁+xᵢ;后一列表表示在原子集上再选xᵢ。
- 令δ=ε/(2n),按递增顺序修剪。保留第一个值;之后仅当当前值y>last×(1+δ)时才保留,并更新last。被删的y由留下的last代表,满足last≤y≤last×(1+δ)。
- 删除大于t的值,最后返回Lₙ中的最大值。
合并不会制造虚构答案,修剪和删除也只去掉值,所以输出仍是某个真实子集的和。把ε分摊到n轮,是为了让每轮至多1+δ的代表误差在连乘后仍受1+ε控制。
原书示例取n=4、ε=0.40,因此δ=0.40/(2×4)=0.40⁄8=0.05;书中“0.40/80”是分母排印错误,数值0.05及后续列表使用正确。
独立卡片:子集和近似每轮小幅修剪。
原书依据 · 1 处
修剪误差与列表长度受控
给定n个正整数、目标上限t≥1和误差参数0<ε。令Pᵢ为前i个输入数能形成的全部子集和,Lᵢ为算法修剪后保留且不超过t的列表,δ=ε/(2n)。修剪的关键不变量是:对每个y∈Pᵢ且y≤t,Lᵢ中都有代表z满足
y/(1+δ)ⁱ ≤ z ≤ y。
也就是说,每轮至多再损失一个1+δ因子;经过n轮,最优值y在Lₙ中仍有代表z≥y/(1+δ)ⁿ。算法返回Lₙ最大值z,所以y/z*≤(1+δ)ⁿ。对0<ε,原书把该乘积界为e^(ε/2)≤1+ε,从而得到1+ε近似;其中中间不等式的证明由原书留作练习。
运行时间来自同一个乘法间隔:修剪后相邻正数z1+δ,而所有值都不超过t。因此从最小正整数1增长到t,至多经过约log(1+δ)(t)次,列表长度为O((n/ε)ln t)。合并与修剪对列表长度是线性的,所以总时间关于输入位数、n和1/ε都是多项式。
近似误差由代表不变量控制,列表规模由相邻值的乘法间隔控制;两者合在一起才给出全多项式时间近似方案。
独立卡片:修剪误差与列表长度受控。
原书依据 · 1 处
装箱问题最小化箱数
装箱问题给出若干大小介于0与1之间的物品,要求装入尽量少的单位容量箱;每箱物品大小之和不得超过1。
目标是箱数,分配方案须逐箱可行。
章末题给出近似性质待证明,不能仅从定义断言算法保证。
独立卡片:装箱问题最小化箱数。
原书依据 · 1 处
首次适配先放最早可容箱
首次适配按输入顺序处理物品,放入编号最小且仍能容纳它的已有箱;若不存在则新开一箱。
它是一种确定的在线式贪心规则,输出必可行;二倍近似比是章末题要求证明的结论,未在原文题干中给出证明。
独立卡片:首次适配先放最早可容箱。
原书依据 · 1 处
加权集合覆盖最小权重
加权集合覆盖在覆盖全集X的子集族中,为每个子集赋权,目标选出覆盖X且总权重最小的子族。
它与普通集合覆盖的区别在于优化总权重而非子集个数;章末只要求推导加权贪心近似,不提供现成算法证明。
独立卡片:加权集合覆盖最小权重。
原书依据 · 1 处
并行机调度最小跨度
并行机调度给定任务处理时间与若干相同机器,每项任务在一台机器上连续运行,同机不能同时处理两项。
完工跨度是全部任务中最晚的完成时间,优化目标是让它最小;章末贪心二倍界需要另证。
独立卡片:并行机调度最小跨度。
原书依据 · 1 处
随机舍入按分数值采样
随机舍入先求整数规划的线性松弛,把分数变量值用作选择概率,得到随机候选解;候选未必可行。
比如单边顶点覆盖的两端各以1/2独立入选,有1/4概率漏盖该边。
可行性、修复办法和近似界须针对具体问题另证,不能由概率解释直接推出。
独立卡片:随机舍入按分数值采样。
原书依据 · 1 处
第八部分 附录:数学基础
数学附录提供全书反复使用的记号、结构和计算工具。求和用于累计运行成本,集合与图用于定义对象,概率用于随机分析,矩阵用于线性代数算法。附录可以按需要回查,但证明中采用了哪些假设仍须明确;数学工具的用途是解释算法结论,而不是替代问题建模。
本节在全书中的作用:把 A–D 四个附录定位为算法分析所需数学工具的参考资料,并说明它们各自的查阅用途;本导读不单独展开新的定义或证明。
展开顺序:承接前文渐近记号和递推式,先提醒读者各附录可按需查阅。附录 A 汇集求和的计算与界,B 给出集合、关系、函数、图和树的记号,C 从计数延伸到概率,D 汇总矩阵运算。概率部分可在首次阅读时暂缓,遇到随机算法分析再查。本项仅是导航,具体数学方法由后续附录正文承载,因此没有独立知识卡。
# 第八部分 附录:数学基础
## 附录的用途
- 算法分析需要数学工具
- 附录作为参考资料
## 四类数学工具
- A 求和与界
- B 离散对象与记号
- C 计数与概率
- D 矩阵与运算
## 按需参考
- 概率可按需回查
本导言交代后续章节的组织与用途,具体机制在其对应章节展开,因此没有另行生成知识卡。
附录A 求和
求和把每轮或每层的成本合并成总成本。等差与等比级数给出常见闭式,调和数解释某些对数级增长;替换、拆分、比较和积分估计则帮助处理没有简单闭式的和式。求界时还要检查求和范围和非负等条件,使上界、下界与所分析的成本一致。
本节在全书中的作用:把循环次数的逐轮代价转为求和,并汇集求和恒等式与渐近界的常用证明方法,供全书的运行时间分析查阅。
展开顺序:先约定空和为零、空积为一,区分有限和与无限级数以及绝对收敛所允许的重排。整理线性、等差、平方立方、几何、调和、望远镜和换元求和;乘积可取对数化为和。再用数学归纳证明公式或渐近界,强调隐藏常数须对全部 n 统一有效。逐项最大值给粗上界,只有相邻项比值被同一个严格小于一的常数控制时才可用几何级数界;调和级数的相邻项比虽小于一却不满足这一条件。分段求和改善界,单调函数的积分夹和则把离散和转为面积比较,尤其可界定调和数的对数增长。练习和问题提出进一步证明,不视为正文已给结论。
# 附录A 求和
## 基本求和
- 循环代价转为求和
- 基本约定与级数收敛
- 等差 平方立方 几何 调和
- 望远镜 换元与乘积
## 估计求和上界
- 求渐近界
- 归纳与统一常数
- 逐项最大值
- 统一公比的几何界
- 分段求和
- 单调函数积分夹和
## 调和数
- 调和数对数界
原书依据 · 1 处
绝对收敛允许重排
无穷级数的和定义为部分和极限;极限不存在则发散。
仅有收敛未必能随意交换项次,而各项绝对值组成的级数也收敛时,重排才有稳定的同一和值。
分析算法时不能把有限和的可交换性直接套到条件收敛级数。
独立卡片:绝对收敛允许重排。
原书依据 · 1 处
原书依据 · 1 处
几何级数由公比控制
几何级数各项按固定公比x递推。x≠1时,前m+1项的和为
1+x+x²+⋯+xᵐ = (1−xᵐ⁺¹)/(1−x)。
推导只需令S为左侧,计算S−xS,所有中间项相消,得到S(1−x)=1−xᵐ⁺¹。若x=1,和直接是m+1。
当|x|时,xᵐ⁺¹趋于0,无限和收敛到1/(1−x);若|x|≥1,不能借用这个递减几何级数的有限上界。
递归层成本若形成固定比率,先核对公比范围再用公式。
独立卡片:几何级数由公比控制。
原书依据 · 1 处
调和数增长为对数级
第n个调和数H_n是1、1/2、…、1/n之和,随n增长为Θ(log n)。
它虽每项递减,无限级数仍发散;逐项比值小于1不等于存在统一小于1的几何公比。
独立卡片:调和数增长为对数级。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
归纳渐近界须同一常数
用归纳法证明O界时,要明确存在一个与n无关的常数c,并在初始步与递推步都用同一个c。
若每次递推暗中调大常数,虽然每个n各有上界,也未证明统一的渐近上界。
独立卡片:归纳渐近界须同一常数。
原书依据 · 1 处
原书依据 · 1 处
几何界需统一公比
要把一串项界在递减几何级数下,必须有固定常数r,使所有相邻项比值都不超过r。
调和级数虽每个相邻比值都小于1,但比值趋近1,找不到统一r,因此不能据此宣称总和有常数上界。
独立卡片:几何界需统一公比。
原书依据 · 1 处
分段求和改进下界
逐项用全局最小项估下界可能过弱;先把索引区间切段,可在后半段利用更大的统一下界。
前n个正整数和的后半段已有Θ(n)项且各项Ω(n),从而得到Ω(n²)。
独立卡片:分段求和改进下界。
原书依据 · 1 处
单调函数可用积分夹和
当f单调时,求和可视为单位宽矩形面积,用左右错开的积分夹住。
递增与递减情形的不等号方向不同,须按图A.1和求和起止点核对;例如调和和可据递减情形得到对数级界。
独立卡片:单调函数可用积分夹和。
原书依据 · 1 处
附录B 集合等离散数学基础
集合规定成员,关系规定对象之间的配对性质,函数规定输入到输出的映射。图和树把这些关系组织成算法可以处理的结构。等价关系与集合划分、偏序与拓扑顺序等联系,解释了许多数据结构和图算法为什么能使用相应的表示与证明,而不只是记号约定。
本节在全书中的作用:统一集合、关系、函数、图和树的记号与定义,使正文算法中有关可达性、序、映射和树结构的叙述具有明确的数学边界。
展开顺序:集合不计顺序和重复,以子集、交并差、补集、划分、幂集和笛卡尔积组织对象。关系是笛卡尔积的子集;自反、对称、传递构成等价关系,其等价类与划分双向对应;偏序允许不可比,全序要求任意两项可比。函数要求每个定义域元素恰有一个值,并按满射、单射和双射决定值域覆盖、输入区分和逆函数。图部分区分有向边与无向边、度数、路径与环、连通与强连通、同构、诱导子图、二分图和缩边;多重图与超图放宽普通图的边约束。树部分证明自由树的多种等价刻画,再用根、祖先、深度、高度、孩子顺序以及二叉树的左右位置区分不同结构;位置树和完全 k 叉树给出层数与叶数关系。章末图着色、Kraft 不等式和树二分属于待解题目,未当作正文已证定理。
# 附录B 集合等离散数学基础
## 集合与关系
- 离散数学对象
- 集合与运算
- 笛卡尔积
- 关系
- 等价类与划分
- 偏序与全序
## 函数
- 函数
- 单射 满射 双射与逆
## 图
- 图
- 路径 环与连通
- 同构 子图与特殊图
## 树
- 自由树
- 六种等价刻画
- 有根树与有序树
- 二叉树与位置树
原书依据 · 1 处
原书依据 · 1 处
集合运算与德摩根律
- 交集保留共同成员,
- 并集保留至少属于一方的成员,
- 差集保留只属于前者的成员。
差集满足A−(B∩C)=(A−B)∪(A−C);图B.1以区域覆盖验证该式。
独立卡片:集合运算与德摩根律。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
自由树六种等价刻画
自由树有六种等价刻画:
- 连通且无环。
- 任意两点存在唯一简单路径。
- 连通且删任一边即不连通。
- 连通且|E|=|V|−1。
- 无环且|E|=|V|−1。
- 无环且添加任一原图不存在的边都会成环。
边数或加边判据不能单独使用。
独立卡片:自由树六种等价刻画。
原书依据 · 1 处
树边数判据的证明链
证明连通且|E|=|V|−1必无环时,若存在环,可从环沿连接边逐个扩展到全体顶点,构造出|V|条边,与假设矛盾。
反方向需用无环和连通分量数,不能只凭边数。
独立卡片:树边数判据的证明链。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
单孩子的左右位置有别
二叉树中,一个节点即使只有一个孩子,也必须区分它位于左侧还是右侧。
普通有序树只有单孩子时没有左右位置差别,所以“每节点至多两个孩子的有序树”不足以定义二叉树。
独立卡片:单孩子的左右位置有别。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
完全叉树叶数为幂
本书定义的完全k叉树所有叶子深度相同且每个内部节点有k个孩子。
高度h时,第d层有kᵈ个节点,叶子数为kʰ;k≥2时内部节点数为(kʰ−1)/(k−1)。
若k=1,叶子数为1、内部节点数为h。
独立卡片:完全叉树叶数为幂。
原书依据 · 1 处
原书依据 · 1 处
多重图与超图区别
- 普通无向图的边连接两个不同顶点;
- 多重图允许同一对顶点之间有多条边,也允许自环;
- 超图的一条超边可连接任意顶点子集。
先确认边的定义,才能判断普通图的路径、度数或缩边规则能否直接沿用。
独立卡片:多重图与超图区别。
原书依据 · 1 处
附录C 计数与概率
计数先说明一个事件有多少种可能,概率再给这些可能分配权重。随机变量把结果映射成数值,期望、方差和尾界描述不同层面的行为。排列与组合、条件概率和独立性、常见分布及不等式支持第5章及后续随机分析;只有确认随机来源和假设,才能把计算结果用于性能结论。
本节在全书中的作用:提供随机算法与概率分析所需的计数、概率、随机变量和尾部界工具,并说明结论依赖的独立性与分布前提。
展开顺序:计数从互斥选项相加、连续选择相乘进入字符串、排列、组合与二项式系数,并用熵函数界二项式系数。概率部分从样本空间、事件和概率公理出发,区分离散与连续均匀分布;条件概率需要条件事件非零,成对独立不保证共同独立,贝叶斯公式按观测更新条件概率。离散随机变量把结果映为数值;期望线性无需独立,乘积期望和方差相加有独立条件,尾和公式、Jensen 界与方差刻画不同分析工具。独立同分布伯努利试验产生几何分布与二项分布;二项尾部先借并集界与几何级数界,再以指数变换和马尔可夫不等式得到上尾界。章末蒙提霍尔题强调主持人策略影响条件概率;球入箱计数须先说明球的可区分性。待证题不视为正文已完成的证明。
# 附录C 计数与概率
## 计数
- 计数与概率分析
- 求和乘法法则
- 排列 组合 二项式系数
- 熵界
## 概率与随机变量
- 概率公理与事件
- 条件概率 独立性 贝叶斯
- 离散随机变量
- 期望 方差与Jensen
## 分布与边界
- 伯努利试验
- 几何与二项分布
- 尾部界
- 蒙提霍尔策略条件
- 球入箱可区分性
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
二项式系数计数子集
二项式系数C(n,k)是n元集合中k元子集的个数,且C(n,k)=C(n,n−k)。
将二项式展开中的每个项看成从n个因子中选k个取x,可解释其系数。
独立卡片:二项式系数计数子集。
原书依据 · 1 处
原书依据 · 1 处
二项式系数有熵界
当k=λn且0≤λ≤1时,附录给出
C(n,k) ≤ 2^(nH(λ)),
其中二元熵函数H(λ)=−λ lg λ−(1−λ)lg(1−λ),lg以2为底。这个界把组合数的指数增长率写成H(λ):λ=1/2时H最大为1,得到中央组合数不超过2ⁿ;λ接近0或1时指数率更小。
它用于估计组合爆炸;边界λ=0或1时按0log0=0约定处理。
独立卡片:二项式系数有熵界。
原书依据 · 1 处
计数习题不代替证明
Pascal递推、中心二项式渐近和更强下界在本节练习中作为待证命题出现。
使用这些结论时应检查具体公式和证明,不能把“要求证明”误写成附录已完成的论证。
独立卡片:计数习题不代替证明。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
连续均匀概率按长度算
在区间[a,b]上连续均匀分布时,子区间[c,d]的概率为(d−c)/(b−a),单点概率为0;开闭端点不改变区间概率。
并非样本空间的任意子集都自动当作可测事件。
独立卡片:连续均匀概率按长度算。
原书依据 · 1 处
条件概率需非零条件事件
Pr(A|B)=Pr(A∩B)/Pr(B),前提是Pr(B)>0。
已知B发生后,只在B的结果中考察A;若Pr(B)=0,此比值形式不能直接使用。
独立卡片:条件概率需非零条件事件。
原书依据 · 1 处
独立需联合概率相乘
事件A、B独立当且仅当Pr(A∩B)=Pr(A)Pr(B)。
当条件事件概率非零时,这等价于Pr(A|B)=Pr(A);直觉上的“涉及同一个变量”不能代替联合概率检验。
独立卡片:独立需联合概率相乘。
原书依据 · 1 处
两两独立不等于共同独立
- n个事件两两独立仅要求每一对的交集概率等于各自概率乘积;
- 共同独立要求所有大小至少2的子集都满足乘积式。
三事件可两两独立却联合交集概率不同。
独立卡片:两两独立不等于共同独立。
原书依据 · 1 处
贝叶斯公式更新先验
贝叶斯公式Pr(A|B)=Pr(B|A)Pr(A)/Pr(B)把观察B后的概率与先验、似然相连。
若按A与非A分解,分母是两条互斥路径概率之和;不能遗漏归一化。
补充教学演示(非原书例子):等概率选择盒甲或盒乙;甲有9个红球、1个蓝球,乙有1个红球、9个蓝球。抽到红球后,令A=“选了甲”,B=“抽到红球”,则
- Pr(A)=1/2;
- Pr(B|A)=9/10;
- Pr(B)=9/10×1/2+1/10×1/2=1/2;
- Pr(A|B)=(9/10×1/2)/(1⁄2)=9/10。
观察红球把“来自甲盒”的概率从先验1/2更新为后验9/10;分母Pr(B)正是两只盒子产生红球的总概率。
独立卡片:贝叶斯公式更新先验。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
尾和公式算非负整数期望
X取非负整数且期望存在时,E[X]=Σ_{i≥1}Pr(X≥i)。
每个取值k在右侧恰好贡献k个阈值项;求首次成功时间或最大值时可避免先求完整质量函数。
独立卡片:尾和公式算非负整数期望。
原书依据 · 1 处
凸函数的Jensen界
若f凸且所需期望有限,Jensen不等式给出f(E[X])≤E[f(X)]。
方向由凸性决定;把E[f(X)]替换成f(E[X])的等号一般不成立。
独立卡片:凸函数的Jensen界。
原书依据 · 1 处
方差量化均值周围离散
方差Var[X]=E[(X−E[X])²]=E[X²]−E[X]²,度量取值相对均值的平方偏差。
两个变量期望相同仍可能方差不同;标准差是方差的非负平方根。
独立卡片:方差量化均值周围离散。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
几何分布计首次成功轮次
独立同分布伯努利试验中,首次成功所需次数X从1开始计数,Pr(X=k)=(1−p)^{k−1}p;其期望为1/p。
若改计成功前失败次数,取值与期望都要变。
独立卡片:几何分布计首次成功轮次。
原书依据 · 1 处
原书依据 · 1 处
二项分布计固定轮次成功数
n次独立且成功率相同为p的伯努利试验中,成功次数X取0至n,Pr(X=k)=C(n,k)pᵏ(1−p)ⁿ⁻ᵏ。
组合数选择成功位置,乘积给出指定成功失败序列的概率。
独立卡片:二项分布计固定轮次成功数。
原书依据 · 1 处
二项成功数均值方差
二项成功次数X可写成n个0/1指示变量之和。
期望线性给E[X]=np;独立性使方差可加,得Var[X]=np(1−p)。
若每轮概率不同,不能套同一个np公式。
独立卡片:二项成功数均值方差。
原书依据 · 1 处
二项分布峰值由相邻比决定
当0时,比较相邻概率b(k;n,p)与b(k−1;n,p):
- k<(n+1)p时递增,
- k>(n+1)p时递减;
- 若(n+1)p为整数且两个候选k都在0…n内,则并列峰值。
p=0或1时分布退化,峰值分别仅在0或n。
独立卡片:二项分布峰值由相邻比决定。
原书依据 · 1 处
二项右尾可用并集界
要至少k次成功,必存在某个大小为k的成功位置子集。每个指定子集全成功的概率为pᵏ,对C(n,k)个子集用并集界,得Pr(X≥k)≤C(n,k)pᵏ。
独立卡片:二项右尾可用并集界。
原书依据 · 1 处
左尾几何级数界
在k时,较小成功次数的二项概率可由b(k;n,p)乘固定小于1的比率逐项压住;求和成几何级数,得到Pr(X)<[k(1−p)/(np−k)]b(k;n,p)。
须检验k。
独立卡片:左尾几何级数界。
原书依据 · 1 处
原书依据 · 1 处
非同概率试验的上尾界
独立伯努利试验可有不同成功率p_i,令μ为成功总数期望;当r>μ时,定理给Pr(X−μ≥r)≤(μe/r)^r。
这个界依赖独立性与均值,不要求每轮同分布。
独立卡片:非同概率试验的上尾界。
原书依据 · 1 处
指数变换配马尔可夫界
设X是n个相互独立、成功率可不同的伯努利变量之和,μ=E[X]。若μ=0,则每次试验都以概率1失败,X恒为0,对r>0尾概率直接是0。以下设μ>0;要界偏差事件X−μ≥r(原书定理取r>μ),选α>0。因指数函数单调,
Pr(X−μ≥r) = Pr(e^(α(X−μ))≥e^(αr)) ≤ E[e^(α(X−μ))]/e^(αr)。
这是把马尔可夫不等式用于非负变量e^(α(X−μ))。独立性让指数矩分解成各次试验的乘积,再以指数函数上界化简;最后选择α=ln(r/μ),得到Pr(X−μ≥r)≤(μe/r)ʳ。
直接对X用马尔可夫界通常更松。
独立卡片:指数变换配马尔可夫界。
原书依据 · 1 处
同概率二项上尾特例
各轮成功率同为p时,μ=np,非同概率上尾定理化为Pr(X−np≥r)≤(npe/r)^r,条件r>np。
它是期望以上较远阈值的上界,不应当作精确概率。
独立卡片:同概率二项上尾特例。
原书依据 · 1 处
蒙提霍尔经典条件下应换门
初选均匀且主持人总会打开一扇羊门并提供换门机会时,初选正确概率1/3,初选错误概率2/3;换到另一未开门赢车概率2/3。
结论依赖主持人总提供换门机会。
独立卡片:蒙提霍尔经典条件下应换门。
原书依据 · 1 处
主持人策略影响条件概率
令C表示“初选正确”,O表示“主持人提出换门”。初选随机,所以Pr©=1/3、Pr(非C)=2/3。若主持人在初选正确时以概率α提出换门、初选错误时以概率β提出换门,那么
只要α+2β>0,即确实有收到邀请的可能,
Pr(C|O) = α/(α+2β)。
分子来自Pr(O|C)Pr©=α/3,分母还要加上错误时受邀的路径2β/3。若α=β,受邀不改变1/3的先验;若α远大于β,收到邀请反而更像初选正确的信号。
只看到一扇羊门不足以套经典2/3结论,必须说明主持人策略。
独立卡片:主持人策略影响条件概率。
原书依据 · 1 处
未知主持人策略时随机换门
在附录给出的未知主持人换门邀请策略模型下,设收到邀请后初选正确的后验概率为q。留下会以概率q获胜,换门会以概率1−q获胜;若用独立硬币决定、各以1/2概率留下或换门,则
Pr(获胜|受邀) = q/2 + (1−q)/2 = 1/2。
所以无论未知的主持人策略把q推到哪里,50%换门都把受邀后的条件胜率固定在1/2。若偏向留下,主持人可让邀请更多发生在初选错误时;若偏向换门,他可让邀请更多发生在初选正确时,从而把最坏结果压到1/2以下。
此结论限于该模型。
独立卡片:未知主持人策略时随机换门。
原书依据 · 1 处
球入箱计数先问可区分性
n球放入b个有标号箱时,若球可区分且箱内顺序不重要,每球独立选箱,共bⁿ种。
若球不可区分、箱内需排序或限制空箱,计数对象变了,不能沿用bⁿ。
独立卡片:球入箱计数先问可区分性。
原书依据 · 1 处
附录D 矩阵
矩阵把数按行列组织,维度决定哪些加法和乘法合法;向量可作为特殊矩阵参与运算。转置、逆、秩和线性独立描述不同结构性质,不能相互混用。这里的记号与性质为分治矩阵乘法、线性方程组、线性规划和快速变换提供共同基础,遇到特定数域时还须核对运算规则。
本节在全书中的作用:为算法中的线性代数操作提供矩阵记号、运算规则及可逆性、秩和正定性判据,并以 GF(2) 上的置换问题展示其应用。
展开顺序:先规定矩阵、列向量、转置和单位向量,按非零元素位置识别对角、三对角、三角、置换及对称矩阵。矩阵加法逐元素进行;乘法需要内维一致,满足结合律和分配律,却一般不交换,向量内积与外积的结果形状也不同。随后由逆矩阵和线性相关定义秩,建立方阵满秩、可逆、无非零零向量和行列式非零的关联;正定性由所有非零向量的二次型检验,满列秩保证 AᵀA 正定。章末将运算移到 GF(2),考察矩阵映射的像与原像、区块映射和加入平移项后的仿射置换。习题的待证结论不视为正文证明。
# 附录D 矩阵
## 矩阵表示与运算
- 矩阵与列向量
- 转置和特殊矩阵
- 加法与乘法的维度规则
- 结合分配但一般不交换
- 内积与外积
## 线性代数性质
- 逆矩阵与线性独立
- 秩与零向量
- 方阵可逆与行列式
- 满列秩使转置乘积正定
## 有限域映射
- GF2上的矩阵映射
- 像 原像与区块
- 仿射置换
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
零空间判满列秩
对m×n矩阵A,所有满足Ax=0的列向量x∈Rⁿ组成A的零空间(核)。若其中存在x≠0,可称它为非平凡核向量;这对应原书术语null vector,不能与中文里通常表示全零向量的“零向量”混淆。
A满列秩当且仅当不存在这样的非零x,也就是零空间只有{0}。原因是Ax等于A各列按x的分量作线性组合:存在非零解正好表示这些列线性相关。
对方阵,这又等价于非奇异。
独立卡片:零空间判满列秩。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
仿射映射扩大置换族
GF(2)上满秩矩阵A使x↦Ax可逆且固定零点;加入c后,x↦Ax+c可移动零点,形成仿射置换。
- n=1、2时它覆盖全部2ⁿ个元素的置换;
- n≥3时才是所有置换的真子集,不能把题目中的计数目标逐n泛化。
独立卡片:仿射映射扩大置换族。
原书依据 · 1 处
跨章综合
正确性与效率使用不同的证据。不变式说明每次修改后什么仍然成立,渐近分析说明完成这些修改需要多少工作。红黑树和B树同时体现这两点:键序与结构约束保障操作正确,树高与成本模型决定效率。只给出O记号,不能替代不变式证明。
子问题的关系决定能否复用结果。分治强调把任务拆小,动态规划进一步识别重复状态并保存答案;贪心则只有在可以证明安全选择时,才免去对多种方案的比较。它们不是按难度顺序必须尝试的三个按钮,而是对问题结构的不同利用。
同一底层工具可以服务于不同问题。堆实现优先队列,因而能支撑Prim和Dijkstra的候选选择;不相交集合支持Kruskal识别不同连通分量;图遍历提供拓扑顺序和可达性。复用接口不会自动复用正确性条件,例如Dijkstra对边权的要求仍须单独满足。
期望、摊还和竞争保证需要区分。期望讨论明确随机来源下的平均量,摊还给合法操作序列的总成本界,竞争分析把在线决策同知晓未来的基准比较。看到“平均很快”时,首先要问平均的是随机选择、输入分布,还是一串操作中的费用。
模型既限制算法,也创造新的机会。比较排序下界依赖只做比较的假设;线性排序借助键结构,并行算法利用独立任务,B树针对块访问减少昂贵操作。NP完全性讨论的是多项式时间求精确解的困难性;近似算法则改变质量目标,提供另一类可证明保证。
发散与实践:读者延伸
以下是将书中方法应用于当前资料库的计划,尚未执行,也不作为作者的原话或实验结论。
- 卡片长度分位数(
ideas/idea-001-卡片长度分位数.md):把正文长度当作样本,用顺序统计量求95百分位阈值,与完整排序对照,并人工判断超阈值是否真有编辑问题。长度只提供线索,不能代替内容判断。 - 回归用例集合覆盖(
ideas/idea-002-回归用例集合覆盖.md):从真实断言整理“用例—行为路径”矩阵,再尝试贪心挑选回归候选集。必须保留未覆盖项与依赖,不能因模型给出较小集合就删除测试。
优先从卡片长度分位数开始,因为输入边界明确;集合覆盖实践需要先选定一次真实程序改动并整理覆盖证据。两份计划的具体行动和完成判据见对应文件。