此笔记位置已失效,请从目录继续阅读。
全书导读
本书以22个原书章节介绍搜索、优化、学习及其混合方法。前半部讨论怎样在大量候选方案中找较好的解,后半部转向从数据或交互中学习,再把两者组合。它适合建立方法地图和识别机制;部分流程、公式与实验描述存在缺漏,不能直接当作可复现实现。
阅读时先分清三个对象:问题模型规定什么是合法方案以及怎样评价;算法机制规定如何产生、选择和更新候选;实验依据说明在什么条件下观察到什么结果。动物行为、物理现象或“智能”只是启发来源,不能替代后两者的定义。
以下保留既有阅读计划的219个正文项,并按22个原书章归组;正文项编号是稳定定位标识,不是把原书改写为219章。知识点先在正文解释,再提供卡片入口用于追溯细节。
全书主线
全书贯穿的问题是:当直接枚举所有方案代价太大,或者目标与数据关系太复杂时,怎样利用结构、经验与反馈改进解?遗传、粒子群、蚁群等算法组织候选群体;退火和禁忌搜索改变单条邻域搜索轨迹;贪心与A*利用问题结构指导选择;神经网络从样本学习函数,强化学习从交互学习行动。混合算法再把搜索机制接到参数训练或结果调优中。
这些方法并非从前到后依次执行的流水线。它们共享“表示—评价—更新—验证”的比较视角,却有不同对象和假设。读完后应能回答:解怎样表示,如何检查可行性,更新利用什么信息,停止意味着什么,以及优势由哪些实验支持。
flowchart TD
P[问题、约束与数据] --> M[候选表示与评价目标]
M --> S[种群或邻域搜索]
M --> L[数据与交互学习]
S --> H[混合:搜索参数或调优结果]
L --> H
S --> V[同条件验证质量、成本与边界]
L --> V
H --> V
内容简介与前言
001 · 内容简介
界定本书“智能算法”的宽泛范围,预告所涵盖的方法族与适用读者。 从进化计算、模糊逻辑与神经网络的融合概念出发,列出自然计算、启发式搜索、学习与混合算法,最后说明全书以发展现状、机制和应用为主。
智能算法是跨机制的方法集合
“智能算法”在本书中是进化计算、模糊逻辑、神经网络等方法及其融合的宽泛集合,不能当作单一算法。比较方案时应先落到具体方法、目标函数、数据需求与评价指标,否则“更智能”没有可检验的含义。
例如比较两套“智能”排课程序,应写明一个用遗传算法、一个用模拟退火,优化的是冲突数还是间隔惩罚,以及用哪组课表评价;只说其中一个“更智能”无法核对。
原书依据 · 1 处
002 · 前言
交代编写背景、方法分类和全书的理论与应用安排。 先概述人工智能与智能算法的发展背景,随后依次说明自然计算、启发式方法、量子计算、神经网络及其他方法,并说明书中将结合典型问题讨论算法流程与应用。
启发式方法以经验换取可行解
启发式方法相对于追求可证明最优的最优化算法提出:它用问题经验建立模型、指导搜索,重点是以可接受代价得到可行解;是否接近最优须另作评估。把它用于多目标、调度或图像处理时,应明确约束与质量基线,避免把“能算出结果”误认为“有最优保证”。
例如考试排课先排出“同一学生不同时考两门”的可行表,间隔是否均匀要另用软约束分数衡量;排出一张表本身不证明间隔最优。
原书依据 · 1 处
第1章 遗传算法
遗传算法以多个候选解组成种群。先编码表示排课、路线或图像参数,再用适应度评价好坏,最后通过选择、交叉和变异产生下一代。编码决定能表示哪些方案,目标决定朝哪里搜索,算子决定怎样改变方案。排课、旅行商和社区划分的约束不同,因此不能只替换目标函数就照搬同一套交叉操作。多目标部分进一步说明:多个相互冲突的指标通常只能产生一组权衡解。
003 · 1.1 遗传算法起源
以生物遗传与进化的类比引出遗传算法的基本对象和操作。 从遗传、变异与选择的生物学叙述转到种群、染色体、基因和适应度的搜索映射,再介绍复制、交叉和变异如何产生下一代候选解。
遗传算法以种群搜索解
遗传算法把候选解编码为个体,以一群个体而非单个解参与迭代;适应度评价决定哪些个体更可能保留,再由复制、交叉、变异产生新候选。生物演化只是启发,算法成败取决于编码、评价和参数是否对应实际优化问题。本书此处的经典 GA 流程采用二进制染色体,这是该流程的表示设定,不是所有 GA 的编码要求。
补充教学示例(非书中数据)。4 位二进制表示 0–15 的整数,适应度就取该整数,种群 3 个个体:
| 个体 | 编码 | 解码 | 适应度 |
|---|---|---|---|
| A | 0011 | 3 | 3 |
| B | 1100 | 12 | 12 |
| C | 0101 | 5 | 5 |
选择更偏向保留 B。A 与 B 在第 2 位后交叉,可能得到 0000 与 1111;C 的第 1 位变异则得到 1101。复制保留已有编码,交叉重组片段,变异改局部基因。
原书依据 · 1 处
004 · 1.1.2 遗传算法发展历程
提供遗传算法从早期模拟到理论、实验与应用传播的历史线索。 从 Holland 对自适应和二进制表示的研究出发,接续模式定理、数值优化实验和后续专著、分类器系统的出现;本项是历史叙述,不将书中简述的理论效果直接当作普遍性能保证。
本项的取材边界:无合格新候选 — 主要是人物、论文和年代脉络,模式定理仅被命名而未证明或解释条件;列为引用线索。
005 · 1.2 遗传算法实现
承接遗传算法起源,提示实际求解同时依赖流程设计和参数配置。 先提出算法流程用于组织搜索,再指出参数会影响收敛速度与陷入局部最优的风险;具体机制由后两项展开。
本项的取材边界:无合格新候选 — 本项仅提示算法流程和参数同样重要,后续 1.2.1 与 1.2.2 节展开。
006 · 1.2.1 遗传算法流程
展开遗传算法从候选解表示到终止判断的基本执行机制。 先将问题解编码为种群中的个体并初始化,再按适应度评价选择,借交叉和变异产生后代,记录较优解并重复至终止;同时讨论编码合法性、完备性和算子选择对搜索的影响。
编码要区分非法解与不可行解
编码把决策变量映射到染色体,译码将染色体还原为问题解。译码结果可能出两种不同的问题:
- 非法解:译出来的东西根本不是该问题的一个解,落在解空间之外。示例:旅行商问题要求每个城市恰好访问一次,若交叉后染色体变成 3-2-5-3-…(城市 3 出现两次),它就不是一条合法路线。
- 不可行解:译出来确实是一个解,但违反约束、不在可行域内。示例:0-1 背包中,每个 0/1 向量都是一种“选不选”的方案,但总重超过背包承重时就是不可行解。
两者的处理不同:非法解要靠保合法的算子或合法化修复,不可行解可用罚分或修复处理。编码可按问题采用二进制、整数或混合表示,但需同时检查可达性、冗余、合法性及邻近基因扰动的影响。
适应度函数决定搜索方向
适应度函数给候选解打分,选择操作据此偏向较优个体,因此它实际定义了搜索压力。若评分不能准确表达目标和约束,搜索即使快速收敛,也可能只是稳定地找到错误或不可行的解。禁忌搜索也可直接用目标值评分,或为便于计算换用评价函数;替代评分须确认仍能把搜索引向所需目标。
补充教学示例(非书中数据)。背包容量 10,一件物品价值 8、重量 12。若适应度只计价值,选择会偏向装入它,搜索稳定收敛到超重方案;若超重记 0 或罚分,搜索才会离开不可行区。
选择交叉变异各有职责
选择把搜索资源偏向高适应度区域;交叉把两个父代的部分结构替换生成新个体,组合已有信息;变异用其他基因替换局部位,维持多样性并改善局部搜索、防止早熟。三者不能互相替代:过强选择会抽走配对材料,多断点交叉随交叉点增多更易破坏已有结构。
补充教学示例(非书中数据)。父代 1100 与 0011,在中间单点交叉得到 1111 与 0000(重组已有片段);再把 1111 末位变异成 1110(进入新的局部编码)。若每代只保留最高适应度个体,交叉再好也缺少第二个父代。
终止条件不等于全局最优证明
GA 常见三类停止条件:
- 达到最大进化代数:搜索预算用尽。
- 连续若干代最优个体未变化或适应度基本未改进:判定停滞。
- 近似最优值达到预设阈值:达到目标门槛。
前两类控制预算或停滞,第三类表达门槛;都不构成全局最优证明。记录结果时应写明触发了哪一项,并区分“达到阈值”和“已证明最优”。DE 同样可用最大代数或适应度阈值停止;增大代数可能提高精度,也增加运行时间。禁忌搜索还可按未改善次数、禁忌频率或评价值偏离阈值停止,同样只控制何时退出。
补充教学示例(非书中数据)。最大代数设为 200,第 200 代停下只说明预算用尽;若阈值是适应度 ≥ 0.99 而停,只说明达到门槛。
007 · 1.2.2 重要参数
解释种群、编码和遗传算子的参数如何改变搜索范围、效率与稳定性。 由种群规模和染色体长度的表示与计算代价,转向交配和变异概率对探索强度的控制,再讨论迭代次数、收敛阈值及动态参数的选择。
遗传参数控制探索强度
三个参数各自调节一种取舍:
| 参数 | 书中常用区间 | 调大的收益 | 调大的代价 |
|---|---|---|---|
| 种群规模 N | 20~100 | 每代覆盖更多候选,多样性高 | 计算量增加;过小则易局部收敛 |
| 交叉概率 Pc | 0.4~0.99 | 更多个体参与片段重组 | 已有好结构更常被拆开 |
| 变异概率 Pm | 0.001~0.1 | 新变体更多,维持多样性 | 过大会破坏已找到的较优解,使搜索倒退 |
这些区间只是经验起点,应按编码、目标函数和计算预算实验,并记录不同随机种子的结果;书中也允许在运行中自适应调整这些参数。
原书依据 · 1 处
008 · 1.3 基于遗传算法的组合优化
把遗传算法的通用机制转向离散变量的组合优化问题。 先界定在约束下选择整数、集合或排列以优化目标函数,再引出时间表、旅行商与 0-1 规划三个应用,供后续各项展开编码、约束和评价方式。
本项的取材边界:该节为导言,核心方法由后续三个问题实例展开。
009 · 1.3.1 基于遗传算法的 T T P 问题
以考试排程说明组合优化需要先分清可行性约束与质量目标。 由同场考试冲突等硬约束定义可行时间表,再以相邻考试及不同间隔的惩罚衡量软约束,最后提及无座位容量约束的测试数据;原书对目标式与硬约束式的相邻考试表述不完全一致,卡片保留了这一疑点。
排课先满足硬约束
考试排课先满足硬约束,再尽量满足软约束。硬约束必须成立,否则时间表不可用,常见有:同一考生同一时段不能参加多门考试、各门考试只能安排一次、全部考试都要排进表。软约束尽量满足但非必须,例如同一考生各门考试间隔尽可能大、分布尽量均匀。时间表质量由软约束违反程度决定,违反值越小越好。
补充教学示例(非书中数据)。学生甲周一上午已有考试 A,若再把考试 B 排到同一时段,违反硬约束,整张表不可用;若 B 排到周三,硬约束满足,间隔仍可用软约束惩罚比较质量。编码、交叉和变异若会破坏硬约束,需要修复、拒绝或惩罚。
平均冲突数衡量排课间隔
“平均冲突数”按每名考生两门考试之间隔了几个时段来罚分,间隔越近罚得越重:
| 两门考试的间隔 | 相邻 | 隔 1 个时段 | 隔 2 个 | 隔 3 个 | 隔 4 个 | 隔 5 个及以上 |
|---|---|---|---|---|---|---|
| 罚分 W | 16 | 8 | 4 | 2 | 1 | 0 |
式(1-4)把罚分汇总成平均值:f = Σ(W_s × N_s) / S。其中 W_s 是第 s 档罚分,N_s 是落在该档的考生人数,S 是考生总数;f 越小,考试分布越均匀。
示例(补充演算):3 名考生,甲两门考试相邻(16),乙隔 2 个时段(4),丙隔 6 个时段(0),则 f = (16 + 4 + 0) / 3 ≈ 6.7。
它改进的是式(1-1):式(1-1)只统计“连续参加两门考试”的人数,隔 1 个时段和隔 10 个时段在它看来没有区别;平均冲突数按间隔递减罚分,能区分这些可行时间表的松紧。
使用时要注意原书的不一致:式(1-2)把式(1-1)的相邻冲突数设为必须等于 0 的硬约束,而新目标又要求“依然满足式(1-2)”。照此理解,相邻那一档(W = 16)永远不会出现,式(1-1)作为目标也恒为 0。应按题设确认相邻考试是被禁止还是只被罚分,不宜把两式直接照抄为同一模型。
010 · 1.3.2 基于遗传算法的旅行商问题
用旅行商问题说明遗传操作必须尊重排列编码的合法性。 先以城市访问顺序表示路径解,比较直接排列与随机数编码,再介绍部分映射、顺序、循环和位置交叉如何修复或保持城市唯一性,最后列出反转、插入、交换和启发式变异所形成的不同邻域。
排列编码须保持城市唯一
旅行商问题(TSP)要求每个城市恰好访问一次,所以染色体必须是城市编号的一个排列。保证这一点有两条路:
- 直接表示:染色体就是访问顺序,如 9 城市的 3-2-5-4-7-1-6-9-8。普通的片段交换会让子代出现重复或缺失的城市,因此要用部分映射交叉(PMX)等保排列算子:交换片段后,按两个父代的对应关系把重复城市换掉,使子代重新合法。
- 随机数(随机键)表示:每位基因是 (0,1) 内的实数,解码时把各位从大到小排名,名次就是该位代表的城市。例如某位是 0.23、排名第 6,就译成城市 6。任何实数向量都能译成一个合法排列,交叉变异可以照常做在实数上。
第二条思路可迁移到调度:置换流水车间调度中,最小位置值、最大顺序值(LOV)等规则同样用“按数值排序”把差分进化(DE)的连续向量译成工件排列。
排列变异改变邻域结构
排列编码的变异只调整城市的位置,不增删城市,所以子代仍是合法路线。三种常见做法从同一父代出发,改动的“幅度”不同。
示例(补充演算):父代路线 1-2-3-4-5-6(回到 1),城市间距离对称。
| 变异 | 操作 | 子代 | 路线中被换掉的边 |
|---|---|---|---|
| 相反变异 | 把第 2~4 位倒序 | 1-4-3-2-5-6 | 2 条(1-2、4-5) |
| 插入变异 | 取第 5 位插到第 2 位 | 1-5-2-3-4-6 | 3 条 |
| 交换变异 | 交换第 2 位和第 5 位 | 1-5-3-4-2-6 | 4 条 |
“邻域”指一次变异能到达的所有候选。被换掉的边越多,一步跳得越远:相反变异更像细调,交换变异跳得更远。这就是不同算子定义不同搜索邻域的含义。选择算子再按适应度决定哪些候选进入下一代;比较算子时应控制同一问题实例与计算预算。
011 · 1.3.3 基于遗传算法的 0 - 1 规划
以 0-1 背包展示编码选择和不可行解处理对遗传搜索的影响。 先将物品选取写成容量约束下的收益最大化,再比较二进制、物品顺序与变长列表三种编码,最后说明超重方案可通过惩罚或解码修复处理,评价前须明确实际对应的可行解。
背包编码决定可行性处理
0-1 背包要在总重不超过承重 W 的前提下,选出利润最大的物品组合。三种编码对“超重”的处理不同:
| 编码 | 染色体含义 | 会不会超重 |
|---|---|---|
| 二进制 | 第 j 位为 1 表示选第 j 件,如 [0 1 0 1 0 0 0] 表示选第 2、4 件 | 会 |
| 序列 | 物品编号的排列,表示装入的优先顺序 | 不会:按顺序装,装不下的跳过 |
| 可变长度 | 直接列出所选物品,与顺序无关 | 会 |
书中例子:序列 [1 6 4 7 3 2 5]、W = 100,装入 1、6、4 后总重 90,再放 7、3、2 都会超重,只有 5 能让总重恰为 100。
二进制等编码产生的超重解是不可行解,有两种处理:
- 罚函数法:超出承重的重量作为罚值,压低其适应度。
- 解码修复:把被选物品按利润/重量比降序排,依次装入直到装不下。书中例子:选中 2、3、7 号,比值为 1.2、0.33、2.0,按 7、2、3 的顺序装;装 7、2 后重 80,再装 3 会到 110 > 100,于是染色体修正为 [0100001]。
用修复时要明确:参与评价并保留下来的是修复后的解,而不是原染色体。
012 · 1.4 基于遗传算法的图像处理
从组合优化转入图像处理,以 SAR 图像阈值分割示范遗传算法如何搜索任务参数。 先解释按灰度直方图划类的阈值分割及不同选阈值准则,再把单阈值和双阈值分别编码为 8 位和 16 位个体,最后用适应度评价和遗传算子搜索分割阈值。
阈值分割按灰度划类
阈值分割用一个或多个灰度界限把像素直方图分成几类,并假设同一灰度类内的像素属于同一类物体。选阈值的准则不同:Otsu 最大化类间与类内方差之比;也可假设目标与背景灰度服从不同均值、方差的正态分布,再最小化总体错分概率;Kapur 等则用最佳熵。这些准则都依赖灰度能区分目标与背景,不能仅凭阈值数目判断分割质量。
补充教学示例(非书中数据)。灰度 0~255,单阈值 100:像素 归一类,≥100 归另一类。双阈值 80 与 160 则分成三段。
遗传分割搜索阈值
遗传算法用于灰度图像分割时,每个个体就是一个阈值方案,算法最终输出的阈值直接用来分割图像。
- 单阈值:灰度在 0~255 之间,正好用 8 位二进制表示,解码就是转成十进制。示例:10000000 译为灰度 128。
- 双阈值:16 位二进制,前 8 位、后 8 位各译成一个阈值。示例:01100100 11001000 译为 100 和 200。
适应度函数按某个选阈值准则评估方案,例如 Otsu 的类间与类内方差之比或 Kapur 的最佳熵;再经选择、交叉、变异搜索。改变阈值个数时,编码长度和适应度函数都要相应调整。
013 · 1.4.2 基于遗传算法的图像增强
说明遗传算法如何搜索图像灰度变换,并揭示目标函数与视觉质量的差距。 先区分直接改灰度的空域法与变换后处理的频域法,再以空域方案把灰度映射编码为染色体,最后用适应度函数评估增强结果并讨论对比度指标的局限。
图像增强分空域与频域
图像增强强调目标区域或改善可见性。常用处理分成两类,区别是操作所在的表示空间,具体变换仍须按希望突出的图像特征选择。
| 方法 | 在哪里改 | 典型操作 |
|---|---|---|
| 空域法 | 直接改像素灰度 | 灰度映射,见 遗传编码生成灰度映射 |
| 频域法 | 先变到频域,处理后再变回空域 | 低通、高通滤波 |
空域改的是灰度值本身;频域改的是频率成分。选定类别后,还要定义“增强好不好”的指标,该指标未必符合视觉,见 增强目标未必符合视觉。
遗传编码生成灰度映射
在书中的空域图像增强方案里,染色体的二进制位用来构造输入灰度到输出灰度的映射;不同个体对应不同映射,再由目标函数筛选。
设输入图像最低、最高灰度为 I_min、I_max,染色体长 n = I_max − I_min + 1,每位 b 为 0 或 1。解码分两步:
- 累加:B(0)=0,B(i)=B(i−1)+b_{i−1}。B 是累计的“1”的个数,只增不减;某位为 1 表示输出灰度在此升一级,为 0 表示与前一灰度合并。
- 拉伸:O(i)=255·B(i−I_min)/B_max,把 B 缩放到 0–255,B_max 为 B 的最大值。
示例(补充):I_min=100、I_max=103,n=4,参与累加的三位依次为 1、0、1(染色体下标从 b₁ 记、式 1-12 从 b₀ 记,书中未说明偏移),则 B=0、1、1、2,B_max=2;输入灰度 100、101、102、103 分别映射为 0、约 128、约 128、255——灰度范围被拉开,101 和 102 被合并。
搜索对象是整幅图像的变换规则,不能把染色体误读为单个像素的标签。
增强目标未必符合视觉
图像增强的适应度函数只是质量代理。书中的经典函数 F = (1/n)Σg²(x,y) − [(1/n)Σg(x,y)]²,g(x,y) 是增强后各像素灰度,n 是像素数;它正是增强后灰度的方差,值越大说明灰度越分散、对比度越高。但提高灰度分布均匀度或对比度,不保证观察者觉得更清晰。用遗传搜索时须先说明要强化的视觉特征,再以图像样例复核目标函数,复杂图像可能需要更贴合任务的指标。
014 · 1.4.3 基于遗传算法的图像变化检测
以不同时相 SAR 图像说明遗传算法在变化检测流程中的位置。 先把同一场景两期图像配准、校正并构造差异图,再用阈值或聚类分析变化区域;当采用模糊 C 均值聚类时,遗传算法可搜索实数编码的初始聚类中心,以缓解随机初始化的敏感性。
变化检测先构造差异图
同一场景的两幅不同时相图像,先经配准与校正,再构造表示变化的差异图,最后用阈值或聚类判别变化区域。遗传算法可参与最后的参数搜索;若前两步未对齐,后续优化无法区分真实变化与配准误差。
遗传搜索聚类初始中心
模糊 C 均值(FCM)把差异图的 n 个像素值分成 c 类,但不是硬性归类:μᵢₖ 表示像素 xₖ 属于第 i 类的程度(隶属度),取 0 到 1,且每个像素对各类的隶属度之和为 1。算法最小化 J = ΣᵢΣₖ μᵢₖ^m·dᵢₖ²,dᵢₖ 是像素到聚类中心 vᵢ 的距离,m 是模糊度权值;J 越小,像素越贴近自己高隶属的中心。
FCM 的初始中心随机给定,结果对初始化敏感、易陷入局部最优。书中方案用实数染色体表示一组聚类中心,以 f = 1/(1+J) 为适应度(J 越小适应度越高),让遗传算法先搜索起点,再执行聚类;它针对初始化敏感性,不等于保证全局最优。
015 · 1.5 基于遗传算法的社区检测
引入多目标遗传算法,以社区划分的内部紧密与外部分离展示目标冲突。 先把无向网络的社区检测写成 NAR 与 RC 两个目标,再对比 NSGA-Ⅱ 的非支配排序、拥挤距离和精英保留,与 MOEA/D 的权重分解及邻域协作两条求解路线。
多目标搜索保留权衡解
多目标优化同时最小化 m 个通常相互冲突的目标:对决策向量 x 求 min F(x)=(f₁(x),…,f_m(x)),并满足不等式约束 gᵢ(x)≤0 与等式约束 hⱼ(x)=0。每个解对应一个目标向量,而不是一个分数。
示例(补充):两个目标都要小,解 A 为 (成本 3, 时间 5),解 B 为 (成本 5, 时间 3)。A 成本更好、B 时间更好,谁也不在两项上都胜过对方,两者都应作为不同取舍保留;若另有 C 为 (4, 6),它两项都不如 A,可以淘汰。
因此不能仅用某一个目标的最小值判定整体最好。遗传搜索需要比较候选解的目标向量,后续非支配排序和分解方法都是处理这种权衡的方式。
社区目标兼顾内聚分离
网络社区划分同时关心社区内连接紧密和社区间分离:书中以 NAR 衡量前者、RC 衡量后者,两者由模块密度函数拆分而来。设划分出社区 C₁…C_l,|Cᵢ| 为社区节点数,邻接矩阵 A 中两节点相连记 Aᵢⱼ=1:
- 内部度 d_in:社区内节点之间的连接数之和;NAR = −Σ d_in/|Cᵢ|,取负号使“最小化 NAR”等于让社区内部按规模平均更密。
- 外部度 d_out:社区内节点连到社区外的连接数之和;RC 以 d_out/|Cᵢ| 累计,反映社区间的分离程度,外连越少越分离。
两种指标分别刻画划分质量,遗传算法需按多目标方式比较候选划分,避免只优化一个指标而损害另一个。注意书中式(1-20)把 RC 也印成带负号的最小化目标,与“反映分离程度”的文义方向不一致,使用前应核对原论文。
非支配排序兼顾多样性
在多目标最小化中,若解 A 各目标都不差于 B、且至少一项更好,就说 A 支配 B。NSGA-Ⅱ用三项机制比较候选:
- 快速非支配排序:不被任何解支配的解为第 1 层;暂时去掉它们,剩余解中不被支配的为第 2 层,依此分级,层号越小越优先。
- 拥挤距离:同一层内无法分优劣,就优先保留周围同层解较稀疏的个体,使解在 Pareto 前沿(互不支配的解在目标空间形成的边界)上分布较均匀。
- 精英保留:子代与父代共同竞争下一代名额,好解不会因繁殖而丢失。
示例(补充):两目标都要小,A=(1,4)、B=(2,2)、C=(4,1) 互不支配,同属第 1 层;D=(3,3) 被 B 支配,属第 2 层。
层级负责目标权衡,拥挤距离和精英保留分别应对解集扎堆与好解丢失。
分解多目标为邻近子问题
MOEA/D 用一组权重向量与分解策略把多目标任务变成一组单目标子问题,并让权重相邻的子问题交换信息、同时优化。书中列出的分解策略有加权和法、切比雪夫法和基于惩罚的边界交叉法,权重向量常用单纯形格子法生成。
示例(补充,加权和法):两目标 f₁、f₂,取权重 (0.2,0.8)、(0.5,0.5)、(0.8,0.2),就得到三个单目标子问题:分别最小化 0.2f₁+0.8f₂、0.5f₁+0.5f₂、0.8f₁+0.2f₂。前者更看重 f₂,后者更看重 f₁;(0.2,0.8) 与 (0.5,0.5) 相邻,可共享彼此找到的好解。
权重决定搜索方向,邻域协作帮助解集覆盖不同取舍;若权重分布或分解方式不合适,所得前沿也可能不均匀。
016 · 1.5.2 遗传编码
解释社区划分如何转成遗传算法可搜索的染色体。 先介绍直接为节点分配社区标签的编码及同标签解码,再介绍每个节点指向自身或邻接节点的轨迹编码,并由指向关系汇成社区;两种表示决定遗传操作能够搜索的划分形式。
同标签节点组成社区
社区检测的标签编码为每个节点指定一个社区标签,解码时把标签相同的节点归为一组。染色体因此直接表达划分结果,适应度可评估社区质量;但仅靠标签相同并不自动保证组内节点实际相连。
书中九节点例子:节点 1–9,编码把 1–5 标成标签 1、6–9 标成标签 2,解码后得到两个社区 {1,2,3,4,5} 与 {6,7,8,9}。这与图 1.33 的连接是否吻合,要回头看网络边;标签相等只完成分组,不检查边是否都在组内。
邻接指向编码社区
轨迹编码让每个节点的基因值指向自身或一个相邻节点,解码时沿这些指向连接节点,形成社区。它把网络拓扑纳入编码,区别于任意赋相同标签的直接划分;图例中指向链分别汇成两个节点组。标签编码见 同标签节点组成社区。
书中规则:节点 i 的基因值从“与 i 相连的节点 ∪ {i}”中选取,取值范围 [1,N]。图 1.34 举例:节点 2 的相邻(含自身)为 1、2、3、4,该位编码选 3,表示 2 指向 3。解码查看这些指向把哪些点连成一块,块即社区。指向必须落在邻接(或自身)上,所以不会像标签编码那样把不相邻的点仅因编号相同就分到一组。
017 · 1.5.3 P a r e t o 最优解
为前述多目标社区检测补上比较候选解的形式定义。 先指出目标冲突使单一绝对最优难以成立,再以“各目标不劣且至少一项更好”定义支配;没有其他可行支配解的点形成最优解集,其目标向量构成帕累托前沿。
帕累托支配需全不劣
对书中按最小化书写的多个目标,解 A 支配解 B,须在每个目标上都不比 B 差,且至少一个目标严格更好。只在某一指标领先并不足以支配;若目标有最大化项,比较前须统一方向。
示例(补充,两个目标都越小越好):
| 比较 | 目标值 | 结论 |
|---|---|---|
| A 对 B | (2,3) 对 (2,4) | 一项持平、一项更小,A 支配 B |
| A 对 C | (2,3) 对 (1,5) | 各赢一项,互不支配 |
非支配解构成帕累托前沿
可行解中不被其他解支配(见 帕累托支配需全不劣)的解组成帕累托最优解集;把它们映射到各目标的取值空间,得到帕累托前沿。前沿展示不同目标的取舍,不直接指定唯一“最好”方案,最终选择仍需偏好或约束。
示例(补充,两个目标都越小越好):四个可行解的目标值为 A(2,3)、B(2,4)、C(1,5)、D(3,2)。B 被 A 支配,剔除;A、C、D 两两各赢一项,互不支配,组成最优解集,其目标值 (1,5)、(2,3)、(3,2) 连成前沿。要在三者中选一个,得先说明更看重哪个目标。
第2章 免疫算法
免疫算法把候选解称为抗体,把任务评分称为亲和度。克隆放大当前较好的候选,变异在其附近产生新方案,记忆池保存已有经验,随机补充则帮助恢复多样性。这里借用的是生物机制的设计思想;聚类与弧路由的算法含义仍由表示、距离、容量和可行性检查决定。路线花费与车辆需求容量尤其要分清,原书相关符号有疑点,不能把成本直接当承载量。
018 · 2.1 生物免疫系统与人工免疫系统
从生物免疫的识别和适应机制引出人工免疫系统的工程类比。 先介绍免疫系统组成与防御、稳定、监视功能,再列举分布式自治、记忆、抗体多样性、反馈等可借鉴机制,最后给出 AIS 的定义与应用方向;人物和会议为研究史背景,效果仍需任务验证。
人工免疫系统借鉴免疫机制
人工免疫系统是从生物免疫的识别、适应和记忆等机制获得启发,构造解决复杂问题的自适应计算系统。免疫术语在此是算法设计的类比,具体能力仍取决于表示、学习规则和任务验证,不能由生物原型直接推断算法效果。
免疫启发分布式自治设计
书中以免疫细胞和分子广泛分布、局部相互作用为启发,把人工免疫系统设计为没有单一中央控制的自治网络。实现时需明确局部规则、信息交换和全局协调条件;“分布式”只说明组织方式,不自动保证稳健或更优。
019 · 2.2 免疫算法实现
从克隆选择的生物类比过渡到优化算法的候选解更新过程。 先解释抗原刺激、高亲和抗体增殖和记忆形成,再把目标函数与候选解映射为抗原与抗体;图 2.2 给出初始化、亲和度评价、克隆变异、记忆池更新、随机补充和终止判断的循环。
克隆选择偏向高亲和候选
在克隆选择优化中,抗体表示候选解,亲和度表示目标函数评价。每轮优先复制高亲和候选,再对副本变异并重新评价,以在当前较优解附近继续搜索。高亲和度只反映当前目标与候选集,不等于全局最优证明。
记忆池保留较优抗体
图 2.2 的克隆选择流程并行维护搜索种群 P 和记忆种群 M:用 P 中高亲和候选替换 M 中较差候选,并用随机抗体替换 P 中低亲和候选。记忆池保存已有较优解,随机补充则维持探索;两者分别服务于保留与多样性。
020 · 2.2.2 人工免疫系统模型
补充人工免疫系统的记忆、反馈、多样性和克隆机制模型。 先列举已有 AIS 模型,再用记忆 T/B 细胞说明同类抗原再应答更快;原书只说此记忆不同于神经网络,未展开后者。随后介绍正负反馈并映射为可变比例控制,最后说明多样性与克隆后变异。
免疫反馈映射可变比例调节
生物反馈过程是:抗原多时辅助 T 细胞(TH)多、抑制 T 细胞(TS)少,B 细胞增多以清除抗原;抗原减少后 TS 增多、抑制 TH,B 细胞随之减少,系统趋于平衡。
简化模型中,第 k 代抗原数量为 ε(k),B 细胞总刺激为激励减抑制:S(k)=T_H(k)−T_S(k),其中 T_H(k)=k₁ε(k),T_S(k)=k₂f[ΔS(k)]ε(k);k₁、k₂ 为常系数,f[·] 是选定的非线性函数,ΔS 原书未单独定义,按记号可理解为刺激的变化量。
把 ε(k) 看作控制偏差、S(k) 看作控制输出 u(k),得到 u(k)={k₁−k₂f[Δu(k)]}ε(k)。普通比例调节器是 u=K·ε,K 固定;这里的 K=k₁−k₂f[Δu] 随输出变化而改变,所以称“参数可变的比例调节器”。它是简化的控制器模型,实际稳定性与参数效果仍需另行验证。
克隆后变异扩展搜索
若克隆仅原样复制父代,候选集的信息不会增加。用于优化时,需要在复制后增加变异等操作,才能从已有候选探索新解。克隆负责放大选中候选,变异负责改变搜索位置,两步不能混同。
免疫记忆使再应答更快
同类抗原再次刺激时,记忆 T 细胞和记忆 B 细胞使免疫系统更快产生更多、亲和力更高的抗体。这种特异性再应答是生物免疫记忆;记忆池保留较优抗体 只是借鉴其保留经验的算法设计。原书仅说它不同于神经网络的记忆机制,没有解释后者,不能据此推断具体差别。
021 · 2.3 基于免疫算法的聚类分析
先定义聚类任务、传统原型方法的局限及混合属性模糊聚类目标,为后续免疫聚类算法提供优化对象。 从无标签样本的相似性划分出发,指出原型方法依赖类别数、形状和初始化;随后给出数值与类属混合距离,再从硬划分扩展到连续隶属度,以加权距离目标衡量划分。
原型聚类依赖类数与形状先验
以原型和目标函数求划分的聚类方法,通常需要先指定类别数及原型类型。若真实数据同时包含不同形状的簇,统一原型会限制可表达的划分;若类数未知,初始化和模型选择也会影响结果。比较聚类方法时应把这些先验要求单独列出。
混合属性距离分项计算
对同时含数值和类属特征(如颜色、地区这类只有“相同/不同”的取值)的样本,书中距离式分两项计算:
d²(xᵢ,xⱼ)=Σ(数值维度差的平方)+λ·Σδ(类属取值),δ(a,b) 在 a=b 时为 0、不同时为 1。
示例:样本前两维为数值、后两维为类属,A=(1.0, 2.0, 红, 圆),B=(2.0, 2.0, 蓝, 圆),取 λ=0.5。数值项 (1−2)²+0=1;类属项颜色不同记 1、形状相同记 0,乘 λ 得 0.5;总距离 1.5。λ 用来调节两类特征的比重,避免偏向任何一种。
类别值没有天然大小顺序。若把“红=1、蓝=2、绿=3”直接放入欧几里得距离,会凭空得出“红离绿比离蓝远”的虚假数值关系。
模糊聚类用连续隶属度
隶属度 w_ij 表示样本 j 属于第 i 类的程度。硬划分把它限定为 0 或 1;模糊划分允许其在 0 到 1 之间,并保持每个样本对各类的隶属度之和为 1。书中混合属性目标函数用隶属度平方 w² 加权距离,再同时优化原型与划分。
为什么要平方:假设某样本到两个原型的距离分别为 1 和 3。
| 隶属度 (w₁,w₂) | 一次方加权 w·d | 平方加权 w²·d |
|---|---|---|
| (1, 0) | 1 | 1 |
| (0.5, 0.5) | 2 | 1 |
| (0.75, 0.25) | 1.5 | 0.75 |
一次方加权时,全给最近原型的 (1,0) 总是最小,“模糊”最优解又退回硬划分;平方加权时 (0.75,0.25) 更小,中间隶属度才真正有意义。这就是“非平凡”扩展的含义。
022 · 2.3.2 免疫进化方法
把上项的混合属性模糊聚类目标转成克隆选择算法的表示、评价和更新流程。 将一组聚类原型编码为抗体,再把越小越好的目标函数转成越大越好的亲和度;算法按亲和度克隆、变异、选择,并在解码后执行一步原型更新,重新编码迭代至终止。
聚类原型编码为抗体
克隆选择聚类把一组聚类原型 P 编成一个抗体,抗体代表一份候选划分方案。原型的各维特征按取值范围量化并串接为编码;解码后再由原型求隶属度矩阵 W。这样搜索对象是原型集合,而目标仍评价整个划分。
聚类目标转为抗体亲和度
本节聚类目标 C 越小表示划分越好,克隆选择却按亲和度越大越优来选择候选。书中用 f(A)=1/(1+C) 转换方向,使最小化聚类损失与最大化亲和度一致:例如 C=0 时亲和度为 1,C=1 时为 0.5,C=3 时为 0.25;分母加 1 也避免 C=0 时除以零。转换保留候选排序,但不改变原目标的建模假设。
023 · 2.4 基于免疫算法的限量弧路由问题
定义本章免疫算法要解决的限量弧路由任务,并交代已有启发式与元启发式求解脉络。 先说明待服务的是图中的边与弧、车辆需规划低成本路线,再概述问题规模与目标扩展,最后列举路径扫描、退火、禁忌、遗传及免疫克隆等方法的历史线索。
弧路由服务的是边任务
限量弧路由问题把必须完成的服务放在图的边或弧上,车辆从车库出发,安排若干受容量限制的回路完成这些任务并控制成本。与以访问节点为核心的路由题相比,经过一条边和为它提供服务是不同动作,模型需分别计费和计任务覆盖。
024 · 2.4.1 限量弧路由问题模型
给出 CARP 的图、车库、任务属性、约束和单目标/多目标形式。 从带方向与无方向任务边的图出发,区分服务、经过与需求属性;约束每车由车库出发返回、任务恰好服务一次及车辆容量,再比较总成本和最长路线成本。原书对容量式与成本的符号存在疑点,后续使用需核对。
弧路由区分服务成本与容量
CARP 给任务边分别设置服务消耗、经过消耗和需求量。路线目标是降低成本,容量约束则应按车辆承载的任务需求量核对。原书文字却把“经过消耗和服务消耗之和”与容量 Q 比较,式(2-18)的 d 也未在摘录中明确定义;套用该模型前须回查符号和问题定义。
弧路由兼顾总成本与最长路线
书中多目标 CARP 同时考虑所有车辆路线的总花费与最长单条路线的花费。前者衡量总体资源消耗,后者抑制任务分配过度失衡;两者可能冲突,应保留权衡解。原书式(2-20)仍标作 f₁,引用时按文字意义区分第二目标。
025 · 2.4.2 基于免疫协同进化的限量弧路由问题
把克隆选择的编码、评价、增殖、变异和可行性处理具体应用于 CARP。 以可行路线编码抗体,可用路径扫描等启发式产生初始种群;按路线质量和候选相似度设克隆比例,交叉变异后修复不可行路线。筛选子代时,两个候选均可行便按亲和度排序,否则在亲和度和约束违背程度之间随机选择排序准则;原文示例参数不能当通用建议。
克隆比例兼顾质量与相似度
CARP 克隆选择不仅按候选路线的成本评价质量,也考虑候选之间的相似性:若许多抗体很相似,继续大量复制会压缩种群多样性。克隆比例因而应同时参考抗体与目标的亲和度,以及抗体之间的抑制关系;具体尺度需按实例验证。
路由进化须修复不可行解
弧路由的交叉和变异可能产生违反服务或容量约束的路线。书中把修正放在变异之后、选择之前,使子代先回到可行域;也列出惩罚函数和多目标处理等替代策略。直接把不可行解按成本选入下一代,会混淆成本优劣与约束满足。
弧路由初始解可用启发式
免疫克隆算法求解限量弧路由时,抗体代表候选路线。纯随机初始化容易给后续搜索较差的起点;可用路径扫描等启发式生成初始路线,再按约束检查其可行性。原书只举贪心随机启发式为例,没有给出该方法的具体步骤或与随机初始化的对照数据,不能保证启发式总能更快收敛。
子代排序兼顾可行性与质量
限量弧路由的克隆选择不能只按路线质量排序。原书的随机排序法比较两个子代时:若都可行,就按与目标的亲和度排序;否则,以概率 p_f 按亲和度排序,以 1−p_f 按约束违背程度排序,再选前若干个进入下一代。这使可行性与质量共同参与筛选;书中 p_f=0.45 只是示例值,不能作通用参数建议。
第3章 Memetic算法
Memetic(模因)算法在种群演化之外增加局部搜索:全局操作提供不同起点,局部操作沿当前方案的邻域细化。社区检测中的节点、社区和集群层改变搜索粒度;大规模弧路由则先按路线相似性分组,再对较小子问题搜索并共享好解。两种应用都在降低整体搜索困难,但前者重组社区结构,后者分解任务,不能把它们写成同一条执行链。
026 · Memetic算法导言
定义模因算法的混合搜索特征,并介绍局部学习所得技能是否遗传的两种类比。 以遗传算法加局部优化引入 Memetic 算法,区分拉马克与鲍德温式继承,再说明种群搜索拓宽候选、局部搜索改进个体;性能比较仍依赖具体问题。
模因算法结合种群与局部搜索
模因算法(Memetic 算法,也称混合遗传算法)= 遗传算法 + 对每个个体做局部优化。
- 遗传算法部分负责“广度”:交叉、变异让种群跳到解空间的不同区域。
- 局部搜索部分负责“深度”:在某个解的邻域(只做小改动就能得到的那些解)里找更好的解,把交叉、变异产生的粗糙解推到所在区域的局部最优。
两者互补:只有全局搜索容易停在粗糙解上,只有局部搜索又容易困在起点附近。原书据此称混合后的性能通常优于单独使用任一种;实际效果仍取决于问题和所选算子,两层搜索的预算、邻域和评价方式要分别设计。
局部学习是否继承区分类比
两种继承模型的分歧只在一点:个体一生中学到的技能,要不要遗传给下一代。
- 拉马克继承:要。后代直接继承父代学到的技能。
- 鲍德温继承(原书译作“班德文继承”):不要。学到的技能只属于个体自己。
在模因算法里,“一生所学”对应个体经局部搜索得到的改进。据此可以追问:局部搜索得到的改进解,是否写回个体编码、随交叉传给后代(拉马克式),还是不写回、后代仍从原编码出发(鲍德温式)。原书说模因算法继承的是拉马克思想;这种映射是从类比推出的设计问题,原文没有给出具体编码实现。
027 · 3.1 M e m e t i c 算法发展历程
提供模因算法在社区检测、弧路由和其他任务中的研究脉络。 从文化进化与局部学习的类比出发,列举社区检测应用、弧路由中的局部与全局搜索改进,以及先分组再求解的大规模路由策略;各实验表现只属于相应文献和测试条件。
大规模路由可先分任务再搜索
限量弧路由问题(CARP):若干辆有容量上限的车从车库出发,为图中所有需要服务的边(“任务”,如要清扫的街道)各服务一次后返回,目标是总消耗最小。任务一多,可选方案急剧增加,就成了大规模 CARP。
RDG-MAENS 的做法分两步:
- 用路由距离分组(RDG)把整个任务集合分成多个小任务集。
- 对每个小任务集,各自独立运行 MAENS(在模因算法框架里加入扩展步长邻域搜索的方法)求解。
分组让每次搜索只面对少量任务,范围变小;代价是跨组的车辆容量、路线衔接与总体目标仍需单独核对。本节只概述策略,没有给出完整算法和效果边界。
原书依据 · 1 处
028 · 3.2 M e m e t i c 算法实现
给出模因算法从编码初始化到迭代终止的操作顺序。 确定表示和参数、初始化父代后,依次交叉、局部搜索、变异、再次局部搜索,随后按适应度评价并选择,未终止则重复。
模因流程在进化算子后局部改进
本书给出的模因算法流程图(图 3.1)把局部搜索写成进化算子之后的显式步骤,而不是笼统的“再优化一下”。一轮循环(步骤 3–9)的顺序是:
| 步骤 | 做什么 | 作用 |
|---|---|---|
| 3 | 交叉 | 产生新候选 |
| 4 | 第一次局部搜索 | 把交叉结果推到邻域更好处 |
| 5 | 变异 | 再扰动 |
| 6 | 第二次局部搜索 | 把变异结果再局部改进 |
| 7–8 | 评价适应度并选择 | 留下适应度高的个体 |
| 9 | 未终止则回到步骤 3 | 形成循环 |
这里的“流程位置”指局部搜索夹在交叉、变异之后各做一次,不是参考来源字段。两次局部搜索都会增加评价次数;实现时要单独记账,不能把它们并进交叉或变异里省略。
原书依据 · 1 处
029 · 3.2.2 M e m e t i c 算法改进
按表示、初始化和进化算子说明模因算法可调整的设计点,重点展开局部搜索。 先讨论编码及先验引导的初始化,再列交叉、变异与选择算子,最后比较爬山、退火和禁忌搜索的邻域机制;图 3.1 与前项流程相互印证。
局部搜索算子应匹配问题邻域
局部搜索由三个概念组成,都要按具体问题的解表示和约束来定义:
- 移动:从当前解产生新解的一次变化。
- 邻域:当前解一步(或很小距离内)能到达的解,即候选移动的集合。
- 候选集:本轮实际要评价的邻居,可以取全部邻居,也可以只挑最优的一部分或随机抽取。
不同局部搜索对“变差的移动”态度不同:爬山算法只接受让解变好的移动,到了局部最优就停下;禁忌搜索也接受不改进的移动,借此跳出局部最优。初始解质量同样影响表现,约束复杂时应先用启发式方法构造一个可行的初始解。所以模因算法的局部搜索算子要按问题的邻域结构和计算预算来选,不存在通用最优的一种。
先验知识可引导初始种群
模因算法可在没有先验时随机初始化;若掌握问题结构,可用启发式规则生成初始种群。先验能让搜索从更有希望的候选开始,也可能降低多样性,因此需要同时检查初始化质量与覆盖范围。
030 · 3.2.3 M e m e t i c 算法研究分类
区分规范模因算法与适应性模因算法,解释局部搜索策略如何从固定走向动态选择。 先界定规范算法对文化进化的模拟,再列举多模因、协同、超启发式等适应性分支,最后归纳从密母池为个体选取局部搜索策略的共同机制;原书的性能描述只限特定问题。
自适应模因算法动态选局部策略
“密母”(meme,文化基因)在这里指一种局部搜索策略。自适应模因算法(包括多模因、协同模因、超启发式等变体)的共同点是同时备有多个密母,组成密母池,搜索时动态决定用哪个:
- 随机或按特定方式生成种群。
- 对每个个体,从密母池中选一个合适的密母做局部搜索。
- 用局部改进后的种群取代原种群,继续迭代。
与规范模因算法相比,“该用哪种局部搜索”不再事先固定,而成为搜索过程的一部分;代价是要额外设计密母池和选择机制。
031 · 3.3 基于 M e m e t i c 算法的社区检测
引出复杂网络的表示和社区检测任务,为后续多目标模因算法的具体建模铺垫。 从节点与边的网络抽象进入分子网络和社交网络例子,再说明社区划分任务;最后以全局搜索结合局部搜索说明下一节采用模因算法的动机。
网络以节点和边表示实体关系
复杂网络把实体抽象为节点,把实体之间的相互作用或关系抽象为边。这种表示保留了连接结构,便于进一步寻找社区或重要节点;它省略了实体的大量内部细节,因此建模时要先确认哪些关系与问题有关。
联系前文或后续机制,可继续阅读:同标签节点组成社区。
032 · 3.3.1 多目标 M e m e t i c 优化算法
把社区检测写成多目标问题,并给出多目标模因搜索的优化目标与个体表示。 先组合多目标遗传算法的全局框架和局部优化,再用 NAR、RC 分别描述社区内聚与社区间分离,最后以节点标签向量编码候选划分;NSGA-Ⅱ 与 MOEA/D 在此仅列名,细节留待后文核对。
多目标模因搜索融合全局与局部
多目标问题要同时优化几个互相牵制的目标,比如买东西既要好又要便宜。它的答案不是一个解,而是一组彼此无法简单比较优劣的解。
多目标模因优化的结构是“框架 + 插件”:
- 框架:多目标遗传算法负责全局搜索、维护整组解,常用的有基于支配的 NSGA-Ⅱ 和基于分解的 MOEA/D。
- 插件:嵌入一个或多个局部优化算法,对解做邻域内的细化。
这样既保持整组权衡解的覆盖面,又能把其中的单个解改进得更好。一般的模因搜索见模因算法结合种群与局部搜索,多目标权衡见多目标搜索保留权衡解。
节点标签向量直接表示社区
可把一个社区划分编码成长度为节点数的向量,第 i 个位置存放节点 vi 的社区标签,取值范围就是社区编号范围;两个节点标签相同就属于同一社区。
示例(补充演示):5 个节点的个体 x = (1, 1, 2, 2, 2),表示 {v1, v2} 是一个社区,{v3, v4, v5} 是另一个社区。标签只用来判断“相同与否”,编号本身没有大小意义。
这种直接赋标签的表示不同于邻接指向编码社区,后者用拓扑关系约束基因取值。
联系前文或后续机制,可继续阅读:社区目标兼顾内聚分离。
033 · 3.3.2 局部搜索
把前项多目标社区检测的局部改进细化为模拟退火与节点、社区、集群三层学习。 先用模拟退火说明保留较差解的多样性机制,再从节点层更新标签,进入社区层压缩搜索,最后通过比较两个解的集群层重组拆开误并的节点;各层局部改进并不保证全局最优。
模拟退火允许暂时变差
一般的局部搜索只接受更好的邻居解,一旦周围都更差就停在局部最优。模拟退火不同:在邻域中找到较差的解时,也会以一定概率保留它,让搜索暂时离开当前较优位置,从而给解集带来多样性、有机会越过“小山丘”。
它借用固体退火的比喻,控制参数有:
- 初始温度 T:预先设得较高,起初更愿意接受差解。
- 退火因子 θ:控制降温速度,θ 越大降温越慢。
- 邻居解 P′:在社区检测中,就是与当前划分相似的新划分。
- 适应度函数 F:评价解的好坏;在基于分解的多目标算法中,是子问题上的适应度。
温度和降温速度要按问题调整,接受差解也不能保证最终找到全局最优。
节点层迭代更新社区标签
节点层学习是多层局部搜索的最底层,直接改单个节点的社区标签:
- 把 N 个节点随机排成一个序列 R。
- 按 R 的顺序逐个取节点,用标签传播规则或其他融合策略更新它的标签。
- 重复整轮扫描,直到所有节点的标签都不再改变。
“标签传播”一般指让节点改用邻居中最常见的标签,使连得紧的节点逐渐同号;书中此处没有展开具体规则,这是该术语的通用含义。随机顺序可避免每次都按固定次序更新。它能让解快速收敛到局部最优;但标签停止变化只说明在这套规则下稳定,不能证明全局最优,原书正是让遗传算法帮它跳出局部最优。
社区层压缩为超级节点
社区层学习作用在节点层学习得到的解上:
- 把每个社区的全部节点合成一个“超级节点”,组成新网络 G′。
- 若原网络中社区 Ca 的某节点与社区 Cb 的某节点有边,则超级节点 Ca、Cb 之间连边,权重为这些原边的条数之和。
- 在 G′ 上执行节点层学习(此时“节点”就是整个社区),再把结果映射回原网络。
示例(补充演示):Ca 与 Cb 之间原有 3 条边,则 G′ 中两者连一条权重为 3 的边;若节点层学习让它们同号,就相当于把两个社区整体合并。
这样一次能移动整团节点,帮助节点层跳出局部最优;但被错误合并进同一社区的节点,在这一层是一个整体,无法拆开。
集群层重组拆开误并社区
节点层、社区层学习都只会“合并”,被错误合在一起的节点再也分不开。集群层学习用两个解的对比来拆开它们。输入是种群中的最优解 xg 和社区层学习刚产生的解 xe,分两阶段:
- 重新分组:对 xg 的每个社区,若两个节点在 xg、xe 中都同属一个社区,新解里仍在一起;若它们在 xg 中同社区、在 xe 中却分属不同社区,新解里也拆开。
- 对重组后的解再做节点层和社区层学习。
示例(补充演示):xg 把 {1, 2, 3, 4} 放在一个社区,xe 把它们分成 {1, 2} 和 {3, 4},新解就得到 {1, 2}、{3, 4} 两个社区。
新解只保留两个解一致的部分,不一致的部分拆开,相当于综合两个解的社区结构。拆分能否有效,取决于输入的两个解是否带来有用的差异。
034 · 3.4 基于 M e m e t i c 算法的限量弧路由问题
以大规模限量弧路由为例,说明模因算法在复杂组合优化中的应用动机。 先指出问题规模扩大导致解空间指数增长和元启发式的时间、计算成本,再引入模因算法改善局部搜索,最后以 RDG-MAENS 的分治策略引出后续子问题求解与解共享机制。
大规模CARP搜索空间指数增长
限量弧路由问题(CARP):容量为 Q 的车辆从车库出发,为图中每条需要服务的边或弧(任务)恰好服务一次后回到车库,每条路线的消耗不得超过 Q,目标是总消耗最小。
任务越多,任务的分配和服务顺序组合越多,解空间随规模呈指数增长;任务数很大时称为大规模 CARP(LSCARP),车辆路径规划中这种情况很常见。精确求解已不现实,元启发式算法能在给定时间内找到次优解,但计算量大、耗时更长。模因算法加入局部改进,可帮助跳出局部最优、得到更好的解,但仍要按问题规模权衡解的质量与计算预算。
分治拆解大规模路由问题
大规模限量弧路由问题(LSCARP)指待服务任务很多的车辆弧路由问题,解空间随规模指数增长,整体搜索代价太高。RDG-MAENS 采用分治策略:
- 分解:按路由距离分组(RDG)把任务拆成多个子问题。
- 求解:对每个子问题分别求解。
- 合成:由各子问题的解拼出完整方案。
拆分把一次大搜索变成多次小搜索,于是“怎么分”和“怎么合”成了设计重点。原书提到的后续改进 IRDG-MAENS,针对的正是 RDG-MAENS 把个体分配到子种群的方式不合理,改进后收敛性明显提高。分组方法见 按路由距离聚类任务,子问题解的共享见 子问题好解应即时共享。
联系前文或后续机制,可继续阅读:模因算法结合种群与局部搜索。
035 · 3.4.1 路由距离分组
说明大规模弧路由中如何用路网距离构造路线相似性,并以聚类形成共同进化的任务组。 先以迪杰斯特拉算法计算节点间最短路,平均两个任务的四组端点距离,再对两条路线的跨路线任务对距离取平均;最后将路线间距离分别除以两条路线各自的自距离,并把两比值相乘后按相似性聚类、选择组中心。原书未说明自距离为零时如何处理。
按路由距离聚类任务
路由距离分组(RDG)要把“相似”的路线归到同一组。这里的任务是一条需服务的边(有两个端点),路线是一辆车依次服务的任务序列。距离不用地理直线距离,而用路网上的最短路距离(迪杰斯特拉算法求得),分三层计算:
- 任务距离(式 3-4):任务 z1 的 2 个端点与 z2 的 2 个端点两两组合,共 4 个最短路距离,取平均。
- 路线距离(式 3-5):Δroute(s1, s2) = 所有跨路线任务对 (z1∈s1, z2∈s2) 的任务距离之和 ÷ (|s1|·|s2|),即平均任务距离。
- 归一化(式 3-6):Δ̂route(s1, s2) = [Δroute(s1, s2)/Δroute(s1, s1)] × [Δroute(s1, s2)/Δroute(s2, s2)]。其中 Δroute(s, s) 是路线 s 内部任务两两的平均距离,可理解为路线自身的“松散度”。
示例(补充演算,数值为假设):s1 有任务 a、b,s2 有任务 c;Δtask(a, c) = 6,Δtask(b, c) = 10,则 Δroute(s1, s2) = (6 + 10)/(2×1) = 8。若 Δroute(s1, s1) = 4、Δroute(s2, s2) = 2,则归一化距离 = (8⁄4)×(8⁄2) = 8。
距离越小越相似,最后用模糊 K-medoids 对路线聚类,同组路线一起进化。原书没有交代自距离为零等边界情况,不能直接照式实现。
原书依据 · 1 处
036 · 3.4.2 子问题解的更替
接续大规模弧路由的任务分组,说明分解后如何让较好解及时参与后续搜索。 先指出仅保存最好解而不参与其他子问题求解的限制,再描述子问题独立搜索、及时替换、邻域共享与下一轮分解的循环;表 3.5 给出具体步骤。
子问题好解应即时共享
大规模弧路由(LSCARP)先按 RDG 拆成多个子问题。原文对比两种用法:RDG 只把搜到的最好解留下来,不根据当前群体信息给各子问题重新分配解,也不让该解参与其他子问题;IRDG-MAENS 则在某个子问题刚得到较好可行解时立刻替换当前解,并通过邻域共享交给邻近子问题继续搜。
示例(补充教学示例,非书中数据):子问题 A、B 各自管一组街道。A 刚找到一条更短的可行路线,立刻写入当前解,并把这条路线提供给任务相邻的 B。B 下一轮不必从过时方案起步。收益仍取决于怎么分解、邻域有多宽;表 3.5 给出及时更替的循环示意图,原书未在正文列出其逐格数字。
原书依据 · 1 处
037 · 3.4.3 基于分解的 M e m e t i c 算法
以 MOEA/D 框架说明多目标弧路由中子问题权重、邻域与遗传搜索的结合。 把两目标问题按权重拆成单目标子问题,再由权重距离构建邻域,从邻域选择个体产生新解并尝试更新;具体更新不等式疑有方向问题,不能据此推导精确替换规则。
本项的取材边界:本项的按权重分解、邻域协作和非支配解目标已由第 015 项卡片记录;新增的是应用到弧路由的流程,未形成不同的独立概念;更新不等式疑有方向错误,不按字面生卡。
第4章 粒子群算法
粒子群优化(PSO)把候选向量看作粒子,位置表示方案,速度表示下一步怎样改变方案。每个粒子保留自己的最好位置,群体也保留共同最好位置,两份经验共同引导移动。惯性、速度限幅和停滞扰动调节搜索范围。用于图像匹配时位置是模板坐标;用于旅行商时解是排列,必须重新定义离散移动,连续加法并不能直接产生合法路线。
038 · 4.1 粒子群算法起源
引入粒子群优化的基本定义、搜索直觉及与遗传算法的差异。 从社会系统模拟引出迭代优化,再说明粒子追随群体最优进行搜索、以协作竞争实现全局探索,最后概括其参数和实现特点。
粒子群以协作竞争搜索
粒子群优化(PSO)让一组候选解(每个候选解称为一个“粒子”)在解空间中迭代搜索:各粒子按适应度比较位置好坏,并追随当前最好的粒子移动,以个体间的协作和竞争实现全局搜索。它不依赖遗传算法的交叉与变异,概念较简单、参数较少;搜索效果仍需结合具体问题和后续更新机制评估。
原书依据 · 1 处
039 · 4.1.1 粒子群算法生物学基础
用鸟群觅食的启发解释粒子群算法的候选解表示,为下一节位置与速度更新铺垫。 先区分进化计算与社会行为模拟,再将觅食中的个体位置和距离抽象为解与适应度,最后引入粒子的位置、速度和适应度三个要素。
粒子携带位置速度与适应度
粒子群优化把每个候选解叫作“粒子”。粒子有三个量,其中“位置”是搜索空间里的坐标,不是卡片参考来源里的来源行:
| 量 | 含义 | 对应什么 |
|---|---|---|
| 位置 | d 维空间中的一个点 | 当前候选解本身 |
| 适应度 | 由目标函数算出的好坏 | 离“食物”(最优点)有多近 |
| 速度 | 下一步飞多远、朝哪飞 | 如何改写坐标得到新解 |
鸟群觅食只是比喻:鸟不知道食物在哪,只知道自己离食物还有多远,于是去搜当前离食物最近的鸟附近。算法里必须用具体目标函数定义“近”。
示例(补充教学示例,非书中数据):一维最小化 f(x)=x²。粒子坐标 x=3,适应度=9,速度 v=−1,下一步坐标变为 2。坐标越小,适应度越好。
原书依据 · 1 处
040 · 4.1.2 粒子群算法发展历程
交代粒子群算法受到学术关注的历史背景,并指出原书当时对理论基础的判断。 按会议专题、专著和期刊特刊的时间顺序列举研究活动,最后提出仍需深入研究理论和应用;该节不提供新的算法机制或可普遍使用的评价结论。
本项的取材边界:本项主要罗列学术会议、专著和特刊时间线,未展开新的粒子群定义、机制或可迁移判断;关于理论基础的评价属于原书写作时点。
041 · 4.2 粒子群算法实现
从个体与群体最好位置的记忆机制,说明基本粒子群如何调整速度和位置并循环搜索。 先定义并比较 Pbest、Gbest,再解释速度更新中当前运动、个体认知和群体认知三部分及位置更新;随后说明速度与位置范围、随机初始化,最后依图4.1梳理适应度评价、最优记忆更新、移动和停止判断的循环。
粒子群保存个体与群体最优
基本粒子群在“当前坐标”之外另存两份记忆(下文“位置”均指粒子坐标,不是来源行):
- Pbest_i:粒子 i 自己到过的最好坐标。仅当新坐标的目标值更好时才替换。
- Gbest:全体 Pbest 里目标值最好的那一份,供全群共享。
原文把 f(X) 定为最小化,因此式(4-1)只在 f(新坐标) < f(旧 Pbest) 时更新个体记忆;Gbest 取使 f 最小的那份 Pbest。若改成最大化,比较符号必须反过来。
示例(补充教学示例,非书中数据):两粒子最小化。粒子 1 旧 Pbest=5、f=25,新坐标=3、f=9,则 Pbest 改为 3。粒子 2 的 Pbest=4、f=16。Gbest 取 f 更小的粒子 1,坐标为 3。
速度汇合个体与群体经验
对粒子 i 的第 j 维,基本粒子群按式(4-4)、式(4-5)更新:
- 速度:v(t+1) = v(t) + c1·r1·[pbest − x(t)] + c2·r2·[gbest − x(t)]
- 位置:x(t+1) = x(t) + v(t+1)
符号含义:x 为当前位置,v 为当前速度;pbest 是该粒子自己到过的最好位置,gbest 是全群到过的最好位置;r1、r2 是 [0, 1] 内的随机数,用来保持群体多样性;c1、c2 为学习因子(加速因子),分别调节飞向 pbest、gbest 的步长。
三项各有含义:第一项是惯性,延续已有方向;第二项是“个体认知”,拉向自己的经验;第三项是“群体认知”,拉向群体的经验。
示例(补充演算,数值为假设):一维中 x = 2,v = 1,pbest = 4,gbest = 6,c1 = c2 = 2,r1 = 0.5,r2 = 0.25。新速度 = 1 + 2×0.5×(4−2) + 2×0.25×(6−2) = 1 + 2 + 2 = 5,新位置 = 2 + 5 = 7。粒子越过了 gbest,这正是原书要求给速度限幅的原因。
这个公式把搜索写成可解释的经验合成,但结果仍受目标函数和参数影响。
结构图:
flowchart LR
A[当前速度] --> D[合成新速度]
B[个体经验:Pbest与当前位置之差] --> D
C[群体经验:Gbest与当前位置之差] --> D
E[随机系数与学习因子调节两项] --> D
D --> F[新速度更新位置]
粒子群的迭代循环
基本粒子群先在边界内随机生成粒子位置与速度,再评价适应度并更新个体和全局最好位置,之后更新速度与位置;未满足终止条件就重新评价。图4.1把搜索写成循环,便于检查实现是否遗漏评价、最优记忆更新或停止判断。这里的“最好”由目标函数及其方向定义。
结构图:
flowchart TD
A[随机初始化位置与速度] --> B[计算适应度]
B --> C[更新各粒子的Pbest]
C --> D[更新群体Gbest]
D --> E[更新速度]
E --> F[更新位置]
F --> G{满足终止条件或达到最大代数}
G -- 否 --> B
G -- 是 --> H[输出当前最优结果]
速度限幅的搜索取舍
基本粒子群没有额外机制自动管住步长,因此把第 j 维速度限制在 [−vmax, vmax],把粒子坐标(这里的“位置”指坐标向量 X,不是来源行)限制在 [−Xmax, Xmax]。速度太大,一步可能跨过更好的点;太小,又扫不完搜索空间。限幅是在“跨步风险”和“覆盖不足”之间取舍,要按变量实际取值范围来设,并检查粒子是否长期贴边或几乎不动。限幅本身不能证明已找到全局最优。后文引入惯性权重 ω 后,原书认为可用 ω 平衡全局/局部搜索,从而减弱对 vmax 的依赖;那是后续改进,不是基本算法已经免除限幅。
示例(补充教学示例,非书中数据):当前坐标 x=4.8,最好坐标在 5.0,新速度算成 +0.5,vmax=0.2,则速度被截成 0.2,下一步到 5.0,避免一步跳到 5.3。
042 · 4.2.2 改进粒子群算法
比较四种粒子群改进方向,说明搜索机制及新增参数的取舍。 先以惯性权重调节速度延续,再用协同粒子群分解高维解、量子粒子群改用概率采样位置;最后列举与遗传、差分进化、退火和局部搜索的混合,并指出操作时机和参数成本。原书对性能的普遍判断缺少本节可核验条件,留作具体问题的实验命题。
惯性权重调节搜索跨度
带惯性权重的粒子群把速度更新改为 v(t+1) = ω·v(t) + c1·r1·[pbest − x(t)] + c2·r2·[gbest − x(t)]。基本粒子群就是 ω = 1 的特例。
ω 控制粒子保留多少旧速度:
- ω 大:粒子保持惯性、步子大,偏向探索新区域(全局搜索)。
- ω 小:旧速度衰减快,粒子主要被 pbest、gbest 拉着走,偏向细查当前区域(局部开发)。
常用做法是前期探索、后期加快收敛,让 ω 随迭代线性减小,例如从 0.9 降到 0.4。示例(补充演算):共 100 代时,第 50 代 ω = 0.9 − 0.5×50/100 = 0.65。
原书还指出,引入 ω 后可直接把每维速度上限定为该变量的变化范围,只调 ω。ω 只是调节搜索尺度的参数,不能单凭权重变化保证收敛。
协同粒子群分维搜索
协同粒子群用来应对高维问题的“维数灾难”(维度越多,搜索空间膨胀越快):
- 把 n 维解向量拆成 n 个一维分量,种群也拆成 n 个粒子群,每群只负责优化一个分量。
- 每次迭代中,各群独立更新自己的粒子,群之间不共享信息。
- 计算适应度时,把各分量拼回完整的 n 维向量,再代入原目标函数。
效果有两面:每群只做一维搜索,原书称它相当于局部学习策略,收敛精度高于基本粒子群;但存在明显的“启动延迟”,即演化初期收敛偏慢,而且粒子群数目越多越慢。变量之间强耦合时,拆分方式和跨群协调需要另行验证。
结构图:
flowchart LR
A[n维候选解] --> B[拆成n个一维分量]
B --> C[各粒子群分别更新]
C --> D[合成完整向量]
D --> E[计算目标函数适应度]
E --> C
量子粒子群以概率采样位置
标准粒子群的粒子沿速度一步步“飞”,每步只能到达速度所及的范围。量子粒子群(QPSO)借用量子力学,换了一种移动方式:
- 丢弃速度向量,用波函数描述粒子状态。
- 由薛定谔方程求出粒子出现在空间各点的概率密度函数,即粒子落在各处的可能性大小。
- 用蒙特卡洛随机模拟按这个分布抽样,得到粒子的新位置。
原书的理由是:按不确定原理,粒子可以以一定概率出现在可行区域的任何位置,因此全局收敛性能优于标准粒子群,可弥补后者遍历搜索空间不足的缺陷。这是原书的定性结论;实际表现仍取决于模型、参数和问题,“概率上可出现”不等于每次运行都能找到更好的解。
混合粒子群以额外参数换多样性
混合粒子群可把遗传变异、差分进化、模拟退火或局部搜索接入粒子更新,借不同算子补充搜索多样性。组合同时引入操作时机与强度等新参数,增加调试成本;是否改善结果应在具体目标函数上比较,不能仅因算子增多就认定更优。
043 · 4.3 基于粒子群算法的图像处理
展示粒子群搜索如何嵌入图像阈值分割,连接群体优化机制与图像处理目标。 先以熵、二维 Otsu 或最大类间方差构造阈值目标,再把候选阈值(或阈值向量)交给带惯性权重、量子、小生境或混沌变体搜索;二维阈值引入邻域信息但增加计算量。文中性能结论来自具体仿真,比较时应保留数据集、目标和耗时条件。
粒子群按阈值目标搜索分割方案
阈值分割用一个或几个灰度阈值把像素分类,例如灰度低于阈值的算背景、高于的算目标。难点在于找到最好的阈值:Otsu 法(最大类间方差法)、最大熵法等给出“分得好不好”的评分准则,但阈值越多,组合越多,逐一试算代价越大。
粒子群把它变成寻优问题:
- 粒子位置 = 一个候选阈值或阈值组合(阈值向量)。
- 适应度 = 该阈值下的分割准则得分(熵、类间方差等)。
- 粒子飞行 = 在候选阈值之间搜索得分最高者。
示例(补充演示):单阈值时粒子位置 t = 120,表示灰度 ≤ 120 归为一类、其余归为另一类,算出类间方差作为适应度;粒子群据此不断移动 t。
原书列举的变体各有侧重:带惯性权重的粒子群配最佳熵阈值;量子粒子群搜索二维 Otsu 的阈值向量(二维 Otsu 同时考虑灰度和像素的空间邻域信息,效果好但计算量大);小生境粒子群配最大类间方差;混沌粒子群缓解粒子过早聚集。这些都是各自实验中的结论,比较时应在同一批图像上同时看分割质量和耗时,不能由个别实验推出普遍优势。参见阈值分割按灰度划类、量子粒子群以概率采样位置、混合粒子群以额外参数换多样性。
044 · 4.3.2 基于粒子群算法的图像分类
说明图像分类的基本流程,以及粒子群搜索在特征、参数和集成分类器选择中的位置。 先给出预处理、特征提取、建模与评价的顺序;再以自适应 QPSO 和 SVM 的组合说明特征子集与参数联合搜索,最后用医学图像和遥感图像的案例展示集成选择与混合调参。案例性能只在原研究条件下成立,本节没有提供可直接外推的比较数据。
图像分类流程需闭环评估
图像分类先预处理图像,再提取可供模型使用的特征,最后训练分类器并评估结果。粒子群可插入特征选择、参数估计或分类器组合等搜索环节;要判断改进是否有效,还须固定数据划分和评价指标,与相同分类流程的基线比较。
结构图:
flowchart LR
A[图像预处理] --> B[特征提取与选择]
B --> C[分类模型]
C --> D[结果评估]
E[粒子群搜索] --> B
E --> C
粒子群联合搜索特征与参数
图像分类里有两个互相影响的选择:用哪些特征(特征子集),以及分类器的参数怎么设。分开优化时,先选好的特征换了参数可能就不好了。联合搜索把两者编码进同一个粒子:
- 粒子位置的一部分标记每个特征选或不选,另一部分是分类器参数的取值。
- 适应度 = 用这套“特征 + 参数”训练出的分类器的分类表现。
示例(补充演示):共 5 个特征时,位置的前 5 位为 (1, 0, 1, 1, 0),表示选用第 1、3、4 个特征,其余位存放 SVM 的参数值。
原书的例子是自适应 QPSO 加支持向量机(SVM):自适应 QPSO 会评估群体多样性,并结合变异、交叉操作调整策略,以缓解 QPSO 易陷入局部最优的问题。联合搜索扩大了候选空间,也提高了计算成本,是否更好需在具体数据上做对照实验。
粒子群搜索集成分类器组合
集成分类可把 SVM、KNN、AdaBoost 等模型作为候选,由粒子群搜索模型组合。搜索目标可同时考虑准确性与成员差异,避免仅重复选择同类预测器;原书的医学图像案例只说明一种组合设计,不保证在其他数据上优于单模型。
045 · 4.3.3 基于粒子群算法的图像匹配
把图像匹配建模为粒子群在有限图像区域内搜索模板位置的优化问题。 先定义模板和搜索图像及匹配位置,再以模板与候选区域的像素差构造适应度;粒子用行列坐标表示候选位置、用速度表示位移。若新位置越界,原书要求调整速度以避免越出搜索域,未给具体调整算子。
粒子坐标编码匹配位置
图像匹配要在较大的搜索图 I1(m1×n1)里找到小模板图 I2(m2×n2)所在的位置。把模板左上角放在 (i, j),就能和搜索图的对应区域逐像素比较。粒子群把它写成有界二维搜索:
- 粒子位置 = (i, j),第一维是行、第二维是列,范围 1 ≤ i ≤ m1−m2+1,1 ≤ j ≤ n1−n2+1,保证模板不出界。
- 适应度(式 4-10)= 模板每个像素与搜索图对应像素的灰度绝对差之和,值越小越匹配。
- 速度 = 行、列方向的位移:行方向正值向下、负值向上,列方向正值向右、负值向左。
示例(补充演算):2×2 模板灰度为 [10, 20; 30, 40],某候选位置下对应区域为 [12, 20; 30, 35],适应度 = 2 + 0 + 0 + 5 = 7;完全重合时为 0。
速度更新时惯性权重按 ω(t) = a·ω(t−1)(0 < a < 1)递减。若新位置越出上述范围,须调整速度让它回到解空间内;原书没有给出具体的调整算子。灰度差只适合灰度能代表目标相似性的任务。
结构图:
flowchart TD
A[模板与搜索图像] --> B[候选位置编码为行列坐标]
B --> C[计算区域灰度差适应度]
C --> D[粒子群更新速度与位置]
D --> E{新位置越界?}
E -->|是| F[调整速度以避免越界]
E -->|否| G[保留候选位置]
F --> C
G --> C
046 · 4.4 基于粒子群算法的优化问题
以旅行商问题说明连续粒子群怎样改写为排列空间中的离散搜索。 先回顾 TSP 的城市遍历与路线长度目标,再将粒子位置定义为城市排列、速度定义为调整序列;以 2-opt 片段倒序解释离散移动,最后列出适应度重算、Pbest/Gbest 更新和终止流程。混沌与蚁群混合方案仅是文献摘要,性能结论缺具体对照条件。
离散粒子群以调整序列移动
旅行商问题(TSP)要找一条遍历所有城市一次再回到起点的最短路线。路线是城市的排列,“位置 + 速度”这种连续加法用不上。离散粒子群(DPSO)重新定义了各个概念:
- 位置:一个城市排列,如 X = (1, 2, 3, 4, 5, 6, 7, 8),表示从城市 1 出发依次经过各城再回到 1。
- 适应度:整条回路的长度,越短越好。
- 速度:一组有先后顺序的调整操作,借鉴 2-opt 改变城市顺序。
原书示例:对 X 施加调整 (1, 6),即找到城市 1 和城市 6 的位置,把 1 之后直到 6 的那一段倒序,使城市 6 紧接在城市 1 之后,得到 (1, 6, 5, 4, 3, 2, 7, 8)。
连续公式里的三种运算被换成离散运算:
- 减号 → pbest Θ x:求出一串调整,使当前排列 x 变成 pbest 的排列。
- 乘号 → r ⊗ 调整序列:按随机数决定这串调整中保留哪些。
- 加号 → ⊕:按先后顺序依次执行调整。
每次调整后重新计算路线长度,并更新个体和群体最优。调整的执行顺序会影响结果;保留规则在原书中前后表述不一(一处写“按 r 的概率保留”,一处写“随机数大于 r 则保留”),实现前需自行确定。
结构图:
flowchart TD
A[城市排列作为当前位置] --> B[由个体和群体最优生成调整序列]
B --> C[按顺序执行路径调整]
C --> D[计算完整路线长度]
D --> E[更新个体与群体最优]
E --> B
联系前文或后续机制,可继续阅读:排列编码须保持城市唯一。
047 · 4.4.2 基于粒子群算法的配送中心选址问题
把连续配送中心选址建模为二维空间中的成本最小化搜索问题。 先以节点货运量、费率和距离构造总配送成本,再把待选中心的坐标作为粒子位置、以成本作适应度;粒子群在可行域内迭代并更新个体与群体最优。后续研究摘要介绍了边界处理和量子算子等改进,但未给足可复现细节与比较数据。
选址以加权运输成本寻优
连续选址问题:区域内有若干物流节点,要在平面上找一个配送中心位置 (xs, ys),使总运输成本最低。
- 总成本(式 4-19):H = Σ vi·ri·di。其中 vi 是节点 i 的运输量,ri 是到节点 i 的运输费率,di 是中心到节点 i 的距离。
- 距离(式 4-20):用欧几里得距离,di = √[(xi − xs)² + (yi − ys)²]。
粒子群的编码很直接:粒子位置 = 候选中心坐标 (xs, ys),适应度 = 该位置的 H,速度和位置按基本粒子群公式更新,到最大迭代次数时输出全局最优位置。
示例(补充演算,数值为假设):直线上两个节点,A 在 0 处、vA·rA = 1,B 在 10 处、vB·rB = 3。中心放在几何中点 5 时,H = 1×5 + 3×5 = 20;放在 B 处 10 时,H = 1×10 + 3×0 = 10。
运输量大或费率高的节点权重大,会把最优位置拉向自己,所以最优位置不一定是几何中心。
结构图:
flowchart TD
A[候选配送中心坐标] --> B[计算到各物流节点的距离]
B --> C[货运量 × 费率 × 距离]
C --> D[求和得到总运输成本]
A --> E[粒子群搜索候选坐标]
D --> E
E --> F[选择低成本位置]
F --> A
048 · 4.4.3 基于粒子群算法的函数优化
以复杂函数优化为背景,归纳粒子群运动公式调整与混合搜索两种改进方向。 先区分最大化、最小化与变量范围,再指出多峰和不可微问题的搜索困难;随后列举收敛因子和停滞阈值扰动对粒子运动的改写,最后回到量子粒子群及模拟退火等混合。原书部分公式记号不稳、性能比较缺完整对照,本节只保留可核验机制。
停滞阈值触发极值扰动
粒子群后期容易“早熟”:个体最优 pbest 和全局最优 gbest 长期不变,粒子都挤在同一处。极值扰动算子只在出现停滞时才扰动:
- t0、tg:个体极值、全局极值连续没有进化(未改善)的步数。
- T0、Tg:对应的停滞步数阈值。
- 扰动算子 r3:t0 ≤ T0 时取 1;t0 > T0 时取 (0, 1) 上的均匀随机数。r4 对 tg、Tg 同理。
更新公式中用 r3·pbest、r4·gbest 代替原来的 pbest、gbest。未停滞时乘 1,等于不扰动;停滞超过阈值后乘一个随机数,把吸引点挪开,迫使粒子离开当前极值点。
示例(补充演算):设 T0 = 5。t0 = 3 时 r3 = 1,pbest 照常使用;t0 = 6 时若抽到 r3 = 0.4,粒子改为朝 0.4·pbest 的方向靠拢。
这样额外探索由“停滞”事件触发,而不是每轮无条件扰动。阈值和扰动强度仍须在具体目标函数上验证。
联系前文或后续机制,可继续阅读:适应度函数决定搜索方向、混合粒子群以额外参数换多样性。
第5章 蚁群算法
蚁群算法让候选路线通过环境中的信息素共享经验。构造路径时兼顾已有信息素和距离等启发,完成后按路线结果更新痕迹;挥发使旧偏好逐渐减弱。禁忌表在旅行商构造过程中防止重复选城,信息素挥发则负责群体搜索记忆,两者职责不同。路径规划应用还须先将障碍表示为不可通行区域,不能让较高的信息素压过可行性约束。
049 · 5.1 蚁群算法起源
用蚂蚁觅食实验引出蚁群算法的随机优化思想及其间接通信机制。 先定义蚁群算法要模拟的觅食寻路,再用障碍实验展示多条路线并存;随后解释蚂蚁通过信息素留下路径经验,较短路径因强化更快而逐渐获得群体偏好。图5.1–5.3依次呈现直线路径、障碍分流和长时间后的路线集中;这是原文实验的趋势描述,不等于有限时间内必然找到全局最优的保证。
信息素强化偏向短路径
蚁群算法用信息素把走过的经验留在环境里,个体之间不直接对话。蚂蚁碰到还没走过的路口就随机选一条,同时释放与路径长度有关的信息素:路径越长,浓度越低。后来的蚂蚁更倾向走向高浓度方向,并继续加强所走路线。较短路径单位时间内积累更快,形成“偏好—强化”的正反馈,群体无需共享全局地图也能逐渐集中到短路径。Deneubourg 等实验描述的是长时间后的趋势(图 5.3),并不保证有限次运行一定找到全局最优。
结构图:
flowchart TD
A[蚂蚁在路口随机选路] --> B[沿路径留下信息素]
B --> C{路径长度}
C -- 较短 --> D[单位路径积累较快]
C -- 较长 --> E[信息素浓度较低]
D --> F[后续蚂蚁偏向高浓度路线]
E --> F
F --> G[继续搬运并强化所走路线]
G --> H[群体逐渐集中于短路径]
原书依据 · 1 处
050 · 5.1.2 蚁群算法发展历程
交代蚁群算法从蚂蚁系统到多个改进分支的研究时间线,并为下一节的实现规则提供背景。 从 Dorigo 提出蚂蚁系统和随后发表原理论文开始,按 Ant-Q、ACS、MMAS、RAS 等变体及混合策略的出现顺序列举研究方向,最后概述应用领域扩展和原书当时的理论评价。本项没有展开各变体的更新规则,不能从研究名单推导性能优势。
联系前文或后续机制,可继续阅读:信息素强化偏向短路径。
本项的取材边界:本项是 AS 及后续变体的出版和研究时间线;蚁群的寻路机制已在第 049 项成卡,本节仅列变体名称与未经展开的效果摘要,未出现可独立核验的新更新规则。
原书依据 · 1 处
051 · 5.2 蚁群算法实现
从蚁群搜索的一般机制推进到 TSP 中的选城概率、信息素更新和迭代流程。 先说明适应与协作阶段的正反馈,并以信息素挥发形成负反馈;再定义 TSP 与不重复访问约束,依次给出由信息素和距离启发值共同决定的选城概率、按路线长度更新信息素的规则,最后将初始化、逐城构造、更新禁忌表和迭代组合成算法步骤。正文把式(5-2)定义为所有蚂蚁完成后的全局更新,步骤3却称逐蚁用同式更新局部信息素;两处冲突,不能擅自推导局部公式。正文的泛化“鲁棒”评价缺少跨问题证据,不作为结论卡。
选城概率融合信息素与距离
蚂蚁 k 在城市 i 时,选城市 j 作为下一站的概率(式 5-1)为:
p(i, j) = τ(i, j)^α · η(i, j)^β ÷ Σ[对所有尚可访问的城市 u] τ(i, u)^α · η(i, u)^β;不可访问的城市概率为 0。
- τ(i, j):边 (i, j) 上的信息素浓度,代表群体的历史经验。
- η(i, j) = 1/dij:启发值,距离越短越大,代表“眼前看近的”这一局部偏好。
- α、β:分别调节信息素和启发值的影响力。
示例(补充演算,数值为假设):从 i 出发可去 A(距离 2、τ = 1)或 B(距离 4、τ = 3)。
| 参数 | A 的权重 | B 的权重 | P(A) | P(B) |
|---|---|---|---|---|
| α = β = 1 | 1×0.5 = 0.5 | 3×0.25 = 0.75 | 0.4 | 0.6 |
| α = 0,β = 1 | 0.5 | 0.25 | 约 0.67 | 约 0.33 |
| α = 1,β = 0 | 1 | 3 | 0.25 | 0.75 |
α = 0 时信息素不起作用,退化为随机贪心,最近的城市概率最大;β = 0 时只跟随信息素,算法会很快收敛,原书指出这样得到的路径往往与实际目标差距较大。两个权重表达的是搜索偏好来自哪里,单调调大其中一个并不能保证解的质量。
信息素挥发率调节群体记忆
式(5-2)的信息素更新:τ(i, j) ← (1 − ρ)·τ(i, j) + Σk Δτk(i, j)。
- ρ:蒸发率,0 < ρ ≤ 1,表示每轮旧信息素挥发掉的比例。
- Δτk(i, j):若蚂蚁 k 本轮走过边 (i, j),等于 1/Ck,否则为 0。
- Ck:蚂蚁 k 本轮整条路线的总长度。
示例(补充演算,数值为假设):ρ = 0.5,边上原有 τ = 2,本轮有两只蚂蚁走过它,路线总长分别为 10 和 20。更新后 τ = 0.5×2 + 1⁄10 + 1⁄20 = 1.15。路线越短,留下的量越多;ρ 越大,过去的记忆忘得越快。
需要注意的是,正文先说所有蚂蚁完成路径后才做全局更新,伪代码步骤 3 却写成每只蚂蚁选城后用同一公式“更新局部信息素”。原书没有解释这处冲突,不能据此实现局部更新规则;ρ 的取值也须按具体问题核验。
禁忌表防止TSP重复选城
TSP 要求经过每座城市恰好一次再回到起点。蚂蚁 k 用路径记忆向量 R 按访问顺序记下已走过的城市;从当前城 i 出发,候选集合 Jk(i) 只含“可直达、且还不在 R 里”的城市。按式(5-1)选出下一城 j 后,立刻把 j 写入禁忌表(即更新 R)。概率因此只在未访问城市之间分配,构造出的路线天然满足“每城一次”,不必先随便生成再修补。
示例(补充教学示例,非书中数据):4 城,已走 R=(1, 3),当前在 3。Jk(3)={2, 4}。若选中 2,禁忌表变为 (1, 3, 2),下一轮不能再选 1 或 3。
信息素挥发抑制过早收敛
路径强化是正反馈:好路上的信息素越积越多,蚂蚁更容易再走它,搜索也更容易过早挤到同一条路上(早熟)。挥发把每条边上的旧痕迹按比例抹掉,构成负反馈,让过时优势慢慢减退。挥发太弱,早熟仍压不住;太强,个体间靠信息素协作的痕迹又会被冲掉。ρ 要按问题和搜索阶段在“留住有效经验”与“重新探索”之间取舍,不能把“挥发越多越好”当成通用规则。正反馈本身见 信息素强化偏向短路径。
052 · 5.2.2 离散域和连续域蚁群算法
比较离散蚁群的信息素强化约束与连续蚁群的概率分布表示,说明两类搜索空间的机制差别。 离散域先按历史最好、路径排名或信息素上下限调整强化力度,再列动态、变异与混合方案;连续域把边信息素改作空间概率分布,以 ACOR 的加权高斯核和解档案说明采样与更新,其余连续变体仅简述方向。效果评价需限定在具体问题与实验条件。
路径排序分配信息素权重
排序蚂蚁系统(RAS)针对基本蚁群收敛慢:先按本轮完整路线长度升序给蚂蚁排队,再按名次分配信息素更新权值——路线越短,权值越大,从而提高较短解被后续选中的概率。它把“走过的边都能留痕”改成按解质量分层强化;名次靠前的边会被反复加强,探索空间也可能被压缩,仍须结合挥发、限幅等规则看是否过早停滞。原书未给出具体权值公式。
示例(补充教学示例,非书中数据):三只蚂蚁本轮长度 10、15、20,升序名次为 1、2、3。若权值取 3、2、1,则最短路线对信息素的贡献是最长路线的三倍。权值取法是演示,不是书中数据。
信息素限幅抑制路径垄断
“停滞”指蚂蚁都集中到同一条路线、不再探索新解。最大最小蚂蚁系统(MMAS)针对它做了两件事:
- 限幅:每条路径的信息素限制在 [τmin, τmax] 内,高于上限的压回 τmax,低于下限的抬到 τmin。这样任何一条路线都不会因反复强化而独占,弱路线也保留非零的被选概率。
- 只强化最好路径:每轮循环只更新最好路径上的信息素,更充分地利用历史信息,加快收敛。
示例(补充演示,数值为假设):若范围为 [0.1, 5],某边累积到 5.8 就截为 5,另一边挥发到 0.03 就抬为 0.1。
前一项防止过度集中,后一项又加强集中,上下限怎么设决定了两者的平衡,不能把限幅当作消除停滞的保证。
连续蚁群以概率密度采样解
离散蚁群把信息素存在“边”上,蚂蚁在有限条边中按概率选下一步。连续变量有无穷多个取值,没有可供标记的边,于是改把信息素表示成连续空间里的一个概率分布:哪里概率高,蚂蚁就更可能在哪里取值。
ACOR 的做法:
- 把蚂蚁至今找到的较优解存进档案,档案就是“信息素”。
- 以档案中的解为中心构造加权高斯核函数作为采样分布。高斯核即钟形分布,离中心越近概率越高;各解的权重不同,叠加后形成整体分布。
- 从这个分布中抽样,生成新的连续候选解,并计算目标函数。
- 用好的新解更新档案,分布也随之改变。
档案和分布承担了离散信息素的记忆作用:新解更可能落在历史好解附近,同时保留一定随机性。
结构图:
flowchart LR
A[较优解档案] --> B[加权高斯核采样分布]
B --> C[生成连续候选解]
C --> D[计算目标函数]
D --> E[更新解档案]
E --> B
精英蚁群强化历史最优
精英蚂蚁系统在每轮迭代后记录历次全局最优路线,再用这条历史信息增强信息素正反馈。跨轮保留最佳解,是它与路径排序分配信息素权重按路线长短分层强化的区别。原书没有给出独立更新公式、强化权重或对照结果,不能据此保证更快收敛或找到最优解。
053 · 5.3 基于蚁群算法的路径规划
把蚁群搜索机制放入移动机器人路径规划,界定全局与局部规划的环境信息边界及蚁群算法的适用范围。 先定义无碰撞路径及能耗、时间、距离等评价指标,再按环境信息已知程度区分掌握完整地图的全局静态规划与依赖传感器的局部动态规划;最后说明蚁群算法与全局寻路的机制相似,同时保留其搜索较慢、易陷局部最优的限制。
无碰撞先于路径代价
路径规划先要找到从起点到终点的无碰撞路线,再按能耗、时间、距离等指标评价路线优劣。安全可行性与路径代价是不同层次的要求:先明确哪些路线可走,再说明在可行路线中偏好什么;多指标之间如何取舍仍取决于具体任务。
规划层级取决于环境信息
路径规划可按环境信息是否预先已知分为全局与局部两类:全局规划掌握完整环境,适合静态模型;局部规划依赖传感器实时感知未知障碍,更适应动态环境,但仅凭局部信息可能陷入极值或振荡。蚁群算法属于随机全局优化方法,适合映射到已知环境下的全局寻路;其搜索慢、易陷局部最优的限制仍须单独评估。选择规划层级先看环境信息边界,再选算法。
结构图:
flowchart TD
A[环境信息已知程度] --> B[掌握完整环境]
A --> C[障碍物未知]
B --> D[全局静态规划]
C --> E[传感器实时感知]
E --> F[局部动态规划]
F --> G[局部极值或运动振荡风险]
D --> H[蚁群等全局搜索算法]
H --> I[核对搜索速度与局部最优风险]
054 · 5.3.2 算法描述以及实现
把全局规划的环境建模与蚁群搜索组合为移动机器人路径规划的实现流程。 先说明全局规划依赖完整环境信息且受信息质量、计算量和动态障碍影响;再用栅格的自由/占据状态及邻接关系表达可搜索空间;最后依次执行蚂蚁初始化、按转移概率移动并局部更新、比较较优路线并全局更新、终止判断和可行性处理。
栅格把环境转换为连通空间
栅格分解法把机器人所处的环境切成大小相同的方格,用一个栅格数组表示:
- 每个格子标为自由(可走)或被占据(障碍)。
- 混合格子(一部分是空地、一部分是障碍)按两者所占比例,归为自由或占据。
- 相邻格子互相连通,机器人只能在相连的自由格之间移动。
示例(补充演示):3×3 栅格中,0 表示自由、1 表示障碍,第一行到第三行依次为 (0, 0, 0)、(1, 1, 0)、(0, 0, 0)。从左上角到左下角,只能经右侧第三列绕过中间那排障碍。
这样,“找一条不碰撞的路线”就变成“找一串相连的自由格”,碰撞约束被转成离散的连通约束。代价是格子的分类误差会直接改变可走空间:障碍边缘被归为自由,路线就可能擦碰;归为占据过多,又可能堵死本可通行的缝隙。
蚁群路径搜索分局部与全局更新
机器人路径可映射为蚂蚁从蚁巢到食物源的搜索。每只蚂蚁依据相邻栅格和转移概率移动,并沿途局部更新信息素;迭代完成后再比较路线,对较优路径做全局更新,达到终止条件后处理可行性并输出。局部更新作用于行进过程,全局更新利用整轮路线结果;碰撞可行性仍由环境模型和输出检查保证。路径规划层级见 规划层级取决于环境信息。
结构图:
flowchart TD
A[栅格环境与连通关系] --> B[初始化蚂蚁和信息素]
B --> C[按邻接关系与概率移动]
C --> D[局部更新经过边的信息素]
D --> E{到达目标栅格}
E -- 否 --> C
E -- 是 --> F[比较本轮路线并全局更新较优路径]
F --> G{满足终止条件}
G -- 否 --> B
G -- 是 --> H[处理路径可行性并输出]
055 · 5.3.3 全局路径规划方法
概览蚁群全局路径规划的改进方向,并指出栅格规模对求解时间的影响。 依次列出滚动规划、遗传算子与信息素更新、模糊自适应、差分演化与混沌扰动,以及信息素阈值和死锁处理等研究摘要;这些方法均以栅格建模。结尾给出空白栅格多时反复更新路径的耗时问题。文献性能结论缺统一实验条件,仅作为后续核查线索。
栅格规模影响蚁群寻路耗时
以栅格建模的机器人寻路把可通行空间离散为候选位置。原书列举的蚁群改进方法在空白栅格较多时需要频繁更新路径,最优路径搜索因此耗时较长。评价这类方法时,应同时看路径质量与栅格规模、更新次数和运行时间,不能只比较最终路线长度。
联系前文或后续机制,可继续阅读:栅格把环境转换为连通空间、蚁群路径搜索分局部与全局更新。
056 · 5.4 基于蚁群算法的社区检测
把网络社区检测形式化为多目标优化问题,并引入分解式多目标蚁群算法的设计框架。 先定义 Pareto 占优、最优解集与最优前沿;再以图划分和模块度密度描述社区检测,并将目标解释为 NRA、RC 两项的多目标优化;最后说明分解机制如何把子问题与蚂蚁解映射到 Pareto 前沿,并列出编码、启发式信息和信息素更新等设计选择。已回看原 EPUB 的公式 SVG:NRA 的正负号与后续最小化目标不一致,不能直接认定目标变换等价。
非占优解构成Pareto前沿
多目标问题同时最小化 k 个目标(k ≥ 2),通常不存在在所有目标上都最好的单一解,因此需要“占优”来比较解:
- 占优:x1 在每个目标上都不比 x2 差,并且至少在一个目标上更好,就说 x1 占优 x2。
- Pareto 最优解(非占优解):找不到任何其他解占优它。
- Pareto 最优解集:所有 Pareto 最优解的集合。
- Pareto 最优前沿:把这些解的目标函数值画到目标空间里形成的区域。
示例(补充演示,两个目标都越小越好):A = (成本 3, 时间 5),B = (4, 4),C = (5, 6)。A 占优 C(两项都更小);A 与 B 互不占优,A 便宜、B 快。所以 A、B 是非占优解,C 被淘汰。
前沿保留的是目标之间的取舍候选,最终选哪个仍要结合决策者的偏好。
模块度密度化为双目标
模块度密度 D 用来给一个社区划分 S = (V1, …, Vs) 打分(式 5-7):
D = Σi [L(Vi, Vi) − L(Vi, V̄i)] ÷ |Vi|
- L(V1, V2) = Σ Aij(i ∈ V1,j ∈ V2),Aij 为邻接矩阵元素,有边为 1。
- L(Vi, Vi):社区内部节点的内度之和,社区内每条边计两次。
- L(Vi, V̄i):社区节点连向外部的边数(外度之和),V̄i 指 Vi 以外的节点。
- |Vi|:社区的节点数,用于按规模归一化。
示例(补充演算):4 个节点,边为 1–2、3–4、2–3,划分 V1 = {1, 2},V2 = {3, 4}。V1 的内度和为 2、外度和为 1,得 (2 − 1)/2 = 0.5;V2 同理为 0.5,所以 D = 1。
最大化 D 偏向内部连接密、外部连接少的划分。原书随后把它拆成 NRA 与 RC 两个最小化目标:RC = Σ L(Vi, V̄i)/|Vi|,最小化它就是减少社区间连边。但式(5-8)把 NRA 写成内部连边的正和 Σ L(Vi, Vi)/|Vi|,最小化它会压低社区内部连接,与最大化 D 的方向相反;只有把 NRA 取为负号,即 −Σ L(Vi, Vi)/|Vi|,才有 D = −(NRA + RC)。应用该双目标式前需自行核对符号,不能视作已证实的等价变换。
蚂蚁分工搜索前沿子问题
多目标社区检测要同时照顾若干互相牵制的目标(正文把最大化模块度密度改写成最小化 NRA 与 RC)。分解机制把它拆成一系列单目标子问题,每只蚂蚁负责其中一个子问题,它求出的解对应 Pareto 前沿上的一个点;许多蚂蚁一起,就用一组点去逼近整条前沿。这就是“蚂蚁分工搜前沿”。
实现时还要事先规定:蚂蚁与子问题如何对应、解怎样编码和构造、启发式信息矩阵与信息素矩阵如何定义和更新。本节只列出这些设计维度,没有给出可直接复现的完整更新公式。
示例(补充教学示例,非书中数据):两个目标 f1、f2 都要尽量小。把“更看重 f1”“两者各半”“更看重 f2”做成三个子问题,三只蚂蚁分别去搜,得到三个非占优点,连起来近似前沿。权重取法是演示,不是书中数据。
057 · 5.4.2 社区检测问题的改进
比较蚁群社区检测的多层搜索、解编码和标签传播改进,说明求解精度与解码成本的限制。 从社区内密外疏的划分目标出发,列出方法类型及蚁群法的收敛风险;接着介绍 MABA 的上层网络迭代及精度问题,再比较 MACO、IACO 的染色体表示与解码耗时,最后说明 BLPACO 以节点标签表示解,并用节点凝聚性引导构造时的蚂蚁转移以降低随机性。原书未给凝聚性计算和转移概率,各方案的效果也缺同一实验条件。
多层蚁群反复聚合社区
MABA 把蚁群与模拟退火、标签传播结合,并以 SABA 为子方法。局部模块度 Q 用来给当前社区划分打分:社区内连得更密、社区间连得更稀时 Q 通常更高。流程是:在当前网络上用 SABA 搜社区 → 把每个社区收成上层网络的一个点 → 再对这个更粗的网络跑 SABA → 比较 Q;Q 还在增加就把上层网络当作新的“当前网络”继续,直到 Q 不再增加。这样搜索粒度一层层变粗,原书称可以缓解模块度优化的分辨率限制,但求解精度较低。Q 停止增加只是本流程的停止条件,不能证明全局最优。与社区层压缩为超级节点相似,聚合改变了搜索粒度。
结构图:
flowchart TD
A[当前网络] --> B[SABA 搜索社区]
B --> C[以社区构建上层网络]
C --> D[计算局部模块度 Q]
D --> E{Q 继续增加}
E -- 是 --> A2[以上层网络作为当前网络]
A2 --> B
E -- 否 --> F[结束本轮多层搜索]
社区编码要计入解码成本
社区检测的候选解表示会影响整条求解链的耗时。MACO 借用染色体表示,让蚂蚁逐步选择节点编号填充解向量;原书称划分效果好,却指出解码耗时严重。后续 IACO 减少探索计算,仍未解决解码开销。比较改进方案时须把构造、解码和评价一并计时,不能只看搜索阶段或最终划分。
节点凝聚性引导蚂蚁转移
BLPACO 用每个节点的社区标签组成解向量,并在构造解时用节点凝聚性引导蚂蚁转移,以降低转移的随机性。这与同标签节点组成社区只说明如何从标签读出社区不同。原书未定义凝聚性的计算方法、转移概率或对照条件,不能据此复现算子或保证收敛增益。
联系前文或后续机制,可继续阅读:社区目标兼顾内聚分离、同标签节点组成社区。
第6章 狼群算法
狼群算法用头狼、探狼和猛狼组织候选解。探狼多方向试探,猛狼向头狼奔袭并在近处围攻,头狼随目标值竞争更新,淘汰与随机补位维持群体差异。调度应用把决策变量变成水位或电源分配向量,再由发电收益、成本与约束评价。输出当前最好头狼表示本次搜索的结果,达到停机条件本身不证明全局最优。
058 · 狼群算法(WolfPack Algorithm,WPA)
概述狼群协作捕猎的搜索行为,以及头狼选择和狼群更新规则。 将捕猎过程分为游走、召唤、围攻三类行为;再以“胜者为王”确定头狼、“强者生存”更新狼群。本项仅提供算法总览,后续章节需核实具体行为的触发条件和位置更新规则。
狼群算法分解捕猎协作与更新
狼群算法(WPA)把协作捕猎抽象为游走、召唤、围攻三种行为,并用“胜者为王”产生头狼、“强者生存”更新狼群。理解其搜索机制时,可把行为操作和群体选择规则分开看:前者描述位置搜索,后者决定引导者与保留成员。本单元只给出总体框架,具体更新步骤需在后续正文核实。
结构图:
flowchart TD
A[狼群算法 WPA] --> B[捕猎行为]
A --> C[头狼产生规则:胜者为王]
A --> D[狼群更新规则:强者生存]
B --> E[游走]
B --> F[召唤]
B --> G[围攻]
059 · 6.1 狼群算法起源
用头狼、探狼、猛狼和猎物分配说明狼群算法的行为类比,为后续位置更新规则提供角色背景。 先介绍狼群分工,再叙述探狼依据气味搜索、头狼收集信息并召集猛狼围攻,最后以不平均分配猎物解释群体更新的灵感。这些是算法原型叙述,具体搜索算子和有效性须由后续正文核验。
狼群角色分开探测与围攻
狼群算法的生物原型把头狼、探狼和猛狼分开:探狼依气味寻找猎物,发现线索后报告头狼;头狼决策并召集猛狼围攻。这个分工启发搜索算法把探索、信息汇总和集中开发分成不同操作。它只是原书的行为类比;具体位置更新和收敛效果仍须看后续算法规则,不能从动物叙述直接推出。
结构图:
flowchart TD
A[探狼搜索线索] --> B[向头狼报告]
B --> C[头狼决策与召集]
C --> D[猛狼围攻]
D --> E[先分给最先发现或捕获的强狼,再给弱狼]
联系前文或后续机制,可继续阅读:狼群算法分解捕猎协作与更新。
060 · 6.1.2 狼群算法发展历程
梳理狼群算法从一般捕猎概念到行为机制、角色分工及多种改进变体的发展。 从早期概念到 2011 年算法形式化,再到游走、召唤、围攻与等级角色;之后按领导者策略、二进制表示、文化信息、交互和自适应行为等机制归类改进。CWCA 由头狼以映射、扩展、收缩产生新点并替换较差点,但原书未给三种算子和比较规则。末尾汇总优化与调度等应用及文献中的性能判断;这些判断需回到各自基准和实验条件核验。
狼群变体以领导者或编码适配问题
狼群算法的改造可改变个体引导机制或解的表示。LWCA强化头狼作为领导者的作用;BWPA用二进制编码和运动算子表示搜索行为,面向离散组合问题。前者改搜索引导,后者改搜索空间表示;算法变体应按它解决的具体机制或表示问题来比较。
结构图:
flowchart TD
A[狼群算法变体] --> B[改变引导机制]
A --> C[改变解表示]
B --> D[LWCA:强化头狼领导策略]
C --> E[BWPA:二进制编码与运动算子]
D --> F[面向全局搜索引导]
E --> G[适配离散组合问题]
狼群改进围绕行为算子与信息利用
后续狼群算法通过文化机制、游走与召唤阶段的交互策略、自适应围攻、相位因子、围攻半径、合并游走与围攻,以及双高斯搜索等方式改造搜索过程。可把这些工作按信息利用、行为算子和局部/全局搜索权衡来归类;原书只概述方案与效果,没有提供足以统一复现实验的参数和比较条件。
跨论文性能结论须核对共同基准
算法综述常把“更快、更准、更稳”写进结论。若各论文的问题、基准函数、参数和评价指标并不相同,就不能把这些句子拿来给算法排名。
第 6 章在列举狼群变体后概括:相较其他智能算法,狼群收敛更快、精度更高、总体性能较好,并举函数优化、电网与水电站调度为例;该段没有给出对照算法、共同测试集或统一指标。同一方法论也出现在第 10 章对 DE 与 GA 的比较:正文称 DE 更稳、重复运行同解,GA 处理噪声更有优势,同样未给共同基准、噪声模型或完整参数。两处都应先当成待核线索,回到同一任务、同一实验设置下核对,而不是把综述句当作已证实的跨算法名次。
头狼映射扩展收缩替换弱点
CWCA 让头狼通过映射、扩展和收缩产生新候选点,再用新点替换较差的旧点。这比笼统说“改进狼群搜索行为”多了候选生成和替换两个步骤。原书没有定义三种操作的数学式、替换比较规则或对照实验,不能据此复现算法,也不能保证新点总会更优。
061 · 6.2 狼群算法实现
把前文的狼群分工类比落为头狼选择、探狼游走、猛狼奔袭、围攻和群体更新规则。 先以目标函数值选头狼;探狼在多个方向试探并择优移动;猛狼向头狼靠拢,进入距离阈值后以更小步长围攻;最后淘汰较差个体并随机补位。方向数、距离因子、步长与更新比例影响探索和精细搜索。式(6-2)的零分母及式(6-4)的记号不一致须在实现前核对。
头狼由目标值竞争产生
狼群算法先在搜索空间随机放置个体,用目标函数值选出当前最优者作为头狼;后续若出现更优个体就替换头狼,多个并列最优者随机选一。头狼只提供引导位置,不参与游走、召唤或围攻。它是随候选解质量变化的群体角色,不能把初始头狼当成固定最优解。
示例(补充教学示例,非书中数据):求最大值,三匹狼的目标值依次为 3、7、5。
| 时刻 | 候选目标值 | 头狼 |
|---|---|---|
| 初始化 | 3、7、5 | 值为 7 的那匹 |
| 出现新解 9 | 3、9、5 | 替换为 9 |
| 两匹同为 9 | 9、9、5 | 在这两匹中随机选一 |
替换只比较当前目标值,不保证头狼就是全局最优。
探狼多方向试探再择优移动
狼群算法里每匹狼的位置是一个候选解,“猎物气味浓度”就是该位置的目标函数值,越浓越好。探狼是除头狼外气味浓度最高的 S_num 匹狼,S_num 取 ([n/(\alpha+1),\,n/\alpha]) 内的随机整数(n 为狼群规模,α 为探狼比例因子)。
每次游走:
- 若探狼当前位置已优于头狼,直接接替头狼并发起召唤。
- 否则沿 h 个方向各试走一步再退回原位:第 p 个方向上第 d 维的试探位置为 (x_{id}+\sin(2\pi p/h)\cdot step_a^d),(step_a) 是游走步长。
- 在试探结果中选气味最浓、且比当前位置更浓的方向,真正前进一步。
重复游走,直到某匹探狼优于头狼或游走次数达到上限 (T{max})。h 可在 ([h{min},h_{max}]) 内随机取,h 越大方向越密、搜索越精细但越慢;这种逐步局部择优不保证找到全局最优。
结构图:
flowchart TD
A[选出探狼] --> B[沿 h 个方向试走]
B --> C[比较目标值并退回]
C --> D{存在优于当前位置的方向}
D -- 是 --> E[向最佳方向移动]
D -- 否 --> F[保留位置]
E --> G{优于头狼或次数达上限}
F --> G
G -- 否 --> B
G -- 是 --> H[结束游走或更换头狼]
奔袭与围攻按距离切换
猛狼是除头狼和探狼外的其余狼((M_num=n-S_num-1))。头狼“召唤”后,猛狼每步朝头狼移动一个奔袭步长:(x{id}^{k+1}=x{id}^{k}+step_b^d\cdot(gd^k-x{id}^k)/|gd^k-x{id}^k|)。其中 (g_d^k) 是头狼第 d 维位置;分式只取方向的正负号,所以每维固定移动 (step_b)。
- 途中若位置优于头狼,就接替头狼并重新召唤。
- 与头狼的距离小于判定距离 (d{near}=\frac{1}{D\omega}\sum{d=1}^{D}|d{max}-d{min}|) 时转入围攻;D 为变量维数,([d{min},d{max}]) 为第 d 维取值范围,ω 为距离判定因子。
- 围攻把头狼位置 (C_d) 当作猎物,按 (x^{k+1}=x^k+\lambda\cdot step_c\cdot|C_d-x^k|) 试探(λ 为 [-1,1] 均匀随机数),只有新位置更优才接受。
三种步长满足 (step_a=step_b/2=2\,stepc):奔袭步长最大,负责快速接近;围攻步长最小,负责局部精细搜索。ω 越大,(d{near}) 越小,收敛加快;但 ω 过大时狼很难进入围攻,精细搜索不足。
结构图:
flowchart TD
A[猛狼奔向头狼位置] --> B{优于头狼}
B -- 是 --> C[替换头狼并召唤]
B -- 否 --> D{进入距离阈值}
D -- 否 --> A
D -- 是 --> E[较小步长围攻]
E --> F{新位置更优}
F -- 是 --> G[接受新位置]
F -- 否 --> H[保留原位置]
狼群更新用随机补位维持多样性
狼群算法每轮淘汰目标函数值较差的 m 个个体,并随机生成同样数量的新个体,使群体规模不变。淘汰保留了当前较好候选,随机补位带来新的搜索位置,以缓和种群过早集中。替换数 m 取 ([n/(2\beta),\,n/\beta]) 内的随机整数,n 为狼群规模,β 为群体更新比例因子。
示例(演示数字,非书中数据):n=100、β=5 时,m 在 10~20 之间随机取;β 越大,每轮替换越少。替换太多会让算法趋近随机搜索,太少则补充多样性的作用有限。补位只增加探索机会,不能保证收敛或找到全局最优。
062 · 6.2.2 狼群算法流程
把前一项分述的行为操作串成可循环的狼群优化流程,明确停机与输出条件。 初始化种群和参数后选头狼,探狼游走,猛狼奔袭并围攻,再更新头狼和群体;达到预设精度或最大迭代次数时输出头狼位置,否则返回游走。图 6.2 与步骤顺序相符,但停止计算不等于证明全局最优。
狼群算法停机只输出当前头狼
狼群算法一轮经历探狼游走、猛狼召唤与围攻、头狼更新和群体更新;若达到预设寻优精度或最大迭代次数,就输出当前头狼的位置,否则继续下一轮。这个输出是该次搜索保留的最佳候选;达到次数上限只表示停止计算,不能单凭流程图把结果证明为全局最优。
联系前文或后续机制,可继续阅读:头狼由目标值竞争产生、探狼多方向试探再择优移动、奔袭与围攻按距离切换、狼群更新用随机补位维持多样性。
063 · 6.3 基于狼群算法的函数求解
为狼群算法的函数优化应用区分高维单目标、多峰单目标与多目标三类问题。 先指出维数、固定种群、迭代预算和局部极值给复杂单目标搜索带来的困难;再定义多峰优化须保留多个有用局部极值;最后说明多目标函数之间可能冲突,需保留折中解集。原文对难度的绝对化说法缺具体问题族,不作为普遍复杂度定律。
多峰优化保留多个局部极值
多峰函数优化要找到多个有用的极值点,供不同约束或偏好下选择;全局最优点在实际条件下未必可用,因此只输出一个解可能丢失备选。它关心同一目标函数的多个解峰,与多目标搜索保留权衡解处理多个可能冲突的目标不同。比较算法时,应看能否发现且保留多个不同的极值,而非只看单个最高得分。
高维函数搜索受预算约束
连续优化的维数增加,会让固定种群和有限迭代预算覆盖的候选位置相对稀疏;再遇到多个局部极值,搜索可能停滞或只得到精度有限的候选。评估群体智能算法时,应固定函数、维数和评价次数再比较结果。原书称搜索难度随维数指数增长,这是特定表示与采样假设下的风险提示,不能当作所有问题的定律。
联系前文或后续机制,可继续阅读:多目标搜索保留权衡解、非支配解构成帕累托前沿。
064 · 6.3.2 函数优化问题
定义狼群算法所求的单目标函数优化任务,并说明基础算法限制、连续搜索风险和一种自适应围攻改进。 先用目标函数、自变量范围及最大化/最小化方向刻画问题;继而限定基础狼群算法当前聚焦单目标,指出局部最优、过早收敛和敏感参数等风险;最后以改进搜索或融合为方向,并用迭代相关因子调整围攻步长。原文对算法普遍性能的概括缺少实验条件,按风险提示处理。
目标函数与取值范围定义搜索任务
函数优化是在自变量允许范围 (S) 内选择 (x),使目标函数 (f(x)) 达到最大或最小;真正要找的是相应的自变量取值。建模时,范围 (S) 和最大化/最小化方向共同决定什么候选算更好,方向写反会改变求解目标。
示例(补充教学示例,非书中数据):(S=[0,2]),(f(x)=x)。求最大时应取 (x=2)((f=2));求最小时应取 (x=0)((f=0))。同一函数、同一范围,方向一变,最优自变量就不同。
基础狼群算法限于单目标
本节把基础狼群算法的适用范围限定为单目标函数优化;多峰问题要保留同一目标的多个峰,多目标问题要协调多个目标,基础算法不能直接覆盖两者。要处理这些问题,需改造搜索机制或融合其他方法,先辨认目标结构再选算法变体。
狼群连续搜索受收敛与参数限制
基础狼群在连续优化中仍会陷入局部最优或过早收敛,且参数较多、部分参数敏感;高维大规模非线性问题会放大这些限制。可从行为搜索改进或与其他算法融合着手,但“精度高、全局能力强”等概括不构成保证,效果须按问题和预算比较。
自适应围攻按迭代调整步长
改进狼群把围攻更新改为 (x{id}^{k+1}=x{id}^{k}+v(1-\varepsilon t/t_{\max})\cdot step_c^d\cdot|Gd^k-x{id}^k|):t 为当前迭代次数,(t_{\max}) 为最大迭代次数,(G_d^k) 为猎物(头狼)位置,(|Gd^k-x{id}^k|) 是个体到它的距离,(step_c) 为围攻步长。
乘子 (v(1-\varepsilon t/t_{\max})) 随迭代线性变小,后期步长收缩、搜索变细。ε 取 (0,1) 内的随机数,作用是不让乘子在后期变成 0:
| (t/t_{\max}) | ε=1(对照) | ε=0.6 |
|---|---|---|
| 0 | v | v |
| 0.5 | 0.5v | 0.7v |
| 1 | 0 | 0.4v |
(演示数值,非书中数据)ε=1 时最后一代乘子为 0,位置不再变化;ε 时最终仍保留 ((1-\varepsilon)v)。原书称 v 让搜索不局限于朝 G 的单一方向、更全面地覆盖个体附近区域,但未给 v 的取值方式。参数效果仍需按问题验证。
065 · 6.4 基于狼群算法的优化调度问题
以微电网说明狼群算法从函数求解转向实际多目标调度时需要的目标与约束。 先介绍分布式电源异质性及天气、负荷和市场对微电网的影响,再列出建设、环境、运行成本等调度目标,最后概述以非支配排序和个体密度保持多样性的狼群方案。效果评价来自单篇研究摘要,缺统一对照,不作普遍结论。
微电网调度兼顾多种成本
微电网要协调运行特性不同的分布式电源,同时受天气、负荷和外部电力市场影响;调度模型因此需同时评价建设、运行和环境成本。只用大型发电机的单一调度目标难以表达这些取舍。书中的多目标狼群方案用两种机制保留多样化候选:
- 非支配排序:若方案 A 在各项成本上都不比 B 差、且至少一项更好,就说 A 支配 B;按是否被支配把方案分层,优先保留不被支配的一层。
- 个体密度保持:同一层中优先保留周围方案较少的个体,使结果分散在不同的成本取舍上,而不是挤在一处。
原书未给本节足够数据来证明这一方案普遍优于其他方法。
联系前文或后续机制,可继续阅读:多目标搜索保留权衡解。
066 · 6.4.2 基于狼群算法的水电站优化调度
把狼群搜索应用到年调节水库的多时段发电调度,连接目标建模、约束处理与群体搜索。 先以水量平衡、水位和出力约束定义发电量最大化问题;再用罚函数把约束并入适应度;最后将各时段末水位编码为狼的位置,按初始化、适应度评估、游猎/奔袭/围攻、竞争更新和终止判断迭代求解。效果仅按本节模型介绍,不外推为普遍性能结论。
水库调度以受约束发电量最大化
年调节水库把一年分成 T 个时段(如各月),已知各时段扣除损失和上游用水后的净入库流量,决策是每个时段用多少流量发电,目标是总发电量最大:
[\max\sum_{i=1}^{T}K\,q_i\,H_i\,\Delta t_i]
- K:综合出力系数;
- (q_i):第 i 时段发电流量;
- (H_i):第 i 时段平均水头(原文写作“平均水平”);
- (\Delta t_i):第 i 时段长度。
同时要满足水量平衡、水位和出力约束。发电量是流量与水头的乘积,又受这些约束限制,因此单看某时段流量增加并不能推出总发电量增加。实际建模应先统一时段和单位,再检验水量平衡。
罚函数把调度约束并入目标
罚函数法把“违反约束”折算成扣分,从而把难以直接处理的带约束调度模型改写成无约束形式。第 i 时段的罚函数为 (\phii=\alpha(\beta\phi{iq}+\phi_{iN})):
- (\phi{iq})、(\phi{iN}):发电流量约束和出力约束的罚项;约束全部满足时 (\phi_i=0),违反时 (\phi_i>0);
- α:罚系数,控制惩罚强度;
- β:平衡量级系数,把两类罚项调到可比的尺度。
适应度改为 (\max\sum_{i=1}^{T}(K q_i H_i-\phi_i)\Delta t_i),即发电量扣去罚值(K、q、H、Δt 含义同发电量目标)。
权重不合适会失衡:α 太小,违规方案可能因发电多而得分更高;α 太大,搜索几乎只顾满足约束。因此求解后仍要逐项检查原约束。
水位向量驱动狼群搜索调度
把每个时段末的水库蓄水位编码成一匹狼的位置向量:第 i 维是第 i 时段末水位,边界由该时段水位上下限给出。适应度用发电量目标减去约束罚项;约束全满足时罚项为 0,否则为正,见罚函数把调度约束并入目标。
示例(补充教学示例,非书中数据):T=2 个时段,位置 (110, 108) 表示第 1、第 2 时段末水位,各维必须落在对应的 [下限, 上限] 内。
算法先按上下限初始化并计算含罚项的适应度,再选头狼与探狼进行游猎、奔袭和围攻,仅在新位置更优时接受。未达迭代上限或收敛时,先按优胜劣汰替换较差个体,再回到适应度评价;达到停止条件才输出最佳水位序列。应用时应同时验证该序列遵守水量平衡和出力约束。
结构图:
flowchart TD
A[各时段末水位向量] --> B[按水位上下限初始化狼群]
B --> C[计算含约束罚项的适应度]
C --> D[选择头狼与探狼]
D --> E[游猎、奔袭与围攻搜索]
E --> F{新位置更优}
F -- 是 --> G[更新个体位置]
F -- 否 --> H[保留当前位置]
G --> I{达到上限或收敛}
H --> I
I -- 否 --> J[淘汰较差个体并竞争更新]
J --> C
I -- 是 --> K[输出最佳调度方案]
第7章 人工蜂群算法
人工蜂群算法(ABC)把候选方案表示为蜜源。采蜜蜂探索已有蜜源附近,观察蜂利用共享质量信息选择搜索对象,侦察蜂在停滞后重新探索。初始化、侦察策略和混合算子的改造围绕多样性与集中搜索的取舍。动态配送改变了目标随时间变化的方式,图像增强和融合则把曲线参数或频带权重交给搜索;算法名称相同不代表这些任务共用一套评价标准。
067 · 7.1 人工蜂群算法起源
以蜜蜂觅食时的信息交换引出人工蜂群算法的群体搜索类比,为后续具体实现铺垫。 先描述蜜蜂对蜜源信息的交流与协作,再引出基于觅食行为的 ABC;本项还并列提到蜂王产生过程,但没有把两种叙述统一为具体更新规则。性能评价仅作历史引文语境,不作为普遍保证。
人工蜂群借信息共享搜索蜜源
人工蜂群算法(ABC)借鉴蜜蜂觅食时交换蜜源信息的群体行为,让多个候选解通过协作搜索较好的位置。理解这一类比时应区分生物行为和算法规则:舞蹈、气味只是启发来源,具体如何更新候选解及评估质量,还要看后续算法定义;本节没有给出这些规则,也没有证明通用性能优势。
原书依据 · 1 处
068 · 7.1.2 人工蜂群算法发展历程
沿时间线补充 ABC 的提出、传播与早期研究脉络,连接算法起源和后续实现章节。 依次列出 2005 年技术报告、2006 年会议介绍、2007 年期刊论文及算法比较、2008 年比较研究和 2009 年研究网页;段末说明此后研究增多。原文没有展开这些工作的算法细节或实验设置,因此只保留历史脉络,不把性能评价当作普遍结论。
本项的取材边界:本节只列 ABC 的历史里程碑与引文,未新增算法定义或可复核机制;起源和信息共享启发已由第 067 项覆盖。性能及低成本结论无方法、参数或数据支撑,不作为知识卡。
069 · 7.2 人工蜂群算法实现
把第 067 项的觅食类比落到候选解表示、适应度和三种蜜蜂轮换搜索的框架。 先随机初始化蜜源,再把蜜源位置对应候选解、花蜜量对应适应度;每轮由采蜜蜂评价、观察蜂利用信息选择并搜索、侦察蜂寻找新蜜源,记忆当前最好并检查终止条件。原文未给更新公式或全局最优保证。
蜜源位置表示候选解
人工蜂群算法把一个蜜源的位置映射为优化问题的一个候选解,花蜜量映射为该解的质量或适应度;采蜜蜂或观察蜂的数量与解的数量对应。这一映射先定义“搜索什么、怎样评估”,具体位置更新和选择概率还需另行规定。阅读生物比喻时,应以候选解和适应度为算法对象。
三种蜜蜂轮换搜索
人工蜂群算法从随机蜜源开始:采蜜蜂关联已有蜜源并评价花蜜量,观察蜂利用已共享的信息选择蜜源并在附近搜索,侦察蜂为停滞蜜源寻找新位置;每轮保留迄今最好蜜源,直到满足终止条件。三种角色分别承担已有解利用、信息引导搜索和重新探索。原文未给具体选择概率或更新公式,也不能由迭代本身保证达到全局最优。
结构图:
flowchart TD
A[随机初始化蜜源] --> B[采蜜蜂评价已有蜜源]
B --> C[观察蜂按信息选择并搜索]
C --> D[侦察蜂寻找新蜜源]
D --> E[记忆迄今最好蜜源]
E --> F{终止条件成立}
F -- 否 --> B
F -- 是 --> G[输出当前最好解]
联系前文或后续机制,可继续阅读:人工蜂群借信息共享搜索蜜源。
070 · 7.2.2 混合人工蜂群算法
概述 ABC 的搜索特征、传统算法风险及围绕步长、种群多样性、群体混合和初始化展开的改进方向。 先将 ABC 描述为兼顾探索与开发,再列出早熟收敛、收敛慢和后期局部最优等风险;随后按策略类别介绍自适应变异步长、多样性驱动的侦察策略、PSO 信息交互、其他算法嵌入、快速变异、反学习初始化、差分进化及并行/分布式方案。多数方法只作摘要,未展开公式或统一实验条件,因此不推断普遍效果。
传统ABC的收敛风险触发改进
传统人工蜂群算法(ABC)有三类常被指出的风险,可作为诊断改进方向的清单:
- 早熟收敛:种群过早聚到同一区域、多样性丧失,停在不够好的解上;
- 收敛缓慢:需要很多轮迭代才逐步接近好解;
- 后期局部最优:迭代后期难以跳出当前所在的局部最优区域。
评价具体算法时应分别观察多样性、收敛速度和后期解质量;这段概述没有给测试条件,不能把风险说成每次必然发生,也不能据此判断某种改进普遍有效。
反学习中点生成初始种群
一种 ABC 初始化改进先为随机种群生成对应的反学习种群,再取每对对应个体的中点组成初始种群。它用成对候选共同构造起点,可能改变初始解分布。
示例(补充教学示例,非书中数据):一维区间 [0,10],随机个体 x=2。按常见反学习定义,对应点为 0+10−2=8,中点为 (2+8)/2=5。原书只写“对应”“中间个体”,未给出映射公式;上式是为讲清“中点”而补的常见定义,复现时须核对该映射并实测,不能把中点初始化当成已证明的质量提升。
种群多样性驱动侦察策略选择
按种群多样性判断并让侦察蜂选择搜索机制,是把群体状态用于策略切换的一种做法。它让搜索行为随种群状态调整,而不是固定一种探索方式;原文没有给出多样性度量、切换阈值或具体机制,不能据此推断何时切换及效果大小。
071 · 7.3 基于人工蜂群算法的函数优化
把 ABC 的搜索角色放入多目标函数优化语境,提示外部种群信息与解集维护;具体评价和存档规则尚未讲清。 先重复初始化、雇佣蜂、观察蜂、侦察蜂的候选解循环,再提到外部种群参与蜜源替换。原文“支配解不是最优解集成员”和后续外部种群用途之间语义含混,且未给多目标评价公式;本项不据此推导可执行的存档算法或全局最优保证。
联系前文或后续机制,可继续阅读:三种蜜蜂轮换搜索、非支配解构成帕累托前沿。
本项的取材边界:本项的 ABC 角色循环已由第 069 项成卡,多目标非支配概念已有第 017 项卡;新增的“外部种群提供支配解”语义与最优解集的关系不清,未给可复核选择规则,故不补造独立卡。
072 · 7.3.2 基于人工蜂群算法的动态优化
将前项函数优化从静态环境转向会变化的目标与约束,并以冷链配送说明时变数据对路线选择的影响。 先指出目标、约束、控制参数可随时间变化,再提出利用历史环境信息调整搜索;最后以冷链配送的时变车速说明静态路线的局限。本项未给 ABC 的动态更新公式或效果保证。
动态优化须跟踪变化目标
动态优化的问题环境会随时间变化,目标函数、约束或控制参数可能更新。因此,静态条件下求得的好解,在环境变化后须重新评价;既有搜索信息可作为后续调整的线索,但能否快速跟踪取决于变化速度、观测和更新机制。本节只提出用 ABC 处理动态问题的方向,未给跟踪规则或性能保证。
动态车速改变配送路线
冷链配送的车辆速度会随时段和交通状况变化,静态速度假设下的最优路线可能不适合实际执行。建模时应把行驶时间与时段关联,并在交通信息变化后重新评价路径,同时兼顾配送的多个目标。原书把这一点作为动态多目标优化的应用例子,没有给出可直接复用的交通预测或路径更新公式。
073 · 7.4 基于人工蜂群算法的图像处理
把 ABC 的优化搜索应用到图像增强中的灰度变换参数选择,同时交代相关改进方案的研究背景。 先说明采集和传输中的模糊、噪声及对比度问题,再列举 ABC 的多类应用和变体,最后以搜索非完全 Beta 函数的 α、β 为例,将灰度曲线选参转成优化任务。本项未给目标函数、变换公式和效果数据。
蜂群搜索灰度映射参数
图像对比度增强可以先选定参数化的灰度变换曲线,再把曲线参数当作候选解交给优化算法搜索。灰度变换曲线把每个输入灰度级(如 0~255)映射为一个输出灰度级;曲线在哪段灰度上越陡,那段灰度就被拉得越开,对比度也越高。参数不同,曲线形状不同,增强效果也不同。本节举非完全 Beta 函数的 α、β 参数为例,用改进的人工蜂群算法寻找参数后调整灰度。关键是把图像处理问题转成参数优化;原文未给适应度函数和曲线公式,不能据此确定具体实现或效果幅度。
联系前文或后续机制,可继续阅读:图像增强分空域与频域。
074 · 7.4.2 基于人工蜂群算法的图像分割
将灰度阈值分割回接到群体寻优任务,列举遗传、粒子群、免疫及 ABC 的阈值搜索研究。 先定义图像分割及目标与背景的灰度阈值划分,再说明阈值可作为优化变量、类间差等可作为评价准则;最后提及改进 ABC 的多阈值分割应用,但未给搜索更新或实测数据。本项新增机制不足,沿用已有阈值与群体搜索卡。
联系前文或后续机制,可继续阅读:阈值分割按灰度划类、遗传分割搜索阈值、粒子群按阈值目标搜索分割方案。
本项的取材边界:阈值分割定义、阈值向量表示和群体寻优映射均已有第 012、043 项卡;本项 ABC 多阈值研究只给摘要,未提供适应度、邻域更新或实验数据,故无可核验的新增机制卡。
075 · 7.4.3 基于人工蜂群算法的图像融合
定义多源图像融合,并给出 NSCT 分解配合 ABC 搜索高频融合权重的应用流程。 先说明融合需综合多信道信息且受配准与位宽影响,再把图像分解为低频和高频;低频采用平均规则,高频权重作为蜜蜂表示的候选解,用综合性能评价,经 ABC 迭代后逆变换生成图像。文献效果仅按本项摘要保留,不外推。
图像融合整合多源信息
图像融合把多个信道对同一目标采集的图像合成一幅图,目的是综合各自的有利信息,改善后续观察和分析。融合前需注意两点一致:
- 配准:各源图中同一位置的像素要对应目标上的同一点,否则合成时会错位重影;
- 像素位宽:每个像素用多少二进制位表示,例如 8 位表示 0~255 级;位宽不同,数值尺度就不同,不能直接相加或比较。
两者任一不满足,直接组合都可能损害结果。高质量融合不等于每个指标都必然提高,仍须按任务评价。
蜂群搜索融合高频权重
多聚焦图像是对同一场景、对焦位置不同的几幅图,每幅只有部分区域清晰。一种融合方案先用 NSCT(非下采样 Contourlet 变换)分解源图像:低频系数描述整体亮度和轮廓,高频系数描述边缘、纹理等细节;原书称 NSCT 具有方向性、各向异性和平移不变性。
低频系数直接取平均;高频系数需要决定各源图像所占比例,即“融合配比权重”。每只蜜蜂表示一组权重,融合后的综合性能指标充当适应度。ABC 迭代搜索权重,随后逆变换生成融合图。关键是让优化算法选择高频融合参数,效果仍取决于指标定义、图像配准与对照实验;原文未给指标公式。
结构图:
flowchart TD
A[配准后的多源图像] --> B[NSCT分解]
B --> C[低频系数取平均]
B --> D[高频系数设置配比权重]
D --> E[ABC搜索权重]
E --> F[以融合性能指标评价]
F --> G[选定权重]
C --> H[逆变换生成融合图]
G --> H
第8章 细菌觅食优化
细菌觅食优化(BFO)通过趋化、复制和迁徙搜索。趋化产生局部移动,复制按表现保留或扩增个体,迁徙重置部分位置以摆脱停滞。固定步长难兼顾广域探索和精细搜索,因此有按阶段或适应度调整步长的方案;随机迁徙又可能丢失好解,所以需要说明精英保护。把粒子群等操作接入后,还要检查旧趋化结果是否真的参与下一步。
076 · 8.1 细菌觅食优化算法起源
从大肠杆菌觅食与群体择优的生物类比引出 BFO,为后续算法步骤做概念准备。 先交代 Passino 的启发来源,再叙述移动寻找有利环境、适宜时繁殖以及不利条件下消亡;本项不把生物器官细节转成算法规则,形式化步骤留待后文。
细菌觅食模拟群体择优
细菌觅食优化(BFO)从大肠杆菌寻找有利环境的群体行为取得启发,把移动、适宜位置的保留与繁殖、不利位置的淘汰转成候选解搜索的类比。它说明算法会在多个候选位置间反复探索和选择;本节只有起源与生物叙述,具体步长、适应度和更新规则要由后文确定,不应直接把生物细节当作可执行算法。
原书依据 · 1 处
077 · 8.1.2 细菌觅食优化算法发展历程
梳理 BFO 从参数自适应和与其他进化算法融合两条路线发展的研究,同时提示混合机制与多样性的代价。 先列趋化步长、个体作用及适应度调整方向,再列 PSO、DE、GA 等混合尝试;后段具体指出按觅食表现改步长、PSO 位置更新覆盖趋化作用、交叉变异可能损失优秀个体。效果和历史成熟度均依本节年代,不作为当前共识。
趋化步长按觅食表现调节
在细菌觅食优化(BFO)中,“趋化”是细菌(候选解)朝更优位置移动的操作,对应大肠杆菌向营养更丰富的区域游动;趋化步长就是每次移动的距离。步长可依据个体在觅食生命周期内获取的“能量”(即觅食表现)自适应调整。本节举出的设计让较优细菌采取较大步长、较差细菌采取较小步长,以改变不同个体的搜索尺度。理解该策略要同时检查评价指标、步长上下界和局部精细搜索的损失;原文只给方案摘要,不能推出对所有函数都更有效。
混合算子须检验原机制
BFO 的趋化算子负责细菌每一步的局部移动;粒子群算法(PSO)则按群体已找到的最好位置(全局极值)计算粒子的新位置。把 PSO 位置更新嵌入趋化算子时,若细菌在每个趋化周期后都直接按全局极值和 PSO 公式重算位置,趋化移动的结果就被覆盖,原书据此指出趋化算子失去实际作用,却新增了计算成本。混合算法应检查两个机制是否都影响搜索,再比较精度、时间和复杂度;仅把两个算法名称拼接不能证明互补。
交叉变异需保护优解
为 BFO 种群引入交叉和变异可以增加多样性,但也可能把当前优秀个体破坏或替换。设计混合进化算子时应明确优秀解的保留条件,再评估多样性收益与最佳适应度变化;本节只指出这一取舍,没有给精英保留比例或保证改进的规则。
078 · 8.2 细菌觅食优化算法实现
把前项觅食类比转为趋化、复制、迁徙三类基本搜索操作,并区分各自职责。 先用趋化评价与调整个体位置,再按位置质量排序淘汰并复制,保持群体规模;最后按概率重新置位部分个体,以覆盖新区域。淘汰数量的记号在本项正文前后混用,故本章大纲只保留文字规则。
细菌觅食以三操作搜索
BFO 把每个细菌的位置当作一个候选解,用趋化、复制、迁徙三种操作迭代搜索:
- 趋化:模拟大肠杆菌向营养更丰富区域游动,依据当前位置的优劣决定是否、如何调整位置;
- 复制:群体规模为 S 时淘汰一半((S_r=S/2))。按位置优劣排序后删去后一半,前一半各自复制一份,规模保持不变;
- 迁徙:按预设概率把部分个体重新随机置位,增加对其他区域的探索。
复制示例(演示数字):S=6 时排序后删去后 3 个,前 3 个各复制一份,仍为 6 个。理解流程时应分清局部移动、选择保留和随机重启的职责;本节未给完整的步长和概率设定。
结构图:
flowchart TD
A[候选细菌群体] --> B[趋化:评价并调整位置]
B --> C[复制:较优保留、较差淘汰]
C --> D[维持群体规模]
D --> E[迁徙:按概率重新置位]
E --> F{达到停止条件}
F -- 否 --> B
F -- 是 --> G[输出当前候选解]
联系前文或后续机制,可继续阅读:细菌觅食模拟群体择优。
079 · 8.2.2 细菌觅食算法的流程
用图 8.1 展示 BFO 的初始化与趋化、复制、迁徙三类操作的循环组织;操作定义承接前项。 图像给出参数和种群初始化、三类计数判断与对应操作,并在达到迁徙次数时结束。但“达到复制次数”连向趋化、“达到趋化次数”连向复制的分支不易与计数语义一致解释,本项正文只有图题,无进一步说明;因此只保留可确认的操作层级,不照图写伪代码。
联系前文或后续机制,可继续阅读:细菌觅食以三操作搜索。
本项的取材边界:本项只有图 8.1 的三操作流程图,操作定义已由第 078 项卡保留。图中的“达到复制次数”是分支指向趋化、“达到趋化次数”是分支指向复制,与通常嵌套计数语义不直观;本项没有正文说明可消歧,故不把图机械抄成独立流程卡。
原书依据 · 1 处
080 · 8.3 基于细菌觅食算法的图像匹配
讨论固定趋化步长的局限,并引出按搜索时期、适应度和群体差异调节步长的方案;本项主要讲自适应步长,未展开图像匹配流程。 先指出前期广域探索与后期精细搜索需要不同尺度,以及统一步长会使近优个体振荡、远处个体推进慢;再叙述文献[28]的阶段和个体自适应策略。后期精英小步、较差个体大步与第 077 项所举另一方案方向不同,不混成通用更新规则。
步长策略须区分阶段与个体
固定趋化步长难同时满足搜索前期的广域探索和后期的局部精细搜索。本节的方案按迭代阶段、个体适应度和群体差异调节步长:步长与搜索时期的关系被概括为前期快速增大、中期缓慢增大、后期快速减小(原文用三角函数曲线类比);到了后期,精英细菌走小步,较差个体走大步。
示例(补充教学示例,非书中数据):后期同一轮中,较优个体步长 0.1、较差个体步长 0.8——前者在已锁定区域细搜,后者大步靠近当前较好区域。这与趋化步长按觅食表现调节所举“优秀个体大步、较差个体小步”方向相反,说明步长策略取决于阶段与目标,不能当成 BFO 的统一规则。原文实验描述为初期步长普遍较大、随后逐步减小,不是对所有函数的保证。
联系前文或后续机制,可继续阅读:趋化步长按觅食表现调节。
081 · 8.3.2 最优解逃逸
解释随机迁徙在跳出局部极值与保护当前优解之间的冲突,并给出限定迁徙对象的策略。 先说明迁徙概率增大会增加探索机会,也增加较优个体被重置的风险;再指出只降概率不能消除逃逸,最后按适应度排序,保护前部个体,只从后部按概率迁徙,随迭代适度减小比例。当前高适应度不等于已证明全局最优。
随机迁徙可能丢失优解
BFO 的随机迁徙能让停在局部极值附近的个体重新选位置,扩大探索;同一随机选择也可能命中当前较优个体,使其离开好位置,这在本节称为“逃逸”。提高迁徙概率同时增加探索机会和丢失较优位置的风险,单纯降低概率也不能彻底避免后者。判断逃逸只需看当前质量变化,不能把当前好位置未经证明地称为全局最优。
迁徙限制在较差个体
一种减轻 BFO“逃逸”的做法是先按适应度排序,保护较优的一部分个体,只在较差的一部分中按概率选迁徙对象;迭代后期还可降低迁徙比例。
示例(补充教学示例,非书中数据):6 个个体按适应度从优到差编号 1–6,保护前 3 个完全不迁徙,只在 4、5、6 中按概率重置位置。这样能减少当前优解被随机重置的风险,但保护范围过大可能削弱探索。排序只证明相对质量,不能证明被保护者已达到全局最优。参见随机迁徙可能丢失优解。
082 · 8.4 基于细菌觅食算法的聚类问题
在 BFO 聚类问题的讨论中,先解释趋化步长的搜索尺度权衡,再引出按迭代阶段变化的非线性步长。 大步长有利于广域探索但可能损害定位精度,小步长便于局部细化却可能过早收缩搜索;线性下降在本节所述高维情形中可能过早变小,余弦控制的非线性下降试图延后小步局部搜索。此节只给设计理由,未证明全局最优或普遍性能收益。
非线性步长延后局部搜索
BFO 的趋化步长(细菌每次移动的距离)若在搜索初期下降太快,群体会过早进入小范围搜索而早熟。原书指出,优化高维函数时,线性递减的步长在初期就已降到较小值。改进方案用 0~π 区间的余弦函数控制步长:余弦在 (0,π) 上初期下降慢,末期变化率也平缓。
下面用归一化形式 ((1+\cos(\pi t/T))/2) 与线性 (1-t/T) 对比,t 为当前迭代、T 为总迭代数(演示形式,原书未给具体公式):
| 进度 t/T | 线性 | 余弦形 |
|---|---|---|
| 0.1 | 0.90 | 0.98 |
| 0.5 | 0.50 | 0.50 |
| 0.9 | 0.10 | 0.02 |
前期余弦形保留更大的步长,延后局部精细搜索;末期变化平缓,便于以小步长稳定细搜。与按个体适应度调步长不同,这里调的是随迭代推进的下降曲线;具体效果仍需按函数维度、预算和参数验证。参见步长策略须区分阶段与个体。
联系前文或后续机制,可继续阅读:步长策略须区分阶段与个体。
083 · 8.4.2 改进复制操作
接续趋化步长讨论,处理直接复制可能损失种群多样性的风险。 先指出直接复制让子代与父代相同,可能使菌群缺少变化;再保留当前趋化周期最佳个体,并按适应度区分较优与较差个体,对前者施加变异、后者施加交叉。原书另提出较差者向较优者学习、较优者自我学习的信息流向,但未给学习算子;其防停滞意图不构成收敛速度或全局最优的保证。
复制操作分层保护与更新
直接复制较优细菌会保留当前搜索能力,却可能让群体过于相似。本节的改造分两步:
- 把当前趋化周期内适应度最好的细菌作为“精英”单独保留,不参与改动;
- 按趋化周期内的适应度值分层,让适应度好的个体做变异、适应度差的个体做交叉。
原书特意写明分层依据是“适应度而非健康度”,但未解释健康度的含义,只能确定分层看的是适应度值。这样将保护已有优解与产生新候选分开处理。原文没有给出完整算子、交叉对象或实验证据,不能据此断言收敛必然加速。参见交叉变异需保护优解。
较差细菌向较优者学习
细菌觅食算法改进复制操作时,原书提出让适应度较差的细菌向较优者学习,同时让较优者自我学习,以利用已有搜索信息并减少停滞。这是信息流向的设计原则,区别于复制操作分层保护与更新中按适应度分配交叉和变异。原书未给学习算子、更新公式或可复核效果,不能据此实现具体步骤或保证加速收敛。
联系前文或后续机制,可继续阅读:交叉变异需保护优解。
084 · 8.4.3 改进迁徙操作
接续复制操作的精英保护,讨论迁徙如何利用已找到的位置,并避免固定概率重置较优个体。 先指出固定概率迁徙可能丢失精英,随机重置也可能落在较差位置;再保留精英,并以当前较优位置为起点用 Tent 映射产生候选。另一个方向是以适应度区分迁徙概率并从维度层面调整迁徙,但原书未给概率和维度更新式。原文对遍历性、收敛和候选质量的普遍结论没有证明或比较条件。
精英保留配合局部迁徙
固定概率随机迁徙可能重置当前优解,也可能把搜索带到很差的位置。本节的替代思路先保留当前精英,再用 Tent 映射产生新位置。Tent 映射是一种生成混沌序列的迭代规则;原书利用的性质是遍历性:混沌序列可以不重复地历经某区域内的所有状态。做法是把迭代中出现的局部最优点作为混沌运动的初始点,经混沌搜索得到它的邻域点,试图在已找到的位置附近继续搜索;原书也用它做细菌的位置初始化。这里的精英保留与迁徙限制在较差个体目标相近,但候选位置的生成方式不同。混沌序列的覆盖性和候选质量不能仅凭本节描述视为保证。
迁徙概率可按适应度区分
区域性维度化迁徙提出按细菌适应度赋予不同迁徙概率,并从解向量的维度层面调整迁徙。这与所有个体使用固定迁徙概率不同,也有别于精英保留配合局部迁徙中的Tent映射候选。原书仅给设计方向,没有概率映射、维度更新规则或对照数据;不能据此复现,也不能判断哪类个体应有更高迁徙概率。
联系前文或后续机制,可继续阅读:迁徙限制在较差个体。
第9章 分布估计算法
分布估计算法(EDA)先从较好个体学习概率模型,再从该模型采样新个体。它把传统交叉、变异的显式重组转为统计建模,模型是否刻画变量依赖会影响候选质量。多目标扩展关注一组权衡解,调度应用则还须把采样结果解码成满足机器、资源与时间约束的计划。概率模型改善与可行性处理是两个不同环节。
085 · 9.1 分布估计算法起源
引入 EDA 的统计建模视角,作为与前述遗传算法重组机制相对照的新一章起点。 先定义从当前优秀个体估计概率分布,再从分布采样产生下一代;由此说明新候选的生成来源从重组转为概率建模。1996 年提出及随后发展是历史背景;本节没有证明其普遍解决连锁或欺骗问题。
分布估计用模型生成新个体
分布估计算法(EDA)不靠交叉、变异重组已有个体,而是先统计“好解长什么样”,再照着生成新解:
- 从当前种群选出较优个体;
- 用这些样本估计概率模型;
- 从模型采样生成下一批候选。
示例(补充演示,非书中数据):用 3 位二进制串编码,选出的较优个体为 110、111、100。各位取 1 的频率依次为 3/3、2/3、1/3,得到模型 (1, 0.67, 0.33);按这些概率逐位抽样,最可能得到 110(概率约 0.44)。
这把新个体的生成转为分布学习与采样,区别于简单遗传算法的重组。原书称这有利于解决简单遗传算法的“连锁问题”和“欺骗问题”,但本节未定义这两个问题,也未给出成立条件。模型若不能表达变量间依赖,或优秀样本过早集中,采样仍可能遗漏好区域。
原书依据 · 1 处
086 · 9.1.2 分布估计算法发展历程
梳理 EDA 从独立变量假设走向连续域、双变量依赖和高阶依赖建模的算法脉络。 先介绍 PBIL、UMDA 等概率向量模型及连续域扩展;随后针对变量相关性引入链式、树状和森林结构,再扩展到固定概率图、贝叶斯网络和高斯网络等多变量模型。模型结构随依赖关系复杂度扩展,原文未对算法效果作统一比较。
概率模型结构要匹配变量依赖
EDA 的概率模型描述“好解中各变量怎样取值”。变量相互独立时,概率向量即可:每个变量只记自己的取值概率,如 (p(x_1=1)=0.7)。变量相关时,模型还要记录变量之间的条件关系,如 (p(x_2\mid x_1))(记号为补充说明)。
| 变量关系 | 模型结构 | 书中算法 |
|---|---|---|
| 相互独立 | 概率向量 | PBIL、UMDA、cGA |
| 两两相关 | 链 / 树 / 森林 | MIMIC、COMIT、BMDA |
| 多变量相关 | 概率图、贝叶斯网络 | FDA、BOA、EBNA |
| 连续变量 | 高斯分布 / 高斯网络 | UMDAc、EMNA、EGNA |
模型结构应匹配解的依赖关系;原书列举了不同方案,但未提供横向实验,不能据此断言更复杂模型总是更好。
在复杂调度实例中,概率模型准确性仍是需要单独检验的关键条件,结构更复杂本身不代表模型更准确。
原书依据 · 1 处
087 · 9.2 分布估计算法实现
给出 EDA 的基本迭代流程,说明概率模型学习和采样如何嵌入进化搜索循环。 初始化后先计算适应度并检查终止条件;若满足则结束,否则选择优势群体、估计概率模型并采样生成新群体,再回到适应度评价。原文另有解决若干遗传算法问题的概括,但本项未提供论证或适用边界。
EDA按适应度循环建模采样
EDA 的迭代先评价当前个体并检查终止条件;未满足时,才从优势群体学习概率模型并采样新种群,再进入下一轮评价。终止检查决定是否继续生成后代,模型学习与采样构成遗传算法交叉、变异位置上的更新步骤。原文概述流程,未证明其对所有问题都能解决连锁或欺骗现象。
结构图:
flowchart TD
A[初始化种群与参数] --> B[计算适应度]
B --> C{满足终止条件?}
C -->|是| D[结束]
C -->|否| E[选择优势群体]
E --> F[估计概率模型]
F --> G[采样生成新种群]
G --> B
原书依据 · 1 处
088 · 9.2.2 分布估计算法改进
归纳 EDA 的主要改进方向,并展示概率模型、种群多样性及跨方法组合在研究与应用中的扩展。 先围绕模型学习与采样介绍专家知识、并行化和不同概率模型;再列出多样性保持方法;随后概述 EDA 与群智能、罚函数、Copula、最大熵等理论的结合;最后列举模式识别、工程优化、生物信息等应用。各方案主要以文献摘要呈现,书中未提供统一性能比较。
EDA改进先对应模型瓶颈
EDA 的改进可针对概率模型学习与采样成本、种群多样性或单一算法的搜索能力。原书分别举出引入专家知识、并行采样、多样性保持和与其他方法混合等方向。选择改进时先定位瓶颈,再看方案是否针对它;本节多为研究摘要,没有统一实验来证明哪类方法普遍更优。
原书依据 · 1 处
089 · 9.3 基于分布估计算法的收敛性分析及多目标优化问题
概述一般 EDA 及 PBIL、UMDA、FDA 的收敛性研究,并限定全局收敛结论适用的假设。 先给出无穷大种群规模和特定选择机制下的一般 EDA 收敛结论;再列出 PBIL、UMDA 与 FDA 的算法专属分析,其中 FDA 的全局最优结果限于可加性分解问题。本 spine 正文没有展开标题所称的多目标优化机制,需由后续正文项核对。
EDA收敛结论依赖证明条件
EDA 的全局收敛结论不能脱离证明假设引用:本节的一般结论针对无穷大种群及比例、截断或二元锦标赛选择;PBIL、UMDA、FDA 又各有算法与问题类型限定,例如 FDA 的全局最优证明针对可加性分解问题。应用到有限种群或其他目标函数前,应先核对假设是否成立。
几个条件的含义:
- 无穷大种群:分析时不考虑有限样本带来的抽样误差,因此结论不能直接搬到实际的有限种群;
- 比例选择:按适应度占总和的比例作为被选中的概率;
- 截断选择:只取适应度排在前面一定比例的个体;
- 二元锦标赛选择:每次随机抽两个个体,留下较优者;
- 可加性分解问题:目标函数能写成若干个只含少量变量的子函数之和。
090 · 9.3.2 多分布估计算法
介绍规则模型分布估计算法 RM-MEDA 如何扩展多目标约束问题中的候选搜索范围。 先说明约束多目标优化要在满足约束时寻找接近且均匀分布于可行 Pareto 前沿的非支配解;随后描述 RM-MEDA 将个体聚为若干簇、拟合主曲线或曲面、逐维外扩 25% 并随机采样新解。原书报告该方案更易找到有效解并优于传统算法,但没有给出可复核的统一对照数据。
RM-MEDA沿簇曲线外扩采样
受约束多目标搜索要寻找满足约束的非支配解,使其接近并均匀分布于可行 Pareto 前沿。非支配解指没有其他可行解在所有目标上都不比它差、且至少一项更好。
RM-MEDA 先把解分成若干簇,为每簇拟合主曲线或主曲面,即穿过该簇解中部、刻画其整体形状的曲线(面);再把主曲线(面)的每一维延长 25%,在延长后的范围内随机采样新解。示例(补充演示):某簇主曲线在某一维上覆盖长度 4,延长 25% 后为 5,采样范围随之变宽;延长量如何分配到两端,原书未说明。扩展采样范围是原书提出的搜索思路;书中称其更易找到有效解,但未给统一对照数据,因此不当作已证实的普遍优势。 Pareto 前沿概念复用非占优解构成Pareto前沿。
结构图:
flowchart TD
A[候选解群体] --> B[按规则模型聚类]
B --> C[拟合各簇主曲线或曲面]
C --> D[各维度外扩25%]
D --> E[随机采样]
E --> F[生成更广范围内的候选解]
G[多目标约束] --> H[可行非支配解集]
H --> I[接近且均匀覆盖可行Pareto前沿]
联系前文或后续机制,可继续阅读:非占优解构成Pareto前沿。
091 · 9.4 基于分布估计算法的调度问题
以柔性作业车间调度为例,说明 EDA 如何表示机器分配与工序排序,并引出概率模型、多目标搜索及种群多样性处理的不同设计。 先界定 FJSP 的机器选择和工序顺序两类耦合决策及制造场景;继而介绍双种群分开搜索分配与排序、贝叶斯先验与条件模型组合;再列出 Pareto 子群与关键路径搜索、K-means 分簇更新和变邻域搜索。末尾提出复杂问题中概率模型准确性的重要性。所列研究多为摘要,不能据此比较整体性能。
柔性调度联合机器与工序
柔性作业车间调度(FJSP)要同时决定每道工序由哪台可选机器加工,以及各机器上的工序顺序;机器不同会带来不同加工时间。它不是只给固定任务排序:机器分配与工序排序共同决定最终调度及其指标。
示例(补充教学示例,非书中数据):工件 J1 只有工序 O1,可在 M1 用 2 小时或 M2 用 5 小时。分给 M1 后,还要和 M1 上其他工序排顺序;分给 M2 则加工更久,但可能避开 M1 的拥堵。只改顺序、不改机器,或只改机器、不管顺序,都无法单独确定完工时间。
建模或比较算法时应检查是否同时表达了这两类决策,以及目标指标和车间约束是否与实际场景一致。
双种群分工搜索调度分配与排序
柔性车间调度同时包含两类决策:机器分配(每道工序交给哪台可选机器)与工序排列(各机器上工序的先后)。双种群 EDA(B-EDA)在迭代若干代后按分裂准则拆成两个种群,分别搜索这两类决策,满足合并准则时再合并,然后照常采样和更新概率模型。
多目标 P-EDA 则让两个子群用不同方式产生优势个体,按 Pareto 最优性能评价适应度,并加入基于关键路径的局部搜索。关键路径是决定最大完工时间的那条首尾相接的工序链,只有调整其上的工序才可能缩短总工期。子群分工有助于针对不同决策结构设计搜索步骤;原书只概述方案,不能据此断言这些方法普遍避免早熟或优于其他算法。
后验模型结合先验与邻接频率
一种用于柔性车间调度的 EDA 以最大完工时间较短的个体组成“优势群体”,分三层建模:
- 先验模型:由工序排列信息建立;
- 条件模型:统计优势群体中“某工序后面紧跟另一工序”出现的频率;
- 后验模型:用贝叶斯公式把前两者结合,作为采样新排列的依据。
示例(补充演示,非书中数据):优势群体有 10 个工序排列,其中工序 a 后紧跟工序 b 的有 6 个,则条件概率 P(下一道为 b | 当前为 a) 估为 0.6;它再与先验概率组合,得到后验概率。三层建模把已有排列知识与优良解中的局部依赖结合起来;实现时仍要核对条件概率如何估计、模型怎样处理未见组合,以及采样结果是否满足调度约束,原文未展开这些细节。
分簇与变邻域保持搜索能力
多次采样可能让 EDA 种群多样性下降并较早收敛。一种柔性车间调度方案先用 K-means 将种群分簇,再从各子簇选择优势群体更新概率模型,并配合变邻域搜索增强局部求解。
- K-means:把相似的个体归为同一簇,共分 K 簇;从每簇分别选优,模型就不会只由某一区域的个体决定。
- 变邻域搜索:轮流换用几种不同的“小改动”方式(邻域结构),在当前解附近寻找更优解,一种方式找不到改进就换下一种。分簇改变了更新模型所用的样本来源,局部搜索则针对候选附近继续改进;二者是不同环节,原文没有给出参数、消融或统一对照,不能把性能收益当成普遍保证。
092 · 9.4.2 基于分布估计算法的资源受限项目调度
从一般柔性车间调度转向项目活动调度,展示资源上限、任务时序与时间窗约束怎样改变问题模型及搜索方式。 先以资源上限和活动先后关系定义 RCPSP,并以最短工期为目标;再介绍用概率模型生成满足时序的任务列表、精英更新及 FBI/LCS 局部搜索;最后扩展到 RCPSP-TW,以时间窗反映开始时间限制,并用稀疏解码生成方案。候选解仍须满足原始资源和时序约束;时间窗效果只按书中所述实验范围理解。
资源与时序约束最小工期
资源受限项目调度问题(RCPSP)在项目活动的先后关系之外,还给可用资源设上限;目标是在两类约束都满足时安排任务,使项目工期尽可能短。只满足活动先后顺序仍可能超用资源,只满足资源上限也可能违反依赖关系。
示例(补充演示,非书中数据):工人上限 3 人;A、B 各需 2 人、3 天;C 需 1 人、2 天,且必须在 A 完成后开始。
| 方案 | A | B | C | 工期 | 是否可行 |
|---|---|---|---|---|---|
| 忽略资源上限 | 第 0–3 天 | 第 0–3 天 | 第 3–5 天 | 5 天 | 否:前 3 天需 4 人 |
| 两类约束都满足 | 第 0–3 天 | 第 3–6 天 | 第 3–5 天 | 6 天 | 是:任何时刻 ≤3 人 |
建模、解码和验收都应分别检查资源可行性、时序可行性与工期目标。
松散约束补充分布估计搜索
EDALCS-RCPSP 用满足时序约束的任务列表表示个体,以精英更新概率模型,并在 EDA 搜索外结合前向—后向—前向迭代(FBI)和松散约束搜索(LCS)。LCS 在搜索过程中暂时放松资源约束,试图压缩项目工期;这只是搜索算子的设计,不表示最终调度可以违反 RCPSP 资源上限。接受候选或报告解时仍须按原问题约束验算。原书报告其在 J30、J60、J120 上测试,但未在本节给出效果数值。
时间窗与稀疏解码安排任务
RCPSP-TW 为各任务增加允许开始的时间窗,以表达劳动力短缺等现实限制;有效解要同时满足资源、任务时序和时间窗三类约束。其稀疏解码(SD)先构造松散基准调度,再为任务附加时间窗,将任务列表转成满足时间窗的稀疏调度。
示例(补充教学示例,非书中数据):任务 A 工期 2,时间窗要求开始时刻落在 [3,5]。若无时间窗,A 可在时刻 0 开工;加上窗口后最早也只能从 3 开始,安排在时间轴上被“撑开”,这就是相对更稀疏的调度。
原书报告时间窗宽度会明显影响解质,且其测试中较窄时间窗得到较优解;这是特定模型和数据集上的报告,不能泛化为“约束越严越好”。
第10章 差分进化算法
差分进化(DE)主要面向连续向量,以种群中不同个体的差构造扰动,再与父代交叉,最后一对一择优。差向量提供随群体分布变化的搜索尺度。多目标扩展需要另外设计排序与解集保留;调度等离散应用需要排序解码或其他表示,把连续参数变为工序排列。连续搜索规则不能自动保证机器互斥、缓冲区容量或作业先后约束。
093 · 差分进化算法导言
作为第 10 章导入,给出差分进化的定位与最基本的候选表示、变异和生存特征。 先交代提出背景,再概括种群合作竞争及个体记忆;以实数编码、差分变异和一对一竞争生存作为识别 DE 的机制组合。速度、稳定性与应用范围只作引言性陈述,本项没有足够实验细节供比较。
差分变异与竞争更新种群
差分进化(DE)用实数向量表示个体,按变量上下界随机初始化 N 个个体,然后每代对每个父代个体做三步:
- 差分变异:取另两个个体的差向量,乘缩放因子 F 后加到第三个个体上,得到变异个体;
- 交叉:把变异个体与该父代按维混合,交叉概率 CR 决定各维取自变异个体的机会,结果称试验个体;
- 选择:试验个体只与自己对应的父代比较,适应度更优者进入下一代。
这种一对一配对更新保证种群中每个个体槽位的适应度不会变差,但不保证全局最优。每代先评估适应度、判断是否停止,停止后输出当前最优解。主要参数为种群规模 N、F、CR;参数易调及性能优势仍需同任务实验核验。
原书依据 · 1 处
094 · 10.1 差分进化算法与遗传算法
本项集中说明遗传算法的标准迭代流程,为后续与差分进化的机制比较提供基线;GA 内容与前文基础卡片重叠,未新增独立知识卡。 由二进制编码的初始种群开始,逐代评价适应度并选择父代,再通过交叉和变异产生子代;循环到最大代数、连续多代无改进或达到目标阈值时停止,输出当前最好个体作为近似解。停止条件表示预算、停滞或达标,不代表全局最优证明。二进制编码是本节经典流程的设定。
联系前文或后续机制,可继续阅读:遗传算法以种群搜索解、适应度函数决定搜索方向、选择交叉变异各有职责、终止条件不等于全局最优证明。
本项的取材边界:本节没有超出既有 GA 卡片的独立方法;新增变体细节已并入对应卡片。
095 · 10.1.2 差分进化算法流程
展开 DE 的连续空间搜索机制,说明其如何从种群差分构造候选、交叉混合并逐对择优。 先在变量边界内初始化实数种群;再以基向量加缩放差分生成变异向量,x/y 命名区分基向量策略和差分向量数量;交叉按 CR 混合目标个体与变异个体,并强制保留至少一个变异分量;最后让试验个体与对应父代进行一对一贪心选择,形成下一代。原书式(10-7)第二分支的“或”与第一分支可能重叠,实际实现前须核对。
种群差向量探索连续空间
DE/rand/1 的变异式为 (V{i,t+1}=X{r1,t}+F(X{r2,t}-X{r3,t})):以随机个体 (X_{r1}) 作基向量,加上缩放因子 F 乘以另两名个体的差向量。r1、r2、r3 彼此不同且不等于目标个体序号 i;F∈[0,2] 控制差分步幅。
示例(补充演算,非书中数据):(X{r1}=(1,2))、(X{r2}=(3,1))、(X_{r3}=(2,2))、F=0.5。差向量为 (1,−1),乘 F 得 (0.5,−0.5),于是 (V=(1.5,1.5))。差向量的大小和方向来自种群自身的分布:个体分散时步子大,聚拢时步子自然变小。
命名 DE/x/y 中,x 表示基向量的选法(rand 为随机个体,best 为当前最优个体),y 表示差分向量的个数。原书称 rand 类策略较利于多样性、best 类较利于收敛,但未给统一对照条件。
DE交叉保留至少一维变异来源
DE 将变异向量 V 与目标父代 X 按维度交叉,得到试验个体 U。对第 j 维抽一个 [0,1] 随机数 rand(j):若 rand(j)≤CR 或 j 等于预先随机选定的维号 (j_{rand}),取 V 的分量;否则取 X 的分量。CR∈[0,1] 控制各维采用变异分量的机会;二项式(bin)和指数(exp)是两类交叉。
示例(补充演算,非书中数据):D=4,CR=0.3,四维随机数为 0.5、0.1、0.8、0.6,(j_{rand}=3)。
| 维 j | rand(j) | 判定 | U 取自 |
|---|---|---|---|
| 1 | 0.5 | >CR 且 j≠3 | X |
| 2 | 0.1 | ≤CR | V |
| 3 | 0.8 | j=j_rand | V |
| 4 | 0.6 | >CR 且 j≠3 | X |
若没有 (j{rand}),四个随机数恰好都大于 CR 时 U 就与 X 完全相同,变异被交叉完全抹去;强制第 (j{rand}) 维取自 V,保证至少一维来自变异向量。原书式(10-7)的第二分支也用“或”连接反条件,与第一分支可能重叠;实现前应核对原式,不能把该排印直接当互斥逻辑。
联系前文或后续机制,可继续阅读:差分变异与竞争更新种群。
096 · 10.1.3 差分进化算法与遗传算法的比较
并列比较 GA 与 DE 的编码、参数和适用问题,并集中呈现本书对两类算法性能的综述性判断。 先说明二者都以种群协作搜索,再比较二进制/实数及 GA 可改造的整数编码;随后对照参数数量和高维搜索表现,最后讨论收敛、抗噪及应用范围。编码和参数清单可与机制章节相互印证;性能、稳健性和领域趋势未给共同实验条件,只保留为待核线索。
联系前文或后续机制,可继续阅读:遗传算法以种群搜索解、编码要区分非法解与不可行解、差分变异与竞争更新种群、跨论文性能结论须核对共同基准。
本项的取材边界:本节比较总结已由既有机制卡和性能证据卡承接,无需重复生成。
097 · 10.2 差分进化算法实现
给出差分进化参数的经验设置范围,说明调参需结合问题目标和计算预算。 先介绍种群规模、缩放因子和交叉概率的经验起点,再讨论最大进化代数与适应度阈值停止;最后指出参数最优值受目标函数和种群规模影响,需通过多组对照实验确定。
DE参数建议应作为实验起点
DE 的 N、F、CR 可从经验范围起步,例如 N 可先取变量维数 D 的 5–10 倍且至少为 4,F 常以 0.5、CR 常以 0.1 初始化;过早收敛时可增大 F 或 N。这些不是通用最优值,最优组合仍依赖目标函数,应通过对照实验调参。
联系前文或后续机制,可继续阅读:终止条件不等于全局最优证明。
098 · 10.2.2 差分进化算法流程
把差分进化的参数初始化、迭代循环和停止出口串成可执行流程。 先初始化种群和控制参数,逐代评估适应度并检查终止条件;未停止时依次执行变异、交叉和选择,递增代数后回到适应度评估;满足条件时输出当前最优解。停止条件只决定何时结束,并不单独构成全局最优证明。
联系前文或后续机制,可继续阅读:差分变异与竞争更新种群、终止条件不等于全局最优证明。
本项的取材边界:DE 的流程顺序和终止后输出当前最优解已并入现有 DE 机制卡;停止条件的边界由既有终止条件卡承接,无需另造重复流程卡。
099 · 10.3 基于差分进化算法的多目标优化问题
从单目标差分进化扩展到多个冲突目标,说明如何搜索并维护一组折中解。 先以可行解、Pareto占优、非支配解集和前沿建立多目标表示;再概述非Pareto与Pareto两类多目标DE,比较Pareto竞争和等级排序;随后介绍外部存档、精英保留及拥挤/邻域距离等多样性机制;最后给出初始化、评价、排序选择、迭代至Pareto近似解集的流程。原式(10-9)目标向量末项疑似将 f_m 误写为 f_1,保留原式疑点待查。
多目标DE分层选择解集
多目标问题的各目标常互相冲突,没有唯一最优解,只能求一组折中解。若解 A 在所有目标上都不比 B 差、且至少一项更好,称 A 支配 B;不被任何可行解支配的解就是非劣(Pareto 最优)解。
多目标 DE 有非 Pareto 与 Pareto 两条路线,后者常组合以下机制:
- 非支配排序:第一层是不被任何个体支配的个体,去掉它们后剩余个体中不被支配的为第二层,依次分层,优先选前层;
- 精英保留:父代与试验个体合并后再排序择优,好解不会因换代丢失;
- 拥挤距离或拥挤熵:衡量一个解周围有多挤,同层中优先保留周围较空的个体,使解集分布更广;
- 外部存档:在种群之外另存搜索中发现的非劣解。
排序负责逼近前沿,密度机制负责铺开分布,具体组合随算法而异。
联系前文或后续机制,可继续阅读:帕累托支配需全不劣、非支配解构成帕累托前沿、非占优解构成Pareto前沿。
100 · 10.3.1 混合差分进化处理多目标优化问题
概览把差分进化与其他优化方法结合的多目标搜索方案,并展示混合算子的代际组织方式。 先说明混合算法的研究动机,再以 PSO-DE 双种群共享或概率路由为例说明协作接口;随后比较 DE-GA 算子融合与 DE 到 NSGA-II 的阶段交接。图 10.5 展示适应度排序、繁殖、算子分支、变异和迭代检测。性能优势及 PSO/DE 的搜索强弱为文献概述,缺少统一实验条件。
混合算法需明确协作接口
把两种优化算法“混合”起来,关键在于说清它们之间怎样交接候选解。这里涉及三种算法:粒子群优化(PSO)全局搜索强、初期收敛快;差分进化(DE)用个体间的差向量生成新个体,局部搜索强;NSGA-Ⅱ 是一种按 Pareto 支配关系排序选择的多目标遗传算法。
书中三种方案正好代表三种交接方式:
| 方案 | 交接方式 | 设计时要说清的接口 |
|---|---|---|
| PSODE | 并行协作:一个种群按 PSO 进化,另一个按 DE 进化,靠信息分享协同 | 分享什么信息、多久分享一次 |
| 自适应切换 | 算子路由:每个个体每轮按自适应概率选用 PSO 或 DE 产生新个体 | 概率怎样随搜索调整 |
| DE + NSGA-Ⅱ | 阶段交接:DE 变异交叉得到新种群,交给 NSGA-Ⅱ 作初始种群产生下一代 | 种群在哪一步移交 |
只写“混合了 A 和 B”不足以复现或评价方案,也不能凭“混合”二字推断性能提升。
DE与GA算子混合迭代流程
这个混合方案按遗传算法(GA)的流程组织整体框架,只在“生成新个体”一步提供两种做法:
- DE 方式:借用差分进化的繁殖策略,用两个个体的差向量乘以缩放因子,再加到另一个个体上得到新个体。
- GA 交叉:交换两个父代的部分基因。
每一代先按适应度排序,只让前 50% 的个体参与繁殖;从中选父代后走上面任一分支生成个体,再随机挑新个体做变异,然后重新检测适应度和代数。混合算子必须说明各自产生候选及进入下一代的顺序,否则无法判断改进来自哪一部分。
结构图:
flowchart TD
A[初始化种群和参数] --> B[适应度检测]
B --> C{满足检测条件?}
C -- 是 --> Z[结束]
C -- 否 --> D[排序并选前50%繁殖]
D --> E[随机选择父代]
E --> F{DE差分或GA交叉生成}
F --> G[随机选择新个体变异]
G --> H[再次检测并检查代数]
H -- 满足条件 --> Z
H -- 继续 --> D
101 · 10.3.2 自适应差分进化处理多目标优化问题
说明针对早熟、停滞和问题差异,如何用搜索反馈调整多目标差分进化的参数与算子。 先指出固定参数依赖问题,再介绍随代演化的变异/交叉算子;随后按 Pareto 前沿数量与多样性、若干次无改进、策略专属参数和个体优劣反馈,展示调整 F、CR 或候选分布的不同机制。外部精英档案与拥挤熵用于维护非支配解多样性;具体性能结论仍限于各研究报告。
自适应DE依据反馈调参数与策略
差分进化(DE)有两个核心控制参数:缩放因子 F 决定差向量被放大多少,F 越大一步跳得越远;交叉概率 CR 是新个体的分量取自变异个体而非父代的概率。固定取值很难适应整个搜索过程,自适应 DE 就根据搜索中的反馈来改它们。
不同方案的差别在于“看什么反馈、改什么对象”:
| 方案 | 反馈信号 | 调整对象 |
|---|---|---|
| SPDE | 随进化自适应 | 变异概率与交叉概率 |
| ADEA | 当前 Pareto 前沿数量与解的多样性 | F;CR 全程不变 |
| Wang 等 | 个体经 5 次进化仍未产生优秀个体 | 该个体的 F 和 CR |
| MOSDE | 每次随机选用三种差分策略之一 | 各策略独立的自适应 F_s、CR_s |
| SADEMOO | 一定代数内新个体的优劣 | F 的大/中/小三种分布被选中的概率 |
| PADE | 进化进程 | CR 逐步调整,增强挖掘 |
Pareto 前沿指多目标问题中互不支配的一组折中解。表中各方案依赖的信号不同,不能混成同一套固定规则,具体机制须针对问题验证。
联系前文或后续机制,可继续阅读:DE参数建议应作为实验起点、多目标DE分层选择解集。
102 · 10.4 基于差分进化算法的调度问题
建立生产调度的决策背景与模型分类,为后续 DE 调度应用章节说明问题结构。 先定义资源、加工时间和工序顺序等决策,以及完工时间或成本等目标;再按机器功能和工件加工顺序区分单机、并行机、流水车间与作业车间,指出流水车间还可按阻塞、等待和缓冲条件细分;最后引出 DE 向离散优化与调度问题的应用。关于复杂度和普遍性能的概述缺少本节内证明或对照数据。
生产调度联合安排资源时间与顺序
生产调度要在约束下为可分解的工作安排各部分所占资源、加工时间和先后顺序,以优化制造时间或成本等指标。建模时须同时表达资源占用与工艺顺序;只优化排序而漏掉资源约束,可能得到不可执行的方案。
补充教学示例(非书中数据)。把“组装一台设备”分成零件加工、组装、检测。只排出加工→组装→检测,却没指定检测台何时被占用,方案可能无法执行。
调度模型先区分机器结构
先辨明机器与工艺结构,再选编码和约束。按加工系统复杂度,常见四类如下。
| 结构 | 机器与工艺 | 主要决策 |
|---|---|---|
| 单机 | 全部任务在同一台设备上完成 | 任务排队次序 |
| 并行机 | 一组功能相同的机器,工件只有一道工序 | 分到哪台机器,以及各机上的次序 |
| 流水车间 | n 个工件、m 台机器,各工件机序固定且一致 | 工件排列及缓冲等变体约束 |
| 作业车间 | 各工件有自己的工序次序与加工时间 | 与工艺相容的各机开工/完工或次序 |
流水车间还可再分为阻塞、置换、无等待、有限缓冲等。把作业车间当成流水车间来编码,会漏掉“各工件机序可以不同”这一约束。
103 · 10.4.1 基于差分进化算法的置换流水线调度
把流水调度的工件顺序编码为排列,并展示离散差分进化与局部搜索结合的实例。 先定义 PFSP 的共同机器序列约束及完工时间、总流经时间目标;随后说明连续 DE 可经排列解码映射到离散空间。cDDE 以概率模型采样排列,执行变异和交叉,再经插入局部搜索及 Metropolis 接受,并更新节点/边模型。ODDE另以随机键映射排列,结合NEH与随机初始化,按种群多样性调整交叉率并加入局部搜索;其算子细节未展开。式(10-15)下标疑点待核,未作为精确公式复述。
置换流水车间共享工件顺序
置换流水车间调度(PFSP)让 n 个工件依次经过 m 台机器,所有机器按同一个工件排列加工,每台机器同一时刻只加工一个工件。于是整个决策只剩“工件排成什么顺序”,解就是一个排列。
常用两个目标:
- 完工时间(makespan):最后一个工件在最后一台机器上完工的时刻,越小越好。
- 总流经时间:各工件完工时刻之和,越小越好。
示例(补充演算):2 个工件、2 台机器,J1 在 M1、M2 上各需 3、2 个时间单位,J2 各需 1、4。工件在 M2 上开工,要等它在 M1 上完工且 M2 空闲。
| 顺序 | M1 上完工 | M2 上完工 | 完工时间 | 总流经时间 |
|---|---|---|---|---|
| J1→J2 | J1=3,J2=4 | J1=5,J2=9 | 9 | 14 |
| J2→J1 | J2=1,J1=4 | J2=5,J1=7 | 7 | 12 |
只换一下顺序,两个指标都变了,所以排列本身就是优化对象。它比一般流水车间多了“各机器顺序一致”的约束,编码和评价都须保持这一顺序。
cDDE以概率采样搜索排列
压缩离散差分进化(cDDE)用于置换流水车间调度,解是工件排列。它用概率分布(由节点矩阵和边矩阵表示的概率模型)初始化并生成候选排列,同时保存两个排列:当前排列,以及迄今最好的精英排列。
每轮迭代:
- 从概率模型采样两个排列。
- 按 DE/best/1 变异:“best”表示以最优个体(这里即精英排列)为基础,“1”表示用一组差异去扰动它,差异来自两个采样排列;再按交叉概率交叉,得到候选。
- 对候选做基于插入操作的局部搜索。
- 用 Metropolis 准则决定是否接受:更好就接受,更差也以随温度下降的概率接受,见 较差候选仍可按温度概率接受。
- 更新节点矩阵和边矩阵,直到满足终止条件。
连续 DE 的“差向量”在这里改成了基于排列的扰动,因此表示、搜索和接受规则都面向排列空间。原书未展开两个矩阵的具体含义与更新式。
结构图:
flowchart TD
A[初始化可行排列、精英与概率模型] --> B[按模型采样排列]
B --> C[DE/best/1变异与交叉]
C --> D[插入局部搜索]
D --> E{Metropolis准则接受?}
E -- 是 --> F[更新当前排列]
E -- 否 --> G[保留当前排列]
F --> H[更新节点与边概率模型]
G --> H
H --> I{满足终止条件?}
I -- 否 --> B
I -- 是 --> J[输出精英排列]
ODDE结合初始化与自适应交叉
差分进化(DE)原本在连续实数向量上运算,置换流水车间调度的解却是工件排列。ODDE 用三项改造把两者接起来:
- 编码:用随机键规则把连续向量译成排列,思路是按各分量的数值大小排名、名次对应工件位置(同 排列编码须保持城市唯一 中的随机数表示)。
- 初始化:一部分个体由 NEH 启发式构造,保证起点质量;其余随机生成,保证多样性。
- 搜索控制:按种群多样性调整交叉率,并加入局部搜索帮助跳出局部最小值。
这是编码、初始化和搜索控制的组合方案。原书未给随机键的具体规则、NEH 步骤、多样性度量、交叉率映射或局部搜索算子,不能据此直接复现或保证效果。
结构图:
flowchart TD
A[PFSP工件排列] --> B[随机键映射连续位置]
C[NEH启发式与随机初始化] --> D[初始种群]
B --> E[差分进化搜索]
D --> E
E --> F[按种群多样性调交叉率]
F --> G[局部搜索]
G --> H[候选排列]
联系前文或后续机制,可继续阅读:排列编码须保持城市唯一。
104 · 10.4.2 基于差分进化算法的有限缓冲区调度
说明有限缓冲下工件传递、上游阻塞与 DE 调度研究中的评价和搜索策略。 先区分无限缓冲暂存、无缓冲阻塞和有限缓冲“有位暂存、满载阻塞”,再说明加工完成时间递推受缓冲量与机器可用状态共同约束;原式(10-17)存在疑似自引用错误,递推只作定性理解。随后概述 LOV 排列映射、Pareto 更新、局部搜索,以及 OHTDE 的仿真预算分配和统计检验;未展开的收敛证明与性能主张不作推广。
有限缓冲容量决定工件阻塞
工件 i 在机器 j(非最后一台)完工后,去向取决于下一台是否空闲以及中间缓冲有多大:
- 无限缓冲(置换流水常见假设):缓冲按先进先出暂存;下一台空闲再继续加工。
- 零缓冲(阻塞型):下一台空闲则立刻过去,否则留在机器 j 上,造成阻塞。
- 有限缓冲:下一台空闲则直接过去;下一台忙且缓冲还有空位则进入缓冲;缓冲已满则留在机器 j 上阻塞。
阻塞会反向占用上游机器,调度评价必须计入跨机器等待。
补充教学示例(非书中数据)。机器 1、容量为 1 的缓冲、机器 2。工件 A 在机器 1 完工时机器 2 正忙、缓冲空,A 进入缓冲;工件 B 再完工时缓冲已满且机器 2 仍忙,B 留在机器 1,机器 1 暂时不能接下一个工件。
OCBA与假设检验分配仿真预算
仿真型调度中,候选方案的好坏要靠仿真运行来评估;仿真带随机性,同一方案多跑几次结果也不同,只能多次运行取统计值,而总的仿真次数(计算量)有限。混合 DE 算法 OHTDE 用两种技术处理这个问题:
- OCBA(最优计算量分配)回答“仿真次数给谁”:不平均分配,而是让看起来优质的解获得更多仿真次数,把它们评估得更准。
- 假设检验(HT)回答“两个解是否真有差别”:在统计意义上比较两个解的性能,平均值只差一点时,可能只是随机波动,不值得当成改进;这在一定程度上避免了在解空间相近区域重复搜索。
两者分别处理评估资源分配与差异判定,适用于目标值含仿真随机波动的搜索场景;书中所称的鲁棒性提升未给数值,不宜外推。
联系前文或后续机制,可继续阅读:排列编码须保持城市唯一、自适应DE依据反馈调参数与策略。
105 · 10.4.3 基于差分进化算法的作业车间调度
定义作业车间调度的工序与机器约束、评价目标,并概述差分进化在静态和动态多目标调度中的适配。 先以工件的工序顺序和机器互斥条件界定可行调度,再区分完工时间、加工成本和机器利用率目标;随后介绍一项用自适应变异/交叉使初期侧重全局、后期侧重局部的DE调度研究,以及冻结时段滚动再调度、离散DE结合克隆选择的方案。原文未给自适应公式或统一对照条件,不能据此断言哪一变体普遍更优。
作业车间约束定义可行解
作业车间调度(JSP)要为 n 个工件在 m 台机器上分配共享资源并安排生产任务。候选方案先要满足约束才谈得上优化:
- 同一工件的工序必须按规定次序加工,且每道工序对应不同机器。
- 任意一台机器同一时刻只加工一道工序。
- 加工过程不能插入新工序,也不能临时中断。
- 开工时间非负;各工序加工时间预先给定且不变。
换工艺或允许抢占时,这些约束也要改。
补充教学示例(非书中数据)。工件 J1:机器 1(2)→机器 2(3);工件 J2:机器 2(1)→机器 1(4)。两工件同时占用机器 1,或 J1 先做机器 2,都不可行。
调度目标要区分工期成本与利用率
作业车间常用三类评价指标,方向不同,不能互相替代:
- 最小化最大完工时间:全部工件都做完的时刻越早越好。
- 最小化加工成本:加工成本越低,效益越大。
- 最大化机器利用率:机器运行更充分,以节省资源、降低成本。
优化一种不保证另外两种同步改善。同时关心多项时,要写明权衡方式,而不是混成一个“更优”。本卡不复述文本提取中不完整的公式。
补充教学示例(非书中数据)。方案甲全部完工时刻 10、成本 80、利用率 50%;方案乙完工时刻 14、成本 40、利用率 90%。甲工期更好,乙成本和利用率更好。
冻结时段限制调度变动
动态作业车间会按周期或突发事件重新排程,即滚动窗口再调度:每次只对当前窗口内尚未执行完的任务重排,窗口随时间向前滚。冻结时段把窗口里已经下发、即将执行的近期安排暂时固定,只允许更远的部分随机器不可用等新信息改动。它在响应新状态与避免现场频繁改计划之间取舍,冻结长度应结合执行稳定性和变化速度确定。
补充教学示例(非书中数据)。今天 8:00 已开工的班次和随后 2 小时内的工序冻结,只重排 10:00 之后的工件,以免刚换模又改计划。
克隆搜索补足多目标探索
连续型差分进化直接用于排程排列时,要先改编码或操作,使其能表示离散顺序。一项多目标作业车间方案把 DE 离散化,并引入克隆选择:对较好解复制多份(克隆),再对副本做局部变异,用这些副本加强局部搜索、维持种群多样性,以降低过早收敛风险。这是特定设计思路,原文只报告以其最大完工时间最小化和机器利用率最大化为目标的仿真;效果仍取决于实例和实验设置。
自适应算子分阶段平衡调度搜索
书中一项作业车间调度研究把自适应变异、交叉与新的变异策略结合。“自适应”指搜索过程中改变变异/交叉的强度或选用哪种变异,使初期步子较大、偏向在整个排列空间探索,后期步子较小、偏向在当前解附近改进。这说明调度搜索可随阶段改变算子作用,但本节只是研究摘要,没有给出自适应更新公式、阶段切换条件或可复核的对照设置;不能据此保证搜索更快或解更优,也不能与其他自适应 DE 方案混成同一规则。
第11章 模拟退火算法
模拟退火从一个当前解出发,在邻域中提议新解,并按温度控制接受较差解的机会。温度高时较易离开当前区域,降低温度后逐渐偏向保留较好解。它与只接受改进的局部搜索区别在接受规则,具体邻域仍依赖背包、布线、图着色或旅行商模型。背包等约束问题需先核验候选可行性,保留历史最好解也应与当前游走状态分开。
106 · 模拟退火算法导言
概述模拟退火的随机搜索定位、源起及应用领域,为后文的算法机制和问题案例作引入。 先把SAA描述为组合优化中的随机搜索,并提及按概率选择邻域状态;再简述其热力学来源、研究时间线和应用方向。本段未给出温度调度、接受较差状态的规则或收敛条件,故不把“全局最优”作为无条件保证。
模拟退火按概率选择邻域状态
模拟退火(SAA)是一种用于组合优化的随机搜索,可看作局部搜索的拓展。“邻域状态”指对当前解做一次小改动能得到的候选解。普通局部搜索只接受更好的邻居,一旦周围没有更好的解就停在局部最优;SAA 则以一定概率也接受较差的邻居,因此有机会离开局部最优。
它借用固体退火的对应关系:
- 目标函数值对应物体的内能 E(最小化问题中越小越好)。
- 控制参数 t 对应温度 T,随迭代逐步降低。
- 每步产生候选,比较目标差,再决定接受或舍弃;温度越高,越容易接受较差候选,具体规则见 较差候选仍可按温度概率接受。
“理论上是全局最优算法”依赖足够慢的冷却等条件;实际效果取决于冷却规则和问题,不能当作无条件保证。
107 · 11.1 模拟退火算法起源
说明模拟退火的物理原型,给出算法名称背后的热力学过程。 固体先加热熔化,再在恒温下逐步达到平衡,最后缓慢降温使粒子运动减弱并形成有序晶体。该过程为算法提供启发背景;本项没有讲述温度控制或候选解接受规则,不把物理描述外推为算法保证。
缓慢冷却使固体逐步恢复有序
固体退火是把固体加热到熔化,再徐徐冷却凝固成规整晶体的过程,分三阶段:
| 阶段 | 粒子与能量 | 宏观结果 |
|---|---|---|
| 加温 | 热运动加强,排列变随机,系统能量增大 | 熔化,消除原先的非均匀状态 |
| 等温 | 每个温度停留到平衡;封闭系统自发朝自由能减少方向变 | 自由能最小时达到该温度下的平衡 |
| 冷却 | 热运动减弱,排列渐趋有序,能量减小 | 得到低能晶体,退火完成 |
“徐徐”降温对应每个温度都有机会接近平衡。把它类比到优化搜索时,仍需单独核验算法规则,不能把物理过程直接当作收敛证明。
原书依据 · 1 处
108 · 11.1.2 模拟退火算法发展历程
梳理模拟退火从热力学启发进入组合优化后的主要改进方向。 先回顾Metropolis准则和早期组合优化应用,再按时间介绍快速退火、局部最优时回升温度、退火与遗传/单纯形结合、并行策略、广义概率及记忆器等研究。内容以发展摘要为主;性能优越、全局收敛等断言没有本节内的统一条件或实验对照,不据此排名算法。
局部最优时回升温度以恢复探索
退火温度过低时,较差候选的接受概率接近 0,搜索落入局部最优后可能长时间无法离开。单调升温策略在判定进入局部最优时提高温度,以增大接受较差移动的机会,从而恢复探索。它是特定改进策略,原文未给判定阈值或升温幅度,须结合问题验证。
补充教学示例(非书中数据)。目标增量 Δ = 5。T = 0.1 时 exp(−5/0.1) ≈ 0,几乎不接受变差;把温度升到 5,exp(−5/5) ≈ 0.37,约三成机会离开当前点。概率公式见 较差候选仍可按温度概率接受。
记忆器保存搜索最好解
多极值问题里,退火会按概率接受较差解,因此结束时的当前状态未必等于此前访问过的最好状态。给算法加一个记忆器,专门记下搜索过程中出现过的最好结果,输出时就不会把已发现的好解丢掉。记忆器解决的是结果保留,不等于证明已找到全局最优。
补充教学示例(非书中数据)。曾到达费用 10 的解,后来接受较差解走到费用 12 并在此停止;无记忆器会输出 12,有记忆器仍输出 10。
联系前文或后续机制,可继续阅读:模拟退火按概率选择邻域状态。
109 · 11.2 模拟退火算法实现
把固体退火的物理量映射到组合优化,明确候选解更新及温度控制流程。 内能对应目标函数、物理温度对应算法控制参数;从初始解开始反复生成候选、计算目标差并接受或舍弃,再按冷却进度表调整参数,直到停止条件触发。进度表至少需要给出初值、衰减因子、每个参数值下的迭代次数和停止条件;当前解作为近似结果输出。
退火按温度进度表迭代
模拟退火把目标函数映射为能量,把温度映射为控制参数 t。从初始解和 t 的初值出发,反复执行:
- 对当前解产生一个候选新解。
- 计算目标差 Δ(新解减当前解)。
- 按 Metropolis 准则决定是否接受:Δ < 0 直接接受,否则以 exp(−Δ/T) 的概率接受,见 较差候选仍可按温度概率接受。
- 按冷却进度表降低 t,直到满足停止条件,输出当前解作为近似最优解。
冷却进度表是这套循环的“节奏表”,规定四件事:t 的初值、t 怎样衰减、每个温度下尝试多少个候选、何时停止。原文举出的停止条件是连续若干个新解都没有更新。
注意原书一处不一致:正文步骤要求温度乘以一个 0 到 1 之间的固定常数,配图却画成随机因子,两种表述不强行合并。物理类比帮助组织搜索,具体全局收敛仍需满足相应假设。
结构图:
flowchart TD
A[初始解与控制参数初值] --> B[产生候选新解]
B --> C[计算目标函数差]
C --> D{按准则接受?}
D -- 是 --> E[更新当前解]
D -- 否 --> F[保留当前解]
E --> G[按冷却进度表调整参数]
F --> G
G --> H{达到停止条件?}
H -- 否 --> B
H -- 是 --> I[输出当前近似解]
联系前文或后续机制,可继续阅读:模拟退火按概率选择邻域状态。
110 · 11.2.2 模拟退火算法流程
明确退火搜索的接受判断、温度循环与终止流程。 初始化温度、当前解和每温度迭代次数后,反复生成候选并计算目标增量;改进解直接接受,非改进解按温度相关概率决定是否接受。达到终止条件则输出当前解,否则继续迭代并降温。正文要求按固定比例降温,图11.1却画成乘以随机数;此处按正文描述流程,并保留该来源差异。
较差候选仍可按温度概率接受
对最小化问题,先算增量 Δ = 新解目标 − 当前目标:
- Δ < 0:新解更好,直接接受。
- Δ ≥ 0:仍以 exp(−Δ/T) 的概率接受。T 为当前温度。
T 越高,对暂时变差的容忍越大;降温后该概率降低,搜索从广泛探索转向局部稳定。布线实例把从状态 i 到 j 的接受率写成 exp(−(f(j)−f(i))/Tₖ),与上述规则同一形式。这提供离开局部区域的机会,不等于任意冷却表都能保证全局最优。
补充教学示例(非书中数据)。Δ = 2:
| 温度 T | exp(−2/T) | 含义 |
|---|---|---|
| 10 | ≈ 0.82 | 高温,八成机会接受变差 2 的候选 |
| 1 | ≈ 0.14 | 低温,较难接受同样的变差 |
联系前文或后续机制,可继续阅读:退火按温度进度表迭代。
111 · 11.3 基于模拟退火算法的超大规模集成电路研究
从模拟退火的一般机制转入超大规模集成电路的布线应用案例。 先重述改进解接受、恶化解概率性接受的搜索思路,再提出SAA用于VLSI布线;本项未给布线表示、目标函数或约束,具体应用机制由后续章节展开。全局最优表述缺少证明条件,不作为保证。
联系前文或后续机制,可继续阅读:较差候选仍可按温度概率接受。
本项的取材边界:本项仅概述SAA的概率接受机制及后续VLSI布线应用,机制已由既有卡覆盖,具体布线模型留给后续正文。
原书依据 · 1 处
112 · 11.3.1 集成电路布线
定义VLSI布线任务,并把总体布线建模为图搜索问题,说明其规模与复杂度边界。 先区分区域布线和总体/详细两阶段方案,明确总体规划区域与详细落线的职责;再用通道交点和通道连接构造通道相交图、映射模块引脚,并将连接多个端点的总体布线转化为斯坦纳树问题。详细布线还按引脚分布区分两边通道与四边开关盒;图11.5展示这种分类。复杂度结论只限于模型问题类别。
布线分成总体与详细两阶段
芯片上模块以外的空隙是布线区域;线网是需要互连的一组引脚。实现连线有两条路:
- 区域布线:直接对线网节点布线,跳过总体规划,通常只适合较小规模。
- 两阶段:总体布线只把线网分配到各布线区域并定下经过的路线,不要求实际落线方法;详细布线再确定各连线在区域内的具体位置。
把路径选择与几何落线分开,可先处理全局连通与资源分配,再解决局部细节。现代高集成度电路更常用这种“分而治之”。
通道相交图把布局转为路由图
芯片版图上,电子模块之间留出的走线空间叫“通道”,纵横通道会互相交叉。通道相交图把这张版图改写成图 G = {V, E}:
- 顶点 V:两条通道的交叉点。
- 边 E:两个交叉点之间有通道直接相连,就连一条边。
- 引脚:模块上需要接线的端点,映射到它所在通道对应的边上,成为新节点。
加入引脚后,就得到带布线信息的总体布线图。连一个线网,就变成在图上找一组把这些引脚节点连起来的边,可以用图算法搜索。布线区域的容量和区域间关系也要抽象进图里,否则路径在图上可行、在芯片上却放不下。
结构图:
flowchart TD
A[芯片通道交点] --> B[顶点集合V]
A --> C[相邻交点间的通道]
C --> D[边集合E]
B --> E[通道相交图G]
D --> E
E --> F[映射模块引脚]
F --> G[带布线信息的图]
总体布线可转成斯坦纳树问题
把布线区域作图的顶点、区域间连通的电路作图的边后,一个线网要把若干引脚连通,就是在图上找一棵连通这些点、总长尽量短的树。这正是斯坦纳树问题:用最短的总连线把指定的若干点连通,必要时可以经过不属于这些点的中间点(例如线网途经的其他区域)。
与只连两个点的最短路径不同,多点连通时“经过哪些中间点”的组合数随规模急剧增长。斯坦纳树问题是 NP-hard 的,没有已知的高效方法能保证找到最优结果,所以工程方案通常要在布线质量与计算预算之间取舍。难解性只说明精确求解代价高,不能据此断言某个启发式必然更优。
详细布线按引脚位置分类
详细布线可按引脚分布区分:引脚位于通道两侧时是两边通道布线;引脚环绕区域四周时是开关盒布线,也称四边通道布线。两者都属于通道布线,区别在连接端点所在的边,而不是总体布线与详细布线的阶段差别;具体布线路径仍需在区域内求解。
113 · 11.3.2 优化目标
为VLSI引脚连接构造循环排列目标,并展示退火搜索中的邻域变化和参数取舍。 先把n个引脚编码为遍历所有点的循环排列,以距离矩阵计算总线长;再用k=2重连构造候选,依据目标差和Metropolis准则判断接受。实例还给出马氏链长度、停止条件和冷却变化率与时间/解质的权衡,但变化因子公式提取不完整,方向性结论仅限该文所述实例。
布线循环排列最小化总线长
该退火布线模型把 n 个待连接引脚看成点,解是访问全部点再回到起点的循环排列:πᵢ = j 表示第 i 个访问的点是 j。用距离矩阵 D 把相邻点的距离加总,目标是总路径最短。新解由当前回路做 2 变换产生,再用 Metropolis 准则决定是否接受。这是为搜索构造的简化模型;实际芯片还需同时满足可布通、层数和电学等约束。
补充教学示例(非书中数据)。四点 1(0,0)、2(1,0)、3(1,1)、4(0,1),回路 1-2-3-4-1 的边长都是 1,总长 4;回路 1-2-4-3-1 含两条对角线,总长 2+2√2 ≈ 4.83,更长。
二边重连用代价差评估二变换
布线的解是一条经过所有引脚的闭合回路,记作 π₁, π₂, …, πₙ,d 表示两点间距离。2 变换在回路中选两个位置 μ < v,拆掉边 (π_{μ−1}, π_μ) 和 (πv, π{v+1}),改为连接 (π_{μ−1}, π_v) 和 (πμ, π{v+1}),相当于把 π_μ 到 π_v 这一段倒过来走。
其余边都没变,所以新旧路线的长度差只取决于这四条边:
Δf = [d(π_{μ−1}, π_v) + d(πμ, π{v+1})] − [d(π_{μ−1}, π_μ) + d(πv, π{v+1})]
示例(补充演算):四点坐标为 1(0,0)、2(1,1)、3(1,0)、4(0,1),当前回路 1-2-3-4-1,两条对角线交叉,总长 2 + 2√2 ≈ 4.83。取 μ=2、v=3:拆掉 1-2、3-4(各 √2),新建 1-3、2-4(各 1),Δf = 2 − 2√2 ≈ −0.83 < 0,接受。新回路 1-3-2-4-1 总长为 4,与 4.83 − 0.83 一致。
增量计算让每个候选只需算四条边,不必重算整条回路;Δf 再交给 Metropolis 准则决定是否接受。
退火速度权衡质量与时间
布线实例中,两个参数共同决定退火的质量与耗时:
- 变化因子 d_t:温度按 t₀ 乘以 d_t 的方式逐轮衰减(0 < d_t < 1),d_t 越小,每轮降得越多。
- 马氏链长度 L:在同一温度下连续产生并判断多少个候选解,该实例取 L = 10n(n 为引脚数)。
示例(补充演算):初温 t₀ = 100,按每轮乘以 d_t 理解,3 轮后 d_t = 0.5 时只剩 12.5,d_t = 0.9 时仍有 72.9。前者很快进入低温,接受较差解的概率随之迅速变小,搜索早早固定下来,可能影响最终解质量;后者探索更久,但耗时更长。同理,L 越大,每个温度下的搜索越充分,计算时间也成倍增加。
因此两者都要按质量与时间的需求取舍:原文建议在取得最优解的前提下尽量减小 L。原书衰减式的上下标在提取文本中缺失,上面“每轮乘以 d_t”是结合 11.2.2 节“T 乘以 0 到 1 之间的常数”所作的理解,结论不宜脱离该实例外推。
联系前文或后续机制,可继续阅读:较差候选仍可按温度概率接受。
114 · 11.4 基于模拟退火算法的图像处理
概述模拟退火在图像复原中的数类研究方案,并展开粒子群混合、柯西扰动与带回火机制的神经网络复原流程。 先定义图像复原为退化建模后的逆向重建,说明传统方法依赖先验;再列出稀疏表达、粒子群全局搜索配退火局部搜索,以及以柯西分布生成盲复原状态扰动的方案。随后介绍Hopfield离散网络与退火结合:逐像素扰动状态、按能量差接受,连续无改善时升温回火,随后快速降温至终止温度。各方案细节和统一实验条件不足,效果不作普遍保证。
图像复原先建模退化再逆向重建
图像复原先建立退化过程的近似模型,再按相反步骤重建原图或近似图。退化指成像、传输中使图像变差的过程,例如模糊、噪声。现有的维纳滤波、最大熵、贝叶斯估计、最小二乘等方法都需要较多先验知识(如原图特征参数),否则稳定性明显下降。建模假设决定恢复边界,不能把结果当作原始场景的确定还原。
补充教学示例(非书中数据)。镜头抖动把一个亮点拉成短线段;若退化模型是“沿水平方向平均了 5 个像素”,复原就按这个模糊核反向推清晰图,模型用错方向则推不回去。
稀疏先验约束图像复原目标
从模糊图像反推清晰图像时,与模糊图像相符的候选往往不止一个,需要额外的“先验”来挑选。这个退火复原方案用的先验是自然图像的稀疏性:在合适的表示方式下,自然图像只需少数显著分量就能描述,其余分量接近零。
做法分三部分:
- 在代价函数(原文称“价格函数”)的约束项中加入稀疏性,使不够稀疏的候选代价更高。
- 借助图像模糊因子确定相关参数。
- 设计新的扰动方式产生候选,按代价函数的变化决定是否接受扰动解。
先验约束能缩小搜索范围,但有效的前提是图像确有相应的稀疏结构。本节没有给出完整目标函数和稀疏表示方式,不能补造公式。
多轮无改善触发升温再退火
这个降质图像复原方法把离散 Hopfield 神经网络和模拟退火结合:设定一个能量函数作为目标函数,能量越低复原越好;在温度 T 下逐个遍历像素,尝试改变网络中对应神经元的状态,并计算能量差 ΔE。
- ΔE < 0:能量下降,接受改变。
- ΔE > 0:计算 exp(−ΔE/T),大于 0~1 间的随机数时仍接受,否则放弃。
传统做法为避免过早收敛必须缓慢降温,运行时间很长。回火的做法是改用快速降温,同时设一个触发条件:在某一温度下重复多次抽取后解的质量毫无改变,就判定陷入局部最优,把温度 T 提高后重新退火。它用“停滞”作为恢复探索的信号;是否真的改善仍需实验判定,升温不构成跳出局部最优的保证。
结构图:
flowchart TD
A[初始化能量函数、降质图像、温度与回火条件] --> B[温度T下逐像素改变神经元状态]
B --> C{能量差小于0?}
C -- 是 --> E[接受状态改变]
C -- 否 --> F[按指数概率接受或放弃]
E --> G{多次抽取后解质量无改变?}
F --> G
G -- 是 --> H[回火:提高温度T]
H --> B
G -- 否 --> I[快速降温得到新T]
I --> J{低于终止温度?}
J -- 否 --> B
J -- 是 --> K[输出复原图像]
粒子群与退火分工复原图像
退化图像复原的一种混合方案让两种算法分工:
- 粒子群优化(微粒群,PSO):一群候选解(粒子)同时在解空间中移动,参考彼此找到的较好位置,全局搜索快,负责大范围找方向。
- 模拟退火(SAA):围绕当前解做小改动,并以一定概率接受变差的候选,局部搜索强,负责精细改进。
再配合合理的种群初始化方法和适应度函数,使方案能用于不同类型的退化图像。分工意在兼顾搜索范围和局部改进;原书没有给初始化、适应度或两者交接方式的定义,不能直接复现,也不能把文献报告的收敛与质量提升视为普遍保证。
结构图:
flowchart TD
A[退化图像复原] --> B[初始化种群与适应度设计]
B --> C[粒子群全局搜索]
C --> D[模拟退火局部搜索]
D --> E[候选复原图像]
柯西扰动生成盲复原候选
图像盲复原指在不知道图像是怎样被模糊的情况下恢复原图。用模拟退火做盲复原时,每一步要给当前状态加一个随机扰动,得到待评价的新状态;扰动量从什么分布里抽,决定了候选落在哪里。
改进算法对比了均匀分布与柯西分布后选用柯西分布。直观区别(一般概率知识,非原书展开):均匀分布的扰动被限定在固定范围内;柯西分布大多数扰动很小,但偶尔会抽到很大的值,既能在附近细搜,又不时远跳。文献报告这提高了对初值的鲁棒性,收敛速度约为原 McCallum 方法的两倍。
扰动分布是搜索行为的一部分。原书没有给尺度参数、状态表示或接受步骤的完整实现,这些改进不能仅凭这段摘要推广。
115 · 11.4.2 基于模拟退火算法的图像去噪
以灰度映射搜索和医学运动伪影修正两例展示模拟退火如何进入图像处理链路。 先以GA作全局候选搜索、SAA作局部改进,寻找使图像质量指标较好的像素灰度映射;再对医学运动伪影依次做频谱平移处理、Snake边界提取与ROI掩膜、傅里叶变换、退火相位校正和逆变换重建。式(11-2)的SVG下标可疑,未补造能量函数;效果与准确率结论缺乏本节内共同实验支撑。
遗传搜索接退火局部改进
混合图像去噪把候选解编码为“原图像素灰度如何对应到噪声图灰度”的映射,用图像质量标准评估适应度。搜索分两段:先用偏全局的遗传算法生成新个体,再用偏局部的模拟退火继续优化,得到下一代种群;反复直到收敛。两阶段作用的是灰度变换关系,不能据摘要断定对所有噪声类型都优于单一算法。
补充教学示例(非书中数据)。某个像素原图灰度 80、噪声图 70,个体里要记下 80→70 这种对应;整幅图的对应关系构成一条染色体,GA 先大范围改映射,SAA 再小步调整。
相位校正分开预处理与重建
病人在成像时移动,会在医学图像上留下重影状的运动伪影。这个修正算法把预处理、优化求解和重建分开:
- 用频谱平移去除多数平移伪影,只留下 X、Y 方向的亚像素级伪影。
- 用 Snake 算法提取目标边界,据此做掩膜,得到感兴趣区(ROI,需要保留的目标区域),其余设为背景。
- 对掩膜后的图像做二维傅里叶变换,得到 K 空间数据,即图像的频率域表示。
- 由 SAA 搜索最优相位偏移,用它修正 K 空间数据,再做逆傅里叶变换回到图像。
按傅里叶变换的一般性质,图像平移在频率域表现为相位变化(原书未展开此点),所以这里只需搜索相位偏移量,而不必逐个改像素。算法步骤可作计算流程理解;其临床准确率主张仍需独立验证,原文相位能量式(11-2)的 SVG 下标也有疑点。
结构图:
flowchart TD
A[伪影图像] --> B[频谱平移去除部分伪影]
B --> C[Snake提取边界并生成ROI掩膜]
C --> D[二维傅里叶变换到K空间]
D --> E[SAA搜索相位偏移]
E --> F[修正K空间数据]
F --> G[逆傅里叶变换]
G --> H[输出修正图像]
116 · 11.4.3 基于模拟退火算法的图像分割
概览模拟退火在模糊双阈值、Otsu多阈值、并行遗传子群和聚类图像分割中的搜索应用。 先区分阈值、边缘和区域分割,再以灰度直方图阈值划分类别;复杂图像可用模糊熵参数搜索,Otsu多阈值可把直方图信息编码为初值并由SAA代替穷举。其后给出多个GA子群并行进化、SAA局部爬山的双阈值医学分割方案,FCM混合仅作摘要。性能结论缺少共同数据集或参数条件,不用于算法间排名。
模糊熵与退火搜索双阈值
单个阈值只能把像素分成两类;两个阈值 t₁ < t₂ 把灰度分成三段:低于 t₁ 为黑,介于两者之间为灰,高于 t₂ 为亮。在光靶图像中,黑类用来检测标定图案,亮类用来识别激光光斑。
“模糊”指边界附近的灰度不硬性归入某一类,而是按程度分别属于相邻两类,所以三类叫模糊子集(模糊集的一般含义,原书未展开);这些归属程度由一组模糊熵参数决定,参数定了,阈值也随之确定。熵衡量划分中的不确定性,最大模糊熵判据选使模糊熵最大的那组参数作为最佳划分。
逐一枚举参数组合计算量大,于是用 SAA 代替穷举,快速得到最优的模糊熵参数组合和近似最优阈值。阈值数与目标函数应匹配图像任务,这一实验摘要不足以证明对其他图像同样有效。
退火近似多阈值Otsu搜索
Otsu 法选阈值的标准是“类间方差”最大:阈值把像素分成几类后,各类平均灰度彼此差得越开,类间方差越大,说明分得越清楚。传统做法按序遍历所有可能的阈值,逐个计算后取最大者。
问题在于多阈值时要搜索的是一组阈值(阈值向量),组合数随分类数呈几何级数增长。示例(补充演算):灰度 0~255,阈值从 255 个候选灰度中选——
| 阈值个数 | 需要枚举的组合数 |
|---|---|
| 1 | 255 |
| 2 | 32 385 |
| 3 | 约 273 万 |
改进做法先用直方图的分类信息给出初始阈值向量,再让改进的 SAA 逐步逼近使类间方差最大的向量,代替穷举。它改变的是阈值求解策略;SAA 给出的是近似解,实际质量仍须与相同图像集上的穷举结果比较。
并行遗传子群接退火爬山
Otsu 法按类间方差最大来选阈值;双阈值是一次选出两个灰度界限,把像素分成三类。一种医学图像分割方案让多个遗传子群并行进化,以覆盖更多候选阈值,同时用模拟退火的爬山能力处理某个子群过早收敛(早熟:种群过早变得彼此相似、不再改进)。并行子群承担更广探索,退火承担局部改进。原书未给子群交换、退火接入或适应度细节,不能由该摘要推断稳定的分割效果。
结构图:
flowchart TD
A[Otsu双阈值候选] --> B[多个遗传子群并行进化]
B --> C{某子群早熟?}
C -- 是 --> D[模拟退火局部爬山]
C -- 否 --> E[继续子群进化]
D --> F[候选双阈值]
E --> F
联系前文或后续机制,可继续阅读:阈值分割按灰度划类。
117 · 11.5 基于模拟退火算法的组合优化
承接模拟退火基本机制,开启其在组合优化问题中的应用部分。 本项以组合优化的困难性和NP-hard问题引入后续应用案例,没有给出新模型、状态表示或算法步骤;“快速求解”属于概述性评价,不据此判断普遍性能。
本项的取材边界:本项仅为组合优化应用部分的引言,复杂度背景与退火搜索定位已由全书及前项机制卡说明;未展开具体应用机制,等待后续正文。
118 · 11.5.1 基于模拟退火算法的 0 - 1 背包问题
将模拟退火应用于 0-1 背包,具体化候选邻域、目标变化和容量约束下的接受准则,并比较粒子群、遗传操作与贪心修复的混合方案。 先以二进制选择变量表示解并给出价值最大化与容量限制;再按物品的在包状态执行加入、移除或交换,并计算重量和价值变化;随后用扩充 Metropolis 准则先拒绝超容量解,再接受可行改进或按温度概率接受其余候选。后半部分概述 IFEPSO-SA、遗传算子与贪心修复等研究方案,性能描述限定在原文所述研究。式 11-3、11-4 的重量项出现 x(x) 记号疑点,章节文字与大纲不擅自更正。
背包退火邻域增删物品
0-1 背包的退火邻域任选物品 i,再按它是否已在包中产生新解:
- i 不在包中:把它放入,或者放入的同时随机取出另一件 j。
- i 已在包中:把它取出,并同时随机装入另一件 j。
加入会增加重量与价值,交换则按两件物品的差更新。超重候选是否保留还要由约束接受规则决定。原书公式把部分变量写成 x(x),故这里只保留文字明确的操作含义。
补充教学示例(非书中数据)。当前装 {1,2},重量 5、价值 9。选中不在包中的物品 3(重量 4、价值 6)且不取出其他件,新重量 9、新价值 15。
结构图:
flowchart TD
A[选择物品 i] --> B{ i 当前在包中? }
B -- 否 --> C[加入 i]
C --> D{同时移除物品 j?}
D -- 否 --> E[重量与价值增加 i 的贡献]
D -- 是 --> F[重量与价值按 i 减 j 更新]
B -- 是 --> G[移除 i 并加入另一物品 j]
G --> H[重量与价值按 j 减 i 更新]
E --> I[形成候选邻居]
F --> I
H --> I
背包先验可行再退火接受
普通 Metropolis 准则只看目标变化,背包问题还有承重约束,所以用扩充后的准则,按顺序判断候选:
- 候选总重超过背包容量:接受概率为 0,直接拒绝。
- 可行且总价值增加(Δf > 0,Δf 为新解价值减当前价值):一定接受。
- 可行但价值不增(Δf ≤ 0):以
exp(Δf/t)的概率接受,t 为温度。
背包是求最大值,所以变差时 Δf 为负,exp(Δf/t) 落在 0 到 1 之间。示例(补充演算):Δf = −10 时,t = 100 的接受概率为 e^(−0.1) ≈ 0.90,t = 10 时为 e^(−1) ≈ 0.37。温度只调节对较差可行解的容忍度,不能替代第 1 步的容量检查。
原书将重量约束中的选择变量写作 x(x),疑似记号错误,卡片不据此推导公式。
结构图:
flowchart TD
A[产生候选背包] --> B{候选重量超过容量?}
B -- 是 --> C[拒绝]
B -- 否 --> D{价值变化 Δf 大于 0?}
D -- 是 --> E[接受]
D -- 否 --> F["按 exp(Δf/t) 概率接受"]
C --> G[保留当前解]
E --> H[转到候选解]
F --> I{随机判定接受?}
I -- 是 --> H
I -- 否 --> G
直觉模糊熵调节粒子退火混合
IFEPSO-SA 是粒子群优化(PSO)与模拟退火的混合,两处改造各管一件事:
- 控制种群多样性:用种群的直觉模糊熵(IFE)衡量粒子是分散还是扎堆,据此自适应调整惯性权重,并配合新的变异策略。惯性权重决定粒子在多大程度上保持原来的运动方向:权重大,粒子更倾向沿原方向继续走、探索范围更广;权重小,更快向已知好位置靠拢。
- 改进局部最优解:对 PSO 产生的局部最优解做交叉,再用模拟退火机制选择,即较差的结果也有一定概率被保留。
熵作用于种群如何移动,退火作用于候选是否保留;结合后的效果仍须按具体问题检验。
贪心修复退火邻域不可行解
一种背包 SAA 以传统贪心方案为基础,再加入遗传算法的变异和倒位操作扩大搜索。倒位指把染色体上一段基因顺序颠倒,例如 1-2-3-4 把中间两位置倒成 1-3-2-4。每代产生不可行解(通常是超重)后,用贪心算法修正再继续迭代。修复把候选带回可行域,但具体贪心排序规则须由实现另行定义,原文没有给出,不能据此声称修复后的质量或收敛保证。
结构图:
flowchart TD
A[贪心方案基础] --> B[变异与倒位扩大搜索]
B --> C[生成新候选解]
C --> D{满足背包约束?}
D -- 否 --> E[用贪心算法修正]
D -- 是 --> F[进入后续迭代处理]
E --> F
119 · 11.5.2 基于模拟退火算法的图着色问题
用图着色说明模拟退火及混合进化方法如何处理离散顶点分配和邻接约束。 先区分求图的最少颜色数与给定颜色数 k 的着色问题,再以顶点到颜色集合的映射表示方案,并要求每条边两端颜色不同。后半部分概述快速单元自退火、遗传—自适应退火—禁忌搜索的职责,以及在遗传新种群上追加退火带来的局部收益与计算成本。原文把图着色称为“NP问题”但未区分判定/优化版本或给出复杂度论证,故此处不将其升级为 NP 完全/NP 难结论;各研究的性能表述限定于相应实例。
相邻顶点必须异色
k-顶点着色把图中每个顶点映射到 k 种颜色之一,并要求每条边连接的两个端点颜色不同。图着色有两类相关但不同的任务:求色数是找满足该约束所需的最少颜色;给定 k 的着色是判断能否用这 k 种颜色完成分配。电路布线、工序、排课、任务分配等都可以转化成这类问题。
补充教学示例(非书中数据)。三个顶点两两相连的三角形:任意一边两端必须异色,因此至少需要 3 种颜色;若只给 k=2,不存在合法着色。
遗传退火禁忌分工搜索
GA-ASATS 用三种算子求解图着色,各管一件事:
- 遗传算法(GA):用选择、交叉、变异推进整个种群的搜索。
- 自适应模拟退火算子(ASA):在局部寻优中既可“下山”(移向目标值更好的解),也可“上山”(按概率接受目标值变差的解),借此离开局部最优。
- 禁忌搜索算子(TS):用禁忌表记住最近若干次做过的移动,在一定步数内暂时禁用它们,防止搜索来回兜圈。禁用并非绝对:若某个被禁的移动能带来优良状态(如优于迄今最好解),蔑视准则可予赦免。
三者分别处理种群演化、局部改进和搜索记忆;禁忌规则只是减少循环的启发式,不是全局最优的证明。原书的性能结论限于其稠密图、稀疏图实验。
结构图:
flowchart TD
A[图着色候选种群] --> B[遗传选择、交叉与变异]
B --> C[自适应退火局部搜索]
C --> D[按目标函数上下移动]
D --> E[禁忌记忆减少循环]
E --> F[形成改进候选]
F --> G[进入种群选择]
G --> B
退火优化新种群增加计算成本
把模拟退火用于遗传算法新生成的种群,可在下一代使用前先做局部优化,结合种群搜索和邻域改进。代价是每个新个体都要再跑一轮退火;图规模变大时顶点数增加,种群往往跟着变大,计算复杂度会累积,影响收敛速度。是否值得混合,须比较单位预算下的解质与耗时,不能只看搜索能力。
补充教学示例(非书中数据)。每代 50 个个体、每个个体退火再评价 20 次,一代就要多 1000 次评价;顶点数从 20 增到 200、种群跟着放大时,这笔附加成本按种群规模倍增。
120 · 11.5.3 基于模拟退火算法的旅行商问题
说明模拟退火与遗传算法结合求解旅行商问题时的种群初始化、最优解记忆、邻域搜索和并行边界。 先介绍部分近邻法生成遗传—退火混合算法的初始种群;再概述记录当前最优、双阈值、邻域与能量增量改进;最后说明随机初始化时可并行计算城市间距离,每一固定温度下的循环可并行处理,但各循环体内依赖前一状态的 Metropolis 热平衡须借助 LOCK 与 UNLOCK 串行执行。原书未说明循环划分细节。混沌随机序列等只提及名称或方向的做法未补写机制,跨研究性能比较也不作普遍结论。
近邻初始化平衡种群搜索
遗传模拟退火求 TSP 时,可用部分近邻法构造初始种群。近邻法从某个城市出发,下一步优先接到尚未访问的最近城市,使初始路线带上距离结构;“部分”表示只对种群中一部分个体这样构造,其余仍可随机,以保留多样性。它用来缓和多样性与收敛速度的矛盾,但近邻规则过强仍会压低种群差异。原文称该初始种群优于随机产生,属于对应仿真实验报告,不能据此认定普遍优于随机初始化。
双阈值守住最优并省计算
退火搜索可额外保存当前最优状态,避免后续接受较差解后丢失最好结果;再用双阈值控制搜索或计算,减少不必要的评价。原文没有给出阈值的定义与更新式,因此只能迁移“保留最好状态、用阈值削减成本”的设计意图,不能照此直接实现。
热平衡更新须保持串行条件
模拟退火在每个温度 T 下要反复做“由当前路线产生新路线、按 Metropolis 准则决定是否接受”的尝试,直到该温度下达到热平衡,这一过程称为 Metropolis 过程;每个温度的尝试次数即马尔可夫链长 L。每次状态改变都建立在上一次得到的状态上,所以退火有内在串行性,只能部分并行。
书中方案并行化两处:
- 随机初始化时,并行计算任意两城市间的距离——这些距离互不依赖。
- 因 L 一般较大,并行处理每一固定温度下的循环。
但各循环体内的 Metropolis 过程每一步都依赖上一步的状态,仍须用 LOCK 与 UNLOCK 建立临界区(同一时刻只允许一个进程执行的代码段),使状态更新串行进行。原书未说明循环的具体划分与调度规则。
结构图:
flowchart TD
A[随机初始化] --> B[并行计算任意两城市间距离]
B --> C[每一固定温度 T 下的循环]
C --> D[循环可并行处理]
D --> E[各循环体内的Metropolis热平衡]
E --> F[用LOCK与UNLOCK建立临界区]
F --> G[串行执行状态更新]
第12章 贪心算法
贪心算法每步做当前看来最好的选择,然后缩小剩余问题。要由此得到全局最优,既须证明局部选择可以进入一个整体最优解,也须有最优子结构。分数背包能按价值密度拆分物品,0-1背包不能;同一排序规则在后者上可能错过更优组合。旅行商的最近邻法能快速构造路线,但不同起点和局部选择并不提供最短回路证明。
121 · 贪心算法导言
定义贪心选择,指出局部决策与整体最优的差别,并为后续背包等应用提出适用条件。 先将贪心步骤描述为反复选择当前最优,再区分局部最优与整体最优;随后以贪心性质和最优子结构作为适用条件,条件不足时将结果限于近似解。背包、TSP、图着色和调度仅为应用预告,机制留待后续正文。
贪心选择不等于整体最优
局部最优只要求在限定范围或部分可行决策中最好;全局最优则要与所有可行决策比较。贪心算法每步选择当前看来最好的方案,但这种局部最优不自动推出整体最优;只有问题同时具备两条性质时,才可据此求整体最优:
- 贪心选择性质:整体最优解可由一系列局部最优选择达到,见 贪心选择须能延伸为全局最优。
- 最优子结构:问题的最优解包含其子问题的最优解,见 最优子结构保留子问题最优解。
不满足这两条时,贪心结果只能当近似解。原书以最大权森林、最小生成树作可直接求解的例子,以 TSP 和 0-1 背包说明贪心可能只给近似解;这些结论仍须对应具体模型,不能按问题名称泛化。
122 · 12.1 从背包问题了解贪心算法
用可拆分背包示范贪心装填,并引出贪心选择性质与最优子结构两项正确性条件。 先定义允许部分装入物品的价值最大化问题,再按价值密度由高到低装填;接着从具体策略转向一般方法,要求证明局部贪心选择能进入某个整体最优解,并将剩余问题化为规模更小的同类问题;最后定义最优子结构。此处背包允许拆分,不能把排序规则迁移到 0-1 背包;两项性质分别说明可选择与可递归,均不应被单独误当成无需证明的保证。
分数背包按价值密度装填
一般(分数)背包问题有 n 件物品,第 i 件价值 vᵢ、重量 wᵢ,背包容量 C;每件可只装一部分,装入比例 xᵢ 取 0 到 1,要在 Σwᵢxᵢ ≤ C 下使总价值 Σvᵢxᵢ 最大。
贪心规则是按单位重量价值(价值密度)vᵢ/wᵢ 从高到低取物:密度最高者能装多少装多少,装完仍有空间就换密度次高者,最后一件只装到恰好填满,可得到最大价值。若尚未排序,按密度排序主导计算量,书中给出 O(n log n);排序后的顺序装填只需逐件扫描。这个规则依赖“物品可取一部分”;若必须整件选取,最高密度不保证 0-1 背包最优,反例如 价值密度贪心可能输给0-1组合。
贪心选择须能延伸为全局最优
贪心选择性质要求:从当前局部最优选择出发,仍能构造出原问题的整体最优解。证明分两步:
- 说明存在一个整体最优解以这步贪心选择开头(常用办法是把某个最优解改写成包含它,且价值不变差)。
- 做出这步选择后,剩余部分是规模更小的同类问题,再用数学归纳法对每一步重复上述论证。
示例(依据分数背包定义补充):若某个最优方案没把密度最高的物品装到上限,就从方案里取出等重的低密度部分换成它(背包未满时直接多装它),重量不超、价值不降,所以必有一个最优解从“先装最高密度物品”开始;剩余容量又是一个更小的分数背包。
选择可依赖已做出的决策,但不依赖将来的选择。只观察到每步“看起来最好”不足以证明贪心法正确。
最优子结构保留子问题最优解
若原问题的一个整体最优解中,包含其子问题的最优解,就具有最优子结构。它说明缩小问题规模后,子问题的最优结果仍可嵌入整体解;但这项性质本身不保证贪心选择正确,还须另证局部选择能安全进入整体最优解,见 贪心选择须能延伸为全局最优。
示例(补充教学示例,非书中数据):容量 50 的分数背包若最优方案先装满密度最高的 10kg 物品,则剩余容量 40 上的装填必须仍是“容量 40 的同类背包”的最优解。若剩余 40 不是最优,换成更优装填会抬高总价值,与原方案最优矛盾。
0-1 背包也有最优子结构(决定某件装或不装后,剩余容量仍应最优),但缺少贪心选择性质,密度贪心不能保证整体最优,见 价值密度贪心可能输给0-1组合。
123 · 12.2 贪心算法实现
界定局部最优与全局最优,为后续贪心算法的实现和选择建立比较范围。 先把局部最优限定在某一范围或部分可行决策内,再把全局最优定义为与所有决策相比最好;随后说明复杂问题可能以局部解作为可接受目标,但局部解的质量并非必然差。该区分补充第121项贪心定义,并不替代对贪心正确性的证明。
联系前文或后续机制,可继续阅读:贪心选择不等于整体最优。
本项的取材边界:核心区分已并入第 121 项新卡“贪心选择不等于整体最优”,以限定范围内的最优和全体可行决策中的最优区分局部/全局,并补入局部解质量边界;无须重复建卡。
原书依据 · 1 处
124 · 12.2.2 贪心算法流程
把贪心法从选择性质落实为建模、逐步选择和可行性检查的求解流程。 先建立数学模型并按规则拆分子问题,再对各部分求局部最优;候选加入部分解前检查可行性,不可行则跳过,直至数据耗尽或无法继续添加,最后合成整体可行解。流程结束只保证输出可行解,仍需结合贪心选择性质与最优子结构证明整体最优。
贪心流程先筛可行再合成
贪心流程先建模,再按规则拆成较小子问题,逐个求局部最优;每个候选加入部分解前还要检查可行性,最后把局部结果合成为原问题的可行解。停止条件可由数据枚举完或再无可行候选触发。局部最优组合成可行解后,是否整体最优仍要依据问题性质证明。
示例(补充教学示例,非书中数据):容量 50 已装入重量 20 与 30 的两件,下一件重量 10。加入后总重 60>50,该件不进入部分解,算法改看后续候选或停止。这里筛掉的是可行性,不等于证明留下的组合是整体最优。
结构图:
flowchart TD
A[建立问题模型] --> B[按规则划分子问题]
B --> C[求当前局部最优候选]
C --> D{加入后仍可行?}
D -- 是 --> E[纳入部分解]
D -- 否 --> F[跳过候选]
E --> G{仍有数据或可行候选?}
F --> G
G -- 是 --> C
G -- 否 --> H[合成原问题可行解]
联系前文或后续机制,可继续阅读:贪心选择不等于整体最优。
125 · 12.3 基于贪心算法的组合优化
为贪心算法在组合优化中的应用提供范围说明,并提醒贪心法并非对所有问题都返回整体最优。 以最大权森林、最小生成树举例说明可直接用贪心求解,再以 TSP 和 0-1 背包指出贪心可能只给近似结果;效率和受欢迎程度属于缺少共同条件的概括评价。本项不展开新模型或算子,实例去向并入贪心适用边界卡,MWF/MST 名称留待关联。
联系前文或后续机制,可继续阅读:贪心选择不等于整体最优。
本项的取材边界:本项是组合优化的概述性导言,示例仅补充既有卡“贪心选择不等于整体最优”的适用边界,没有给出新的模型、算法步骤或证据充分的普遍效率结论。
原书依据 · 1 处
126 · 12.3.1 基于贪心算法的背包问题
用分数背包与 0-1 背包对照,展示价值密度贪心的适用前提和不可直接迁移的边界。 先以 xᵢ∈[0,1] 表示可拆分物品、以 xᵢ∈{0,1} 表示整件取舍;再比较按重量、价值或价值密度的启发式。未排序物品按价值密度降序排序主导分数背包的 O(n log n) 计算量。容量 50 的三件物品例子说明:价值密度顺序在分数背包中可得到 240 元,而 0-1 情形中贪心取前两件仅 160 元,后两件为 220 元。伪代码的剩余容量赋值和边界判断存在疑点,因此不复述为可执行实现。
价值密度贪心可能输给0-1组合
容量为 50 时,三件物品的“重量/价值”是 (10,60)、(20,100)、(30,120),价值密度依次为 6、5、4。不可拆分时,按密度先选前两件只能得 160;选后两件恰好装满,得 220。分数背包可把第三件取 20/30,得 240。可拆分性决定密度贪心是否可靠。
联系前文或后续机制,可继续阅读:分数背包按价值密度装填、背包编码决定可行性处理。
127 · 12.3.2 基于贪心算法的旅行商问题
以旅行商问题演示最近邻贪心法如何逐城构造一条回路,并说明局部择优与全局最短路线之间的差别。 先把 TSP 表述为完全加权图上的最短哈密顿环;再从任意起点反复选择最近的未访问顶点,得到候选回路;由于起点可能改变结果,可遍历各城市作起点并保留其中较短者,但这仍是启发式候选,不等于全局最优证明。正文给出的 O(n) 时间复杂度没有交代最近城市查询的数据结构或计数假设,故不据此作复杂度结论;末尾列出的改进方法仅作名称介绍。
最近邻逐城构造TSP近似回路
最近邻法从任一城市出发,每步转到尚未访问城市中距离最近者,访问完后闭合成回路。起点会影响贪心选择,因此可逐一尝试各起点并保留这些候选中的最短路线;这只是改善启发式结果,不能保证全局最短。它适合快速构造可行候选,仍需用更强的搜索或下界评估路线质量。问题模型见 旅行商问题寻找最短城市回路。
示例(补充教学示例,非书中数据):四城对称距离 A–B=1,B–C=1,C–D=1,D–A=10,A–C=100,B–D=1。
| 起点 | 最近邻构造 | 回路长 |
|---|---|---|
| A | A→B→D→C→A | 1+1+1+10=13 |
| C 且第二步选 D | C→D→B→A→C | 1+1+1+100=103 |
同一规则、不同起点(及并列最近邻的打破方式)可得到长度差很大的可行回路,故多起点比较只是在启发式候选里选短的。
结构图:
flowchart TD
A[选择起点] --> B[前往最近的未访问城市]
B --> C{还有未访问城市?}
C -- 有 --> B
C -- 无 --> D[闭合为回路]
D --> E{尝试其他起点?}
E -- 是 --> A
E -- 否 --> F[选已生成路线中的最短者]
F --> G[不等于全局最优]
旅行商问题寻找最短城市回路
旅行商问题(TSP)把城市看作完全图的顶点(完全图指任意两个顶点之间都有一条边,即任意两城可直达),城市 i、j 间的距离 dᵢⱼ 是边权;目标是从一个城市出发,每座城市恰好访问一次,返回起点,并使整条回路的边权和最小。
这个模型规定了可行路线与优化目标,和某个求解算法不同:最近邻法只按当前最近的未访问城市逐步构造候选,用“未访问城市集合”排除重复访问,它本身不能证明所得回路是全局最短。
第13章 雨滴与水滴搜索
人工雨滴算法(ARA)把候选群体、聚合、扰动与择优保留类比为降雨过程。几何中心产生主搜索点,飞溅和流动改变局部或全局探索,雨滴池记录已找到的候选。后续的智能水滴算法(IWD)用路径泥土等信息引导选择;它与ARA的名字相近,但状态和更新机制不同。物流实例把容量、设施位置与时间窗加入路线模型,必须分别识别。
128 · 13.1 自然降雨现象启发下的雨滴算法
从边界约束优化和传统导数方法的局限,过渡到人工雨滴算法(ARA)的自然启发与阶段框架。 先定义决策向量、目标函数和有界搜索空间;再说明单点导数仅反映局部特性,依赖导数构造方向的下降法在导数难求或不存在时受限,由此引出模仿自然现象的随机搜索;随后把雨滴形成、碰撞、流动、雨滴池更新和水汽更新映射为 ARA 的五阶段循环,并以固定搜索间隔中的线性系统应用作初步示例。自适应、并行或更高概率找到全局最优等概括评价缺少本节可核验条件,不当作保证。
约束优化先界定可行搜索空间
有界约束优化写作:在 X ∈ Ω 的条件下求 min f(X)。其中 X=(x₁,…,x_D) 是 D 维决策向量,f 是目标函数;搜索空间 Ω=[L₁,U₁]×…×[L_D,U_D],即每一维都要满足 Lᵢ ≤ xᵢ ≤ Uᵢ,Lᵢ、Uᵢ 是第 i 维的下界和上界。
示例(补充):D=2、x₁∈[0,10]、x₂∈[−5,5] 时,(3,4) 可行;(12,0) 的目标值即使更小,也因 x₁ 越界而不是合格解。
先明确搜索域,才能区分“目标值更好”和“违反约束”,也能据此设计变量编码与边界处理。
ARA以五阶段模拟降雨搜索
人工雨滴算法(ARA)把降雨循环映射为随机优化搜索,分为雨滴形成、雨滴碰撞、雨滴流动、雨滴池更新和水汽更新五个阶段。它模仿的自然过程是:水汽聚集凝结成雨滴,雨滴落地碰撞成许多小雨滴,小雨滴受重力流向海拔低处,部分再蒸发成水汽回到大气,循环往复。在最小化问题里,“海拔”对应目标函数值,流向低处即寻找目标值更小的位置。
这个阶段框架给自然现象与算法过程建立对应关系,但只列出阶段名称并不等于掌握各阶段的更新规则;具体算子见 雨滴质心构造主搜索点、飞溅扰动兼顾全局与局部搜索 和 雨滴池与择优更新保留搜索进展。
结构图:
flowchart TD
A[雨滴形成] --> B[雨滴碰撞]
B --> C[雨滴流动]
C --> D[雨滴池更新]
D --> E[水汽更新]
E --> A
局部导数不足时可转向随机搜索
由单个候选点的导数构造下降方向,只能利用该点附近的信息,不能直接反映远处目标函数的形状;当目标导数难求或不存在时,这类依赖导数的下降法也难以使用。书中因此引出模仿自然现象的随机搜索方法,作为处理此类问题的补充。这个边界针对依赖导数的传统下降法,不意味着所有传统优化方法都必须求导,也不保证随机搜索一定找到全局最优。
129 · 13.2 雨滴算法理论基础
展开 ARA 五阶段中的群体初始化、雨滴形成、飞溅与低位流动,并说明池记忆和代际保留如何把候选解推进到下一轮。 先以 N 个 D 维水汽向量初始化种群,并用几何中心形成雨滴;再随机扰动一个坐标模拟下落,碰撞后产生拟正态分布的小雨滴;小雨滴借助雨滴池位置向较低目标值区域流动,MNF 限定单轮流动次数。每轮把较优位置加入有容量上限的雨滴池,随后将新候选与旧水汽合并、按目标值选出 N 个个体进入下一代。正文的流动向量式上下标不一致,不把具体方向系数写成可复用公式;“全局/局部优点互补”保留为作者概括,不视为性能保证。
雨滴质心构造主搜索点
ARA把 N 个 D 维水汽向量视为一代候选解(第 G 代第 i 个记作 Vaporᵢ),并将它们各维坐标的平均值组成雨滴位置:Raindrop 的第 j 维 = (1/N)·Σᵢ vaporᵢ,ⱼ,即水汽种群的几何中心。这模仿水汽不断吸收周围水汽而凝成雨滴。
示例(补充):N=3、D=2,水汽为 (1,4)、(3,2)、(5,6),雨滴位置为 ((1+3+5)/3, (4+2+6)/3)=(3,4)。
群体中心把多个候选压缩成一个后续扰动的起点;它代表种群整体位置,不等于其中目标值最好的解——上例中 (3,4) 与三个水汽都不重合,目标值也可能不如其中某个,因此还需单独保留个体评价。
飞溅扰动兼顾全局与局部搜索
ARA的扰动分三步:
- 下落:随机选一维 d,把雨滴该维替换为 [L_d, U_d] 内的随机数,其余维不变,得到新雨滴。
- 碰撞飞溅:新雨滴撞成 N 个小雨滴,第 i 个为“新雨滴 + sign(α−0.5)·log β·(新雨滴 − 任一水汽 Vapor_k)”。α、β 是 0–1 随机数:sign(α−0.5) 随机取正负方向,|log β| 多数较小、偶尔很大,使小雨滴大多落在新雨滴附近、少数溅得很远,书中称“拟正态”分布。
- 流动:每个小雨滴沿由雨滴池(存放较优位置的集合)中两个随机位置构造的方向 d 移动;若移动后目标值(“海拔”)反而升高,就视为错误方向,否则继续沿 d 流动,最多流动 MNF 次。
飞溅负责大范围覆盖,流动负责局部改进。正文方向向量(式 13-7)的符号与下标有疑点,因此这里只保留可由文字确认的机制。
结构图:
flowchart TD
A[雨滴位置] --> B[随机扰动一个维度]
B --> C[碰撞并产生拟正态小雨滴]
C --> D[雨滴池位置提供低值引导]
D --> E[最多流动MNF次]
E --> F[形成局部搜索候选]
雨滴池与择优更新保留搜索进展
ARA分别维护两个集合:
- 雨滴池 RP:每一代把流动后 N 个小雨滴中最优的那个位置加入 RP;RP 规模超过预设值 N 时,随机删去多余粒子以节省资源。RP 中的位置用来构造下一次流动的方向,是局部引导记忆。
- 水汽种群 Vapor:把 N 个流动后的小雨滴与旧水汽合并,按目标值排序(书中用冒泡排序)选前 N 个,作为下一代水汽。
前者提供局部引导记忆,后者筛选总体候选。两者职责不同:RP 超容时是随机删除而非按优劣淘汰,不能误写成只保留最优者的全局精英档案。
结构图:
flowchart TD
A[流动后的候选] --> B[本代最优位置加入雨滴池]
B --> C{雨滴池是否超过N?}
C -- 是 --> D[随机删除冗余粒子]
C -- 否 --> E[保留雨滴池]
D --> E
F[新小雨滴] --> G[与旧水汽合并]
G --> H[按目标值选择前N个]
H --> I[形成下一代水汽]
130 · 13.3 基于雨滴算法的多目标优化问题
以应急物资配送说明多目标雨滴算法面对的现实约束,并综述用于应急物流与路径优化的相关方法。 先概括应急物流的紧迫性与突发性,再把问题拆成物资分配、临时设施选址和受车辆容量、道路状况约束的配送路径,并以时间与成本作为决策目标;随后回顾动态车辆路径及多疫区配送研究,最后引入智能水滴算法的泥土/路径选择及泥土上下限,以减缓局部过早收敛。文献中的疾病传播、需求预测和算法效果只作案例摘要,未给参数或统一对照,不外推为医疗或性能结论。
应急物流协同分配选址与路径
应急物流面向突发灾害和紧急调运,比普通物流更受时限与需求变化影响。规划需把物资种类/数量分配、临时设施选址和车辆路径放在一起考虑,同时满足道路、车辆数与容量约束,并权衡配送时间和成本;只优化路线距离会遗漏资源配置与设施决策。
示例(补充教学示例,非书中数据):两受灾点 A 需 80 箱、B 需 20 箱,临时仓只能靠近其一。若仓放在 A,则 B 的路径变长但仍可能总时间更短,因为 80 箱不必远运;只按地图最短路把仓放在中点,可能忽略“多数物资在哪”。三者要协同,不是先定路线再倒推库存。
结构图:
flowchart TD
A[受灾点需求与道路状态] --> B[分配物资]
B --> C[选择临时设施位置]
C --> D[规划车辆路线]
D --> E[满足车辆数与容量约束]
E --> F[权衡配送时间和成本]
IWD按泥土和路径长度选节点
智能水滴算法用路径泥土量和路径长度共同影响下一节点的选择概率,并为泥土变量设置上下限,避免某段路径信息变化过快而使搜索过早集中。它与 选城概率融合信息素与距离 都组合了历史路径信息和距离启发,但泥土更新属于水滴算法机制,不能直接套用蚁群的信息素更新规则。
选择倾向上(补充教学示例,非书中数据;原文未给具体公式):
| 路段特征 | 对下一节点概率的影响 |
|---|---|
| 泥土少、路程短 | 更容易被选 |
| 泥土多、路程长 | 更不容易被选 |
| 泥土已碰到上/下限 | 该段信息不再剧烈变,降低过早盯住少数路 |
泥土少/路短更像“已有水流冲刷且近”的河道;上限下限管的是变化速度,不是把某条路永久删掉。
131 · 13.3.2 基于雨滴算法的混合时间窗车辆路径问题
在多目标应急物流之后,引入带时间窗车辆路径问题(VRPTW),说明其时间约束如何与路线、排程和成本结合,并回顾相关求解方法。 先从普通 VRP 扩展出最早服务时间和最晚期限,形成路线与排程耦合,并把巡航成本扩展为运输、时间及违约处罚;随后将求解方法分为精确分枝定界、途程建构、途程改善、合成、优化模型启发式和元启发式六类,指出精确法适用规模有限;最后介绍智能水滴软时间窗及旁域泥土更新,以及遗传算子混合方案。算法优劣均来自不同研究摘要,不能跨算例当作统一性能结论。
时间窗让车辆路线同时受排程约束
VRPTW(带时间窗的车辆路径问题)在车辆路线之外,为顾客服务加入最早开始时间与最晚期限;场站也可能受时间窗限制,因此路径选择同时变成排程问题。评价方案时,运输成本之外还要考虑时间成本与未按窗送达的处罚,单看里程会漏掉准时性约束。
示例(补充教学示例,非书中数据):顾客要求 9:00–11:00 送达。路线地理上更短、但 8:30 到达,须等待到 9:00 才服务;若 11:30 才到,则计入违约处罚。另一条略长的路若 10:00 到达,总巡航成本可能反而更低。场站若 18:00 关门,过长路线即使顾客窗都满足也可能不可行。
VRPTW求解方法分六类
带时间窗车辆路径(VRPTW)的求解方法按 Taillard 等的分类有六类:
| 类别 | 做法 | 书中例子 |
|---|---|---|
| 分枝界限精确法 | 搜索并证明精确最优 | Kolen,仅 6–15 个节点 |
| 途程建构启发式 | 按选点或排线规则把需求点逐个插入路线 | 循序插入法 |
| 途程改善启发式 | 先有可行初始路线,反复改善到不能再改 | 节线交换、K-Optimal |
| 合成启发式 | 建构后接改善 | 平行插入加路线改善 |
| 依据最佳化的启发式 | 借数学规划把问题分解为指派、分群、排程等子问题 | 混合整数规划模块 |
| 元启发式 | 允许跳出局部最佳的通用框架 | 禁忌搜索、模拟退火、遗传算法、门槛接受法 |
精确法能证明小规模问题的最优性,但规模受限;大规模应用通常要在可行解构造、局部改进与更广搜索之间取舍,具体选择仍依问题规模和约束而定。
旁域泥土更新扩散河道信息
智能水滴的旁域更新不只改动单条路径上的泥土量,而把整条河道的信息纳入更新,使其他水滴到达目标节点的概率也受影响。它扩大了节点选择所共享的路径反馈范围;原文未给更新公式和参数,不能据此复原算子或断言性能提升。它扩展的是 IWD按泥土和路径长度选节点 的泥土更新环节。
第14章 禁忌搜索
禁忌搜索在邻域搜索上增加近期记忆,暂时禁止某些解或移动,以减少循环;藐视或特赦准则允许有价值的例外。长期频率记忆则帮助在强化已有线索与探索新区域之间切换。飞蜂窝频谱分配把相互干扰的基站连成图,颜色代表频段,邻接点异色才可行。零冲突只证明给定频谱数能使用,不能据此认定频谱数最少。
132 · 14.1 禁忌搜索算法起源
从局部邻域搜索的易陷局部极值问题引出禁忌搜索及其记忆机制,并回顾算法起源和应用范围。 先说明爬山式局部搜索只在当前解邻域内比较,结果受初始解与邻域结构影响;随后引入禁忌搜索,从可行解出发试探移动,并用禁忌表记录近期过程、暂时禁止重复已搜索状态,以减少迂回并扩大搜索。作者将其定位为求近似解的启发式方法;“解决 NP-hard 问题”及应用效果属于概括性评价,不据此认定全局最优保证。
本项的取材边界:本节合格的禁忌记忆与邻域搜索想法已并入现有卡片;历史和泛化断言没有可独立成卡的新机制。
133 · 14.1.2 禁忌搜索算法基本思想
细化禁忌搜索的记忆与例外机制,并说明初始解、邻域及主要执行环节对搜索的作用。 从可行初始解出发,按问题选择邻域移动;禁忌表记录近期移动并暂时禁止最新迭代的相关移动,以减少循环。若禁忌移动可产生优良状态,蔑视准则允许赦免;最后列出编码、适应度、移动、选择、渴望水平和停止准则等实施环节。初始解质量影响搜索表现,复杂约束下需先保证其可行。以上是启发式搜索机制,不构成全局最优保证。
本项的取材边界:本节禁忌记忆、蔑视例外及初始解要求均已并入既有卡;其余为步骤目录或未展开引用,无独立新卡。
134 · 14.2 禁忌搜索算法实现
定义禁忌搜索的移动、邻域、候选与评价机制,说明短期禁忌记忆、期望例外、长期频率记忆和停止条件如何组成算法控制框架。 先由当前解定义移动及邻域,再从邻居构造候选集并用评价函数排序;算法允许非改进移动以离开局部最优。禁忌表可记录完整解或解属性,禁忌长度控制短期记忆窗口;当候选均被禁或禁忌候选优于历史最好解时,期望条件可释放候选。变量频率与变化方向构成长期间记忆,引导对有希望区域深入搜索并扩展到少探索区域;最后以最大迭代、无改进次数、频率或偏离阈值等规则终止。评价函数替代目标函数时需检查是否仍服务实际目标,停止规则不代表全局最优证明。
禁忌对象与长度控制搜索记忆
禁忌表记录暂时禁止的“禁忌对象”,用来避免搜索绕回刚走过的地方。它可记近期完整解,也可记解的属性;前者禁止重访这些状态,后者限制带同类属性的移动。
禁忌长度是禁忌表最多容纳的禁忌对象数,相当于禁令的有效期:例如用长度为 maxT 的先进先出队列记录刚搜过的解,此后 maxT 步内禁止移回它们,队列写满时队头最早的一项被释放。设得过短容易重复搜索,过长会增加开销甚至让可选移动所剩无几、算法停滞;也可改用禁忌周期控制释放。设计时要按解表示、邻域规模调整记忆粒度与期限,别把它和蚁群算法中保证路径不重复的访问记录混为一谈。
频率记忆兼顾搜索强化与扩散
禁忌搜索可累计解变量出现频率及变化方向,作为短期禁忌表之外的长期搜索记忆:对有希望的区域增加搜索密度,同时主动进入未充分探索的区域。前者强化已有线索,后者扩大覆盖;两者配合可缓解只追逐当前优解造成的搜索偏窄。频率只是引导信号,不能替代目标评价或最优性证明。短期禁忌对象见 禁忌对象与长度控制搜索记忆。
示例(补充教学示例,非书中数据):TSP 中某条边连续多次出现在较好回路里,可提高包含该边的邻域抽样密度(强化);另一组城市几乎从未进入当前路线,则主动尝试把搜索推过去(扩散)。出现次数高不等于该边必在最优回路中。
联系前文或后续机制,可继续阅读:局部搜索算子应匹配问题邻域、遗传退火禁忌分工搜索、适应度函数决定搜索方向、终止条件不等于全局最优证明。
135 · 14.2.2 禁忌搜索算法流程
用流程图串起禁忌搜索的初始化、候选选择、禁忌期更新与停止判断,展示藐视准则如何改变候选接受分支。 先设参数、生成初始解并清空禁忌表,再依当前解生成候选集;若存在满足藐视准则的候选,直接把它设为新当前解,否则选最佳非禁忌候选。两条路径随后更新禁忌对象期限,并共同进入终止判断;未终止则继续生成候选,满足条件才输出结果。流程图明确了例外检查先于普通非禁忌择优,细节参数仍由前文组件设计决定。
禁忌搜索按特赦准则迭代
禁忌搜索先设定参数、初解并清空禁忌表,再据当前解生成候选集。禁忌表中的移动原则上被禁止;藐视准则(也称特赦)是例外:例如某禁忌候选优于迄今最好解(best so far),或候选全部被禁忌时,就把它解禁。若存在满足藐视准则的候选,就把它设为新当前解;否则选择最佳非禁忌候选,哪怕它比当前解差。随后更新禁忌期限并检查停止规则,未满足便继续迭代。这个分支允许搜索越过只接受改进邻居的限制,但仍须明确例外条件和停止依据。
结构图:
flowchart TD
A[设定参数、生成初解、清空禁忌表] --> B[根据当前解生成候选集]
B --> C{存在满足藐视准则的候选}
C -- 是 --> D[将该候选设为新当前解]
C -- 否 --> E[选择最佳非禁忌候选]
D --> F[更新禁忌对象期限]
E --> F
F --> G{满足终止准则}
G -- 否 --> B
G -- 是 --> H[输出结果]
联系前文或后续机制,可继续阅读:局部搜索算子应匹配问题邻域、禁忌对象与长度控制搜索记忆、遗传退火禁忌分工搜索、终止条件不等于全局最优证明。
136 · 14.3 基于禁忌搜索的飞蜂窝网络频谱分配方法
从宏蜂窝难以满足的室内覆盖与容量需求引出飞蜂窝,并说明密集部署为何将问题转向干扰管理和频谱资源分配。 宏蜂窝覆盖范围较大,但室内通信和数据需求使其覆盖质量与容量承压;低功率飞蜂窝提供室内宽带接入,可补足覆盖并分担容量。大规模密集部署同时造成重叠覆盖、干扰加剧与频谱紧缺,因此章节将焦点导向干扰治理和资源分配。书中引用的室内通信比例是该版本的历史背景数据,不外推为当前统计。
飞蜂窝补室内覆盖也加重干扰
飞蜂窝是低功率、微型无线接入技术,可提供室内宽带覆盖并缓解宏蜂窝容量压力;密集部署又会造成重叠覆盖、干扰和频谱紧缺。规划时不能只看覆盖增益,还要联合考虑干扰管理与频谱、资源分配。
137 · 14.3.1 算法主要思想及流程
把上一节的飞蜂窝干扰问题具体化为图着色问题,并交代禁忌搜索求解的总体路径。 先将飞蜂窝建为顶点、相互干扰建为边,以频谱带作颜色并禁止相邻顶点同色;再从初始着色方案出发,使用禁忌邻域搜索改进分配,输出较少频谱带的近似方案。图14.2补充了当前解、最佳解、禁忌表与停止判断的循环;性能优劣仍须具体对照,不能由流程图推出。
飞蜂窝干扰图映射频谱
飞蜂窝频谱分配可建成干扰图:顶点表示飞蜂窝,边表示两者会相互干扰;给顶点的颜色就是频谱带,因此相邻顶点不能同色。这个映射把无线干扰约束转成 相邻顶点必须异色 的图着色约束,再用禁忌搜索寻找可行的少频谱方案。它依赖干扰边建模准确,不能由图着色结果反证无线测量正确;密集部署的背景见 飞蜂窝补室内覆盖也加重干扰。
示例(补充教学示例,非书中数据):三座飞蜂窝两两干扰,图是三角形。至少需要 3 种颜色/频谱;若漏画其中一条干扰边,着色会误判只需 2 种。流程是先建图、给初始着色,再在邻域里禁忌搜索,输出分配方案;书中称可确定最少频谱数,但零冲突只说明当前 K 可行,见 零干扰不证明频谱数最少。
138 · 14.3.2 算法实现具体步骤
把飞蜂窝干扰图转成固定 K 个频谱组下的可执行禁忌搜索流程,并明确适应度与移动算子。 先将顶点随机分入 K 组,用同组干扰边数衡量冲突;再通过顶点跨组移动构造邻域,以禁忌表和藐视条件筛选候选并更新当前与最佳方案。零冲突时输出当前分配;由于 K 在本节流程中固定,零冲突只证明该 K 可行,不证明它是最少频谱数。步骤8对非改进移动的处理与一般禁忌搜索叙述有差异,保留原文边界。
跨颜色组移动构造禁忌邻域
固定 K 个频谱组(即 K 种颜色),把一个飞蜂窝顶点 c 从当前组 Vᵢ 移到另一组 Vⱼ,记为动作 (c, Vᵢ, Vⱼ);当前解所有这类动作构成邻域。N 个顶点各有 K−1 个去向,邻域共 N(K−1) 个动作。
示例(补充):顶点 1–2、2–3 互相干扰,K=2,当前解 V₁={1,2}、V₂={3},同组干扰对 1–2 记 1 次冲突。动作 (1,V₁,V₂) 得 V₁={2}、V₂={1,3},1 与 3 不干扰,冲突降为 0。
每步选执行后冲突数(同频干扰数)最小的动作,再结合禁忌与藐视规则决定是否执行。这个算子只改变顶点所属组,不直接改变 K,适合在给定频谱数下减少冲突;问题映射见飞蜂窝干扰图映射频谱。
零干扰不证明频谱数最少
适应度 f(S) 统计相互干扰的顶点落在同一频谱组的冲突数:干扰对 (u,v) 若同组则 δ_uv=1,否则为 0,f 是这些 δ 的总和。f(S)=0 只说明给定 K 个频谱组时分配可行。它不能证明 K 是最少频谱数,因为流程在零冲突时输出当前 K,没有排除更小 K 的可行着色。要声称最少,仍须检查更小 K 或给出下界证明。参见 相邻顶点必须异色 与 跨颜色组移动构造禁忌邻域。
示例(补充教学示例,非书中数据):三点一线,只 1–2、2–3 干扰,K=2。方案 A:组1={1,2}、组2={3},同组干扰对 1–2,f=1。方案 B:组1={1,3}、组2={2},1 与 3 无边,f=0,可行。K=1 时三点同组,f=2,不可行。于是 K=2 是本图最小可行数;换一个更密的图,f=0 仍可能发生在大于最小色数的 K 上。
139 · 14.3.3 实验分析
通过六个飞蜂窝干扰图实例检验上一节的频谱分配流程,并比较节点规模与干扰结构对分组数的影响。 先按基站参数和临界距离建立干扰图,再将 3 个简单网络与 3 个复杂网络分别着色;表14.1–14.2列出节点数、频谱组、分组方案和耗时。网络1、2同为6节点却分成3、4组,网络5虽有20节点却分成2组,说明应关注干扰拓扑。实验呈现可行分组,但未单独证明全部结果均为最少频谱,也不足以概括普遍运行性能。
干扰拓扑决定频谱需求
频谱需求取决于哪些飞蜂窝彼此干扰,不能只由基站数量推算。书中两个各有 6 个节点的网络分别给出 3 组和 4 组分配;20 节点网络给出 2 组,37 节点网络给出 4 组。这些实例说明应先建立飞蜂窝干扰图映射频谱,再检查同组节点是否互不干扰。表中的分配是可行方案示例;单凭这些实验结果,不能证明一般网络的最少频谱数,也不能推出干扰边越多就必然严格多用一个频谱。
第15章 量子计算与量子启发模型
量子计算用概率幅描述叠加态,通过量子操作改变幅度及相位,测量只给出一个结果。叠加、干涉和纠缠不是同义词:叠加描述状态表示,干涉改变测量概率,纠缠描述子系统无法独立分解的联合状态。Grover的查询加速有特定问题前提。量子染色体进化和概率采样模型也可能在经典计算机上模拟,不能从“量子”名称推断使用量子硬件或端到端加速。
140 · 量子计算导言
引出量子计算及量子计算智能的研究动机,提示搜索加速的具体问题边界。 先以 Feynman 的物理计算视角介绍量子计算,再举 Shor 与 Grover 说明量子算法的潜在用途;其中公式给出 Grover 穷尽搜索 O(√N) 的量级。末段转向量子计算智能的研究方向。书中的密码破解、普遍指数加速与硬件预测是未限定条件的引言性主张,不能当作当下实现或通用性能事实。
Grover加速有问题边界
本书以 Grover 算法说明量子计算可能加速穷尽搜索:若待查候选有 N 个,书中给出的量级是 O(√N),相对于逐个检查的 O(N) 属于平方加速。这个结论针对特定搜索问题及其查询模型,不能扩展成“量子计算让所有算法指数加速”,也不能凭书中对 RSA、DES 的假设性步数比较断言现实密码已被破解。后续量子机制章节还需解释叠加与干涉如何参与搜索。
书中把 56 位 DES 的经典穷尽约写成 3.5×10¹⁶ 步,Grover 约 2 亿步;√(3.5×10¹⁶)≈1.87×10⁸,与“2 亿”同一量级。这是原文给出的步数对照,不是实测破译记录。实用规模的量子计算在书中仍写为尚在探索。
141 · 15.1 量子计算原理
概括后续量子计算原理的要素,并用经典概率状态与量子概率幅作初步区分。 先列出叠加、相干、纠缠与量子并行性;再说明经典概率算法可演化概率向量,而量子算法处理平方归一的概率幅,举 Walsh-Hadamard 与相位操作为例。正文没有给出这些机制带来一般加速的证明,√N 图式也缺统一适用条件。
量子门变换概率幅
经典概率算法可用状态概率向量和转移矩阵描述演化:初始概率向量乘以转移矩阵,就得到下一时刻各状态的概率。量子算法描述的是各基态的概率幅,再用 Walsh-Hadamard 变换、旋转相位等量子操作改变这些幅度。
概率幅本身不是概率:测得某基态的概率是其幅度的模平方,所有模平方之和为 1(平方归一)。例如书中状态 (2/√5)|0⟩+(1/√5)|1⟩,两个幅度之和不为 1,但测得 0、1 的概率分别是 4⁄5 和 1/5。因此不能把概率幅向量当作普通概率分布来直接解释,操作作用在幅度上,概率要事后取模平方得到。书中把叠加、相干、纠缠和量子并行性列作后续机制;它们是否带来加速,还要看具体算法和问题,不能由“有叠加态”直接推出。
原书依据 · 1 处
142 · 15.1.1 状态的叠加
定义经典比特与量子位的状态差别,并解释叠加态、概率幅和测量结果的关系。 先说明经典比特取 0 或 1,量子位可处于两基态叠加;再把 n 量子位展开为 2^n 个基态的幅度加权和。测量落在单一基态,其概率由对应幅度的模平方给出,所有结果的概率和为 1。叠加态的表示规模不能直接等同于可一次读出的经典信息量。
量子叠加不等于一次读出全部基态
n 个量子位的状态可以写成 2ⁿ 个基态的叠加,且各概率幅的模平方之和为 1;测量时,只得到其中一个基态结果 i,概率为 |c_i|²。这是状态空间的表示能力,不能理解为一次测量就能读出 2ⁿ 个经典数。量子算法还须安排操作,使所需答案的测量概率提高;叠加本身不保证计算加速。概率幅与经典概率向量的区别见 量子门变换概率幅。
示例(补充教学示例,非书中数据):1 个量子位的 (|0⟩+|1⟩)/√2 同时“带着”两个基态,但测量只能得到 0 或 1,各约 50%,不会一次读出两个比特。n=2 时可表示 4 个基态的叠加,测量仍只坍塌到其中某一个。
143 · 15.1.2 状态的相干
说明相干叠加态可经量子门产生干涉,并以双态例子显示测量概率如何变化。 先由初态 (2,1)/√5 出发,经 Hadamard 变换得 (3,1)/√10;随后用幅度模平方说明 |0⟩ 测量概率升为 0.9,而另一基态相应下降。末段提醒环境耦合可破坏相干性;原文把测量坍塌紧接称作消相干,读卡时保留概念区别。
量子干涉可重分配测量概率
量子门使相干叠加态的各基态概率幅相互干涉,重新分配测量概率。“相干”指系统处于基态的线性叠加;测得基态 i 的概率是其概率幅的模平方。
书中例子逐步演算:
- 初态 (2|0⟩+|1⟩)/√5,测得 0 的概率为 (2/√5)²=4/5。
- Hadamard 门 H=(1/√2)[[1,1],[1,−1]]:新的 |0⟩ 幅度由两项相加,(2+1)/√10=3/√10;新的 |1⟩ 幅度由两项相减,(2−1)/√10=1/√10。
- 末态 (3|0⟩+|1⟩)/√10,测得 0 的概率变为 9/10。
|0⟩ 分量同号叠加而增强,|1⟩ 分量异号部分抵消而减弱,这就是干涉。算法须主动安排这类操作来塑造答案概率,量子叠加不等于一次读出全部基态不代表自动加速。环境耦合可破坏相干性,消相干与测量坍塌不宜直接等同。
联系前文或后续机制,可继续阅读:Grover放大目标测量概率。
144 · 15.1.3 状态的纠缠
给出量子纠缠的状态分解判据,并提示其在量子算法中的作用。 从相互作用的子系统联合态出发,以不能分解为各子系统态张量积界定纠缠;随后提到局部操作与其他量子位的关联,以及 Shor 算法的应用提示。本节未展开可观测统计或具体电路,不能据此推导单侧通信或所有量子算法都依赖纠缠。
纠缠态不能分解为子系统态张量积
对两个量子子系统而言,若其联合纯态不能写成两个子系统态的张量积,该态就是纠缠态。张量积 |a⟩⊗|b⟩ 可理解为“第一个子系统处于 a、第二个处于 b”的组合,各自状态可以分开描述。
示例(补充):两个量子位,记 |01⟩ 为第一位 0、第二位 1。
- (|00⟩+|01⟩)/√2 = |0⟩⊗(|0⟩+|1⟩)/√2,能分解,不是纠缠态。
- (|00⟩+|11⟩)/√2 若要写成 (a|0⟩+b|1⟩)⊗(c|0⟩+d|1⟩),需 ac≠0、bd≠0,同时 ad=0、bc=0,互相矛盾,所以不能分解,是纠缠态:测得第一位为 0 时第二位必为 0,为 1 时第二位必为 1。
判断重点是整体状态能否分解,而不是两个量子位曾否相互作用。纠缠意味着联合测量结果具有不能用各自独立状态完整描述的关联;不能把书中“操作一部分会改变其他量子位状态”的说法理解为可单靠本地操作向远处传递信息。具体算法如何利用纠缠仍需看其状态制备和测量过程。
原书依据 · 1 处
145 · 15.1.4 量子并行性
说明量子门对叠加态各基态分量的线性作用,并澄清“并行”与可读输出、实际加速的区别。 先把经典逻辑门与量子门类比,再以希尔伯特空间中的矩阵表示量子门;线性作用一次处理叠加态的各基态分量。原文随后称经典计算必需 2^n 次运算,但未给出同一任务的成本模型,不能从状态演化直接推出普遍加速或一次读出全部分量。
量子并行性来自算子作用于叠加态
量子门是作用在量子态空间上的线性操作:输入若为多个基态的叠加,同一操作会按线性性同时作用于每个基态分量,这就是本节所说的量子并行性。它描述状态演化,并不表示一次测量可以读取所有分量,也不证明对应经典任务必需 2ⁿ 次运算。算法还需安排 量子干涉可重分配测量概率,使目标结果更可能被测到;是否快于经典方法要按具体问题和成本模型比较。
示例(补充教学示例,非书中数据):设 U|0⟩=|1⟩、U|1⟩=|0⟩(比特翻转)。输入 (|0⟩+|1⟩)/√2 时,线性性给出 U 作用后为 (|1⟩+|0⟩)/√2,两个分量都被翻转。测量仍只得到 0 或 1 之一,并没有“一次读出两个结果”。
146 · 15.2 量子计算智能的几种模型
由量子计算基础转入量子计算与其他智能方法结合的模型小节。 先泛述量子计算在计算智能中的应用,再列出联想记忆、人工神经网络和模糊逻辑三个结合方向;本项没有展开模型结构或效果证据,具体机制须在后续小节核对。
本项的取材边界:本项仅承接上一节并列举量子计算与联想记忆、神经网络、模糊逻辑的结合方向,没有给出任一模型的定义、机制或可复核的效果条件;全文已读,暂无独立知识卡。
147 · 15.2.1 量子人工神经网络
展开上一项提到的量子计算与人工神经网络结合方向,区分模型类别和一个具体量子点方案。 先从传统神经网络的局限叙述引出量子模型研究,再列举意识与量子效应的历史假说;后半节介绍 QNN 的多种提案,其中量子点方案把时间切片映射为隐层单元。意识相关主张与普遍性能优势都缺本节可核验的证据,不纳入模型结论。
量子神经网络是模型家族
量子神经网络(QNN)是量子机制与神经网络结合的模型家族,而非一种固定架构。书中列举若干方向,量子成分所处的位置并不相同:
| 方向 | 量子成分大致在哪 |
|---|---|
| 量子联想记忆 / 量子 Hopfield | 用量子态存储或重构模式 |
| 量子竞争学习 | 学习规则引入量子机制 |
| 量子点网络 | 物理量子点随时间演化,切片当隐层,见 量子点网络以时间切片映射隐层 |
| 带量子特性传递函数的传统网络 | 网络骨架仍经典,只改神经元非线性 |
比较方案时应先辨明量子态或器件承担什么计算、何处保留经典网络,以及结果如何读出;名称相同不足以推断性能优势。
量子点网络以时间切片映射隐层
一种书中介绍的量子点神经网络方案把每个输入对应到量子点,让系统随时间演化,再把固定间隔的观测时刻映射为隐层单元。增加时间切片在这一方案中相当于增加隐层表示,但这只是该模型的结构设定,不能推广为所有 量子神经网络是模型家族 的通则;书中也未给出训练、测量和性能验证的完整细节。
示例(补充教学示例,非书中数据):一个输入对应一个量子点,在 t=1、2、3 三个固定时刻各观察一次,就得到 3 个隐层单元。若改成 5 个时刻,隐层变成 5 个。切片多只表示该硬件方案里“隐层更宽”,不等于分类一定更准。
148 · 15.2.2 基于量子染色体的进化算法
以传统进化搜索的收敛与多样性问题,引出后续量子进化算法研究动机。 先重述选择、交叉和变异如何在搜索引导与群体多样性之间分工,再提出记忆和定向学习可能利用优良子群体;最后引出量子理论结合方向。本项尚未说明量子染色体或更新规则,也没有支持普遍加速的比较证据。
本项的取材边界:本项是量子进化算法的动机段,未定义量子染色体,也未给量子态表示、更新算子或学习规则;选择、交叉、变异的已述职责并入既有卡,不据未证性能承诺另生成卡。
149 · 15.2.3 基于量子特性的优化算法
由 Grover 无序搜索的平方查询量级,转向量子优化算法的可能方向。 先比较逐个检查与 Grover 搜索在单目标无序搜索中的查询量级,再与第143项的相干干涉相接,保留作者所说通过“概率的求反放大”提高目标测量机会的受限机制联系;随后提出把它用于提高高函数值状态出现概率的优化设想。正文没有给出目标标记、放大操作或优化算法更新步骤;“最快”和“解决所有 NP 问题”等表述缺适用条件,不能作为本章结论。
Grover放大目标测量概率
本书把 Grover 搜索与相干叠加态的干涉相连,又称其通过“概率的求反放大”提高目标结果的测量机会。可保留的联系是:量子算法需改变测量概率,让合格结果更可能出现;这不同于一次读出所有候选。书中未给目标标记、放大操作或迭代细节,不能仅凭这段话实现算法。平方查询量级及其适用边界见 Grover加速有问题边界。
量级对照(补充教学示例,非书中该节数据):集合大小 N=100 且仅一个合格元素时,经典为使成功率接近 100% 约需近 100 次试验;书中称 Grover 步数与 √N 成正比,√100=10。这只说明查询次数量级,不是把 10 写成实测步数。放大依赖相位取反再干涉,见 量子干涉可重分配测量概率。
联系前文或后续机制,可继续阅读:Grover加速有问题边界。
150 · 15.2.4 量子聚类算法
以聚类的类数和初始化难题引出 Potts 自旋、统计机制与自由能优化的物理启发模型。 先介绍按相似性聚类及部分原型方法对类别数和初值的依赖,再以相关自旋和随温度变化的自由能极小化表达候选划分。正文未给完整能量函数、最优性证明或可复核对照,不能把标题中的“量子”直接等同于量子硬件算法。
自旋聚类以自由能寻优
一种物理启发的聚类思路把样本分组转写为相互作用的自旋系统,并随温度变化寻找自由能较低的状态,用系统状态表达候选划分。它把“直接按几何距离切分”换成能量模型的优化问题;实际簇数、相互作用和目标函数怎样设定须看完整模型。本节只给方向,不能据此认定使用了量子计算硬件或保证全局最优、优于其他聚类方法。
类比(补充教学示例,非书中数据):把每个样本想成可取几种“簇标签”的自旋。温度高时标签容易翻转,划分较软;温度降低后,相互吸引的样本更倾向同一标签,自由能低的状态对应一种聚类。自由能随温度的系列极小值,就是书中说的“一系列”求解,不是一次定死簇数。
原书依据 · 1 处
151 · 15.2.5 量子模式识别算法
把量子计算设想转向模式识别与图像模板匹配,并划出可证实机制与未证加速之间的界限。 先以统计物理和量子算法的笼统比较引入,再区分模式检测、定位与模板匹配;后半节提出量子系统可用线性操作和向量空间处理图像匹配,但没有输入编码、测量或复杂度模型,不能据此确认指数加速或低量子位需求。
模式识别区分检测定位与匹配
模式识别面对不同问题,不要混成同一步:
| 任务 | 要回答的问题 |
|---|---|
| 检测 | 目标在不在 |
| 定位 | 目标出现在哪里 |
| 模板匹配 | 输入与给定模式是否对应,通常要用分类器 |
模板匹配需要选定表示和判定规则,不能把“能存高维状态”直接当作匹配算法。与无预设标签的 自旋聚类以自由能寻优 不同,匹配已有参照对象。后文量子图像匹配只给向量空间和线性操作的方向,未给完整算法;量子表示是否加速仍须说明编码、测量与比较成本。
152 · 15.2.6 量子小波与小波包算法
介绍小波包的频带细分能力,并比较经典变换与量子电路门数的计算模型。 先说明小波包从尺度函数生成、用于全频域的渐细估计和自适应频带划分;随后转述周期化量子小波及小波包变换的门数量级。量子结果以输入已用 n 个量子比特表示为前提,本节未计经典数据制备、测量读出和精度成本,也未展示电路,因此只能记录有条件的门数主张。
小波包细分频带以适配信号
小波包由尺度函数生成一组含小波函数的基函数,使频带能继续细分,以便按信号特征选择分析尺度和频段。它提供自适应频带划分的表示工具;具体如何选包基、如何重构仍须看相应算法,不能由“可细分”推断分析效果一定更好。量子电路上的门数量级见 量子变换门数不能代表端到端成本。
示意(补充教学示例,非书中数据):先把信号分成低频 / 高频两半。普通小波往往主要对低频再切;小波包允许对高频那一半继续切成更窄的段。若关心的特征在高频细节里,多一次细分才有对应的基可以选。选哪几段组成“包基”是另一步,本节没有给出。
量子变换门数不能代表端到端成本
书中将长度 N=2ⁿ 的信号已由 n 个量子比特表示作为前提,称周期化的小波及小波包变换可用 O(log²N) 个基本量子门,而经典计算机上小波变换需 O(N) 步、小波包变换需 O(N log N) 步。
演算(补充,只看量级、忽略常数):N=1024 时 n=log₂N=10,log²N≈100,而 N log N≈10240。差距来自“信号已在 10 个量子比特里”这个前提——经典算法要逐个处理 1024 个数,量子电路只作用于 10 个量子比特。
这个数只描述该输入模型下的变换电路;若要比较完整任务,还须计入经典数据装载成量子态、测量读出及所需精度。本节没有这些成本,不能据门数宣称端到端加速。
153 · 15.2.7 量子退火算法
对照模拟退火和量子退火的探索机制,并介绍路径积分蒙特卡洛退火的迭代流程。 先把经典热波动与量子涨落、隧穿作概念对照,再将优化目标写作能量项、外加横向场;后半节列出选 Trotter 时间片、采样、降低动能参数和回映候选解的步骤。文中的式号与符号有疑点,且性能优势只有概述,没有普遍保证;路径积分采样也须与物理量子硬件区分。
量子退火借量子涨落探索低能态
模拟退火通过温度控制热扰动,量子退火则用量子涨落探索编码为能量函数的候选状态。书中写法是体系的 Hamilton 量(总能量算子)H = H₀ + τ(t)Σᵢδᵢˣ(式 15-4):优化问题编码在 H₀ 中,其低能态对应好解;τ(t)Σδᵢˣ 是外加的横向场,提供量子涨落,强度 τ(t) 随时间变化(原文未给出具体调度)。
隧穿指粒子可以穿过比自身能量更高的势垒,直接到达另一侧的低能状态,而不必像热扰动那样先“爬上”势垒,这是书中认为它更易摆脱局部极小的原因。两者都要定义问题能量与调度参数(模拟退火调温度,量子退火调横向场强度)。能否更快到达较低能量、是否得到全局最优取决于能垒、调度和实现,不能把本节的优势描述当作普遍保证。
路径积分退火循环采样并降低动能
路径积分方法把一个量子系统近似成 P 个经典副本(P 称 Trotter 数,每个副本是一个“时间片”):式(15-5)中一项是各副本势能 V 的平均,即原优化目标;另一项累加相邻时间片同一粒子坐标差的平方,相当于把相邻副本拴在一起的动能项,其强弱由可调参数 E 控制,E 类似模拟退火中的温度 T。
书中流程:
- 选定 Trotter 数 P,设定执行次数和初始动能。
- 把经典势能(优化目标)量子化。
- 用蒙特卡洛移动(局部或全局)采样新候选。
- 按某策略减小 E,未达次数或 E 的下限就回到第 3 步。
- 把得到的量子化能量最优解转回经典形式,作为原问题的候选解。
按书中说法,E 由初值逐渐减到零,动能项也随之减到零,系统回到只由原目标决定的经典状态;但式(15-5)中 E 位于该项系数的分母,字面上与“减小 E 使动能项变小”如何对应,书中未解释。这里描述的是采样模拟流程,输出应称“找到的候选解”;本节的式号与记号有疑点,不能照抄成可直接执行的精确算法。
154 · 15.3 量子进化算法
概述量子进化算法的研究脉络,并按编码与再生方式划分后续方法。 先列量子遗传算法与量子行为粒子群优化等研究方向,末尾将方法划为旋转门型和吸引子型。性能优点仅以概述给出,没有可比的任务条件和实验证据;“量子”命名也不足以证明物理量子硬件执行。
量子进化算法按再生机制分型
本书按候选解的编码与再生机制,把量子进化算法分为两型:
- 旋转门型:每一位用一对概率幅表示取 0、取 1 的倾向,测量(采样)得到比特串后,用旋转门调整幅度,见 QEA以概率幅编码候选分布。
- 吸引子型:代表是量子粒子群(QPSO),围绕吸引子按概率分布直接采样新位置,书中称其更适合连续优化,见 QPSO以概率采样代替速度更新。这是书中的方法分类,不意味着两类都在量子硬件上运行;性能差异还需要具体更新规则与同条件实验检验。
155 · 15.3.1 基于量子旋转门的进化算法
说明旋转门型 QEA 的编码、采样与迭代更新流程,并辨识原文公式的边界。 用每位 α、β 幅值表示候选分布,采样得到比特串,经目标函数评价后保留最好解,再按相对表现选择旋转角更新编码。正文的 α+β=1 和直接以 r>α 判位与概率幅的平方模规则冲突,不能按其字面采样;旋转角具体策略及性能保证也未给出。
QEA以概率幅编码候选分布
旋转门型 QEA 用每个位的两个幅值表示取 0、取 1 的倾向:α 是取 0 的概率幅,β 是取 1 的概率幅;一条染色体是 2 行 m 列的幅值矩阵,对应 2ᵐ 个可能比特串的分布。测量(采样)后才得到一条具体的 m 位比特串;α 或 β 趋近 0 或 1 时,该位几乎总取同一个值。初始时每位 α=β=1/√2,两种取值各占一半。
按概率幅定义,应满足 |α|²+|β|²=1,取 0 的概率是 |α|²。书中写成 α+β=1,测量时又用 [0,1] 随机数 r 与 α 比较(r>α 取 1),与定义不符。
演算(补充):设某位 α=0.6、β=0.8,满足 0.36+0.64=1。按模平方,取 0 的概率为 0.36;按书中“r>α 取 1”,取 0 的概率却是 0.6。初值 α=1/√2 时,书中规则给出取 0 约 0.71,也不是一半。实现时须先核对原论文。
QEA循环采样评估与旋转更新
旋转门型 QEA 的循环是:初始化候选分布,采样比特串并计算目标值,保留当前最好解,再按采样解与最好解的表现调整各位旋转角,直到停止。编码含义见 QEA以概率幅编码候选分布。
步骤可以跟着走:
- t=0,每位概率幅 α、β 都取 1/√2。
- 对每位在 [0,1] 抽随机数 r:书中规则是 r 大于该位 α 则置 1,否则置 0,得到一条比特串。
- 用目标函数评价这 n 条串,若有比当前最好解 b 更好的,就替换 b。
- 用二维旋转矩阵 U(Δθ) 更新各位幅值,得到下一代分布。Δθ 按具体问题和该串相对 b 的好坏来设,本节没有通用表。
- 未停则回到步骤 2。
示例(补充教学示例,非书中数据):1 位、α=1/√2≈0.707。r=0.20.707 采样为 1。旋转只改下次采样的倾向,不能保证下一代必然更优。书中另写 α+β=1、直接拿 r 与 α 比,与“概率是幅值模平方”不一致,实现前须核对原论文。
156 · 15.3.2 基于吸引子的进化算法
以经典 PSO 为对照,说明 QPSO 如何围绕吸引子构造连续空间的位置分布与采样更新。 先列经典粒子的速度和位置迭代,再从一维 δ 势井模型导出指数型位置密度与围绕吸引子的对数采样式;最后说明吸引子、特征长度可按局部或全局信息构造。原文中间推导有记号与代数不一致,只有密度式和最终抽样式经相互核算可对应;收敛与性能主张需具体条件。
QPSO以概率采样代替速度更新
经典 PSO 用当前位置和速度更新粒子;本节的 QPSO 保留评价、局部最好解与全局最好解的迭代框架,把位置更新改成围绕吸引子的概率采样,不再显式更新速度。这里的“量子”指借波函数构造的搜索分布;书中给的是模拟采样算法,不能由名称推断量子硬件或普遍加速。
| 经典 PSO | 本节 QPSO | |
|---|---|---|
| 状态 | 位置 + 速度 | 只有位置 |
| 产生新解 | 先更新速度,再沿速度走一步 | 按波函数导出的概率模型采样 |
| 其余 | 比较适应度,更新个体/全局最好 | 相同框架 |
吸引子和特征长度如何进入采样式,见 吸引子与长度控制采样。
吸引子与长度控制采样
一维 δ 势井模型把吸引子 p 作为位置分布中心,把特征长度 L 作为扩散尺度。书中给出的密度 Q(y)=e^(−2|y|/L)/L 对应采样 x=p±(L/2)ln(1/u),u 为 (0,1) 均匀数,正负号各半。吸引子和 L 的构造影响探索范围。书中间步骤与 L 的符号推导有不一致,公式用于实现前须独立复核。
演算(补充教学示例,非书中数据):取 p=0、L=2、u=1/e≈0.368,则 (L/2)ln(1/u)=1×1=1,故 x=±1。L 越大,同样的 u 会把样本推得离 p 更远。p 与 L 由个体最好、全局最好等量更新,见 平均最优位置调节采样半径。
第16章 量子行为粒子群
量子行为粒子群(QPSO)保留个体与群体最优记忆,用围绕吸引子的概率采样代替显式速度更新。分布中心决定朝哪里集中,尺度参数控制探索半径。协同版本用背景向量评价单维替换,多次坍塌表示重复抽样,正交交叉则从候选维度组合中安排较少的试验。这些改造都增加了候选评价工作,比较时应同时核对解质、维数和实际预算。
157 · 量子粒子群优化导言(第16章)
为第 16 章引出 QPSO,概述 PSO 的历史来源与研究脉络。本项 XHTML 无独立章题,短题由内容拟定,并非原书题名。 正文从鸟群模型、基本 PSO 到惯性权重的提出,说明 QPSO 是引入概率化量子模型的后续方向。这里没有新的更新式或实验结果;QPSO 的概率位置更新已在第 156 章成卡,历史人名与“研究热点”不足以独立成卡。
本项的取材边界:本节只提供背景、重复机制或未经证实的类比,未新增合格知识卡。
158 · 16.1 量子行为粒子群算法
借个体与群体经验的类比引出 QPSO 的吸引势场模型。 先用人类思维的不确定性和群体聚集性作研究动机,再把当前位置、个体最好位置和群体最好位置对应到粒子状态,提出吸引中心周围的束缚态分布。人类智能与量子行为相似只是未证类比;状态映射和吸引子分布已在前面卡片中说明,本节没有新的可独立保留机制。
本项的取材边界:本节只提供背景、重复机制或未经证实的类比,未新增合格知识卡。
159 · 16.1.2 δ 势阱模型
重述一维 δ 势阱作为 QPSO 吸引中心的建模前提。 从波函数的平方模概率密度、归一化、哈密顿量和一维吸引势写到定态方程。本节没有比第 156 章更多的可直接使用的抽样机制;“必然存在”吸引势是建模假设,不能当作物理证明,式(16-4)和式(16-6)的常数记号也需核对。
本项的取材边界:本节重复前述 δ 势井模型的概率密度和势能设定,且断言与记号不足以支持新结论。
160 · 16.1.3 算法流程
把 QPSO 的吸引点、平均最好位置和概率采样写成迭代流程。 定义个体与群体最好位置,再用两者随机混合形成吸引点 p;所有个体最好位置的均值 C 与当前位置距离共同调节新位置采样。算法迭代评价、更新最好位置、再采样直至停止。原文一些下标和随机变量记号不一致,保留结构关系,具体数值实现要查对原论文。
平均最优位置调节采样半径
本节 QPSO 在每维从个体最好位置与群体最好位置之间随机取吸引点 p,再计算全部粒子个体最好位置的均值 C(平均最优位置)。新位置围绕 p 随机生成,步幅随收缩扩张参数 α 及当前位置到 C 的距离改变。评价后更新个体和群体最好解,再继续采样。粒子没有速度向量。原文变量与式号有排版疑点,应用时应核对原论文的更新式。
示例(补充教学示例,非书中数据):一维两粒子,个体最好 P₁=2、P₂=6,则 C=(2+6)/2=4。某粒子取 φ=0.5、Pᵢ=2、G=6,吸引点 p=0.5×2+0.5×6=4。新位置在 p 附近抽样,离 C 越远、α 越大,步子越大。C 把“群体个体最好的平均”引进采样半径,而不是只用当前全局最好 G。
原书依据 · 1 处
161 · 16.2 协同量子粒子群优化
指出 QPSO 受个体与群体最好位置引导时的早熟风险,为协同分维评价铺垫。 先声称 QPSO 相对标准 PSO 有优势与相当的复杂度,但未给资源与实验条件;随后解释群体不断朝已有较优位置移动,可能使多样性下降,在多峰问题中错过其他区域。将早熟记录为条件风险,不接受“不可避免”或普遍优越的结论。
共同引导可能压缩多样性
QPSO 每轮借个体最好和群体最好位置引导新样本;若群体反复向同一批较优位置靠拢,分布可能收缩,多峰目标上的其他区域便难再探索。这解释早熟风险,也说明为何需关注多样性。是否真的早熟取决于目标景观、吸引点和收缩参数;书中“不可避免”及“全局搜索远优于 PSO”均未给普遍证明。
原书依据 · 1 处
162 · 16.2.1 协同量子粒子群算法
通过背景向量和逐维替换,说明协同 QPSO 如何保留整体评分掩盖的有用分量。 整向量评价可能淘汰某些有益维度,故固定背景的其他维,只替换目标维后重算目标函数。本节的三维平方误差例子展示这种条件贡献,但文字说用全局最好 g 作背景,实际数值以 X₁ 为背景;单例不构成普遍性能证明,维间相互作用也使贡献随背景改变。
背景向量评估单维贡献
协同 QPSO 要比较某粒子的第 d 维时,先固定其他维的背景值,仅替换第 d 维,再重算完整目标函数;这样同一背景下可比较各候选分量对目标值的影响,避免只按整条向量的分数丢弃有用分量。贡献依赖背景和变量耦合,不能把单次替换结果当成该维的固有质量。文字称用全局最好 g 作背景,但随后算式实际代入了另一个体。
书中三维例子:误差 f(X)=‖X−A‖²,A=(20,20,20),越小越好。g=(18,3,15)→f=318;X₁=(5,15,13)→f=299;X₂=(20,7,5)→f=394。无协作时因 299 会用整条 X₁ 替换 g,X₂ 被丢,尽管 X₂ 的第一维 20 已是最优分量。
按书中写出的三个函数值,背景实际是 X₁ 而非所称的 g:
| 替换 | 向量 | f |
|---|---|---|
| X₂ 的第 1 维 | (20,15,13) | 74 |
| X₂ 的第 2 维 | (5,7,13) | 443 |
| X₂ 的第 3 维 | (5,15,5) | 475 |
只有第一维变好,于是新的 g 取 (20,15,13)。这些平方和可由 A=(20,20,20) 直接核算,是书中数据;背景向量应取 g 还是 X₁,原文不一致,实现时须自行选定并保持前后一致。
原书依据 · 1 处
163 · 16.2.2 改进的协同量子粒子群算法
将多次位置采样与逐维协同替换组合为 ICQPSO 的更新流程。 对每个粒子多次随机采样,先选本轮最好候选作为背景,再从其他候选逐维试入,只有完整目标函数改善才保留该维。额外采样和逐维评价都增加计算成本;原文称采样越多收敛越快尚缺同预算证据,图 16.1 的停止分支还把“是/否”方向标反。
多次采样以计算成本换候选选择
ICQPSO 是“改进的协同量子粒子群算法”。在量子粒子群(QPSO)中,粒子的新位置先由一个概率分布描述;每取一个随机数,代入更新公式就得到一个具体位置,书中称为一次“观测”。ICQPSO 对同一粒子取多个随机数,得到若干候选位置,再挑其中适应度(目标函数值,书中实验均为最小化,越小越好)最好的一个参与更新。
代价可以直接算出。示例:按书中实验设置,种群 20 个粒子、每轮观测 5 次,则每轮要评价 20×5=100 次目标函数,而只观测 1 次时为 20 次。书中图 16.12 也显示观测次数越多,耗时近似线性增长。因此“收敛更快”或“最终解更好”须在相同总评价次数下检验才公平。这里的“多次测量”是蒙特卡洛随机抽样,不涉及量子硬件。
协同更新保留其他候选的有益维度
ICQPSO 对一个粒子多次采样后,先把适应度最好的候选复制为“背景向量”(逐维试换时的基准解),再拿其余候选的每一维逐个试换:只替换这一维,重算完整目标值;变好就保留,变差就恢复,然后试下一维。
示例(补充,最小化 f=x₁²+x₂²+x₃²):
| 步骤 | 背景向量 | f |
|---|---|---|
| 最好候选 X1 作背景 | (1,2,0) | 5 |
| 换入 X2=(3,0,3) 第 1 维 | (3,2,0) | 13,恢复 |
| 换入第 2 维 | (1,0,0) | 1,保留 |
| 换入第 3 维 | (1,0,3) | 10,恢复 |
X2 整体 f=18 很差,但它的第 2 维让背景从 5 降到 1,这就是协同要利用的“局部有益分量”。代价是每试一维就多评价一次:书中每轮采样 5 次,其余 4 个候选在 D 维问题上每粒子每轮多 4D 次评价。结果还依赖试换顺序与当前背景,效果不能由流程本身保证。
164 · 16.2.3 实验结果及分析
用基准和复杂函数比较 ICQPSO 与三种量子粒子群算法,并检验多次采样的收益及成本。 五个基准函数与六个复杂函数分别做 50 次和 25 次独立运行;四种算法均设种群 20,ICQPSO 每粒子采样五次。按迭代数看,多采样的 f1、F4 曲线较快收敛,运行时间也随采样次数上升。表 16.3 的 f3 与表 16.6 的 s− 表明优势并非覆盖所有测试;同迭代数没有控制目标函数评价次数。图 16.12 横轴文字误写成“迭代次数”,应按图中 1–5 次测量解释。
基准优势须保留失败行
比较优化器时,失败的函数、维数和评价成本都要留在结论里。本节的四个算法:QPSO 是量子粒子群基础版,WQPSO 是带权平均最优位置的变体,CQPSO 是协同量子粒子群,ICQPSO 是加入多次采样的改进协同版。基准函数都求最小值(理论最优为 0),“平均最优适应度”是 50 次独立运行所得最好值的平均,越小越好。
表 16.3 的 20 维 f3 上,CQPSO 为 0,ICQPSO 为 12.198;t 检验表 16.6 也记为 s−(前一个算法明显差于后一个)。所以“大部分好于 CQPSO”不能读成全面更好。另外 ICQPSO 每轮采样 5 次、其他算法只采样 1 次,迭代次数相同并不等于目标函数评价次数相同,收益需结合多次采样以计算成本换候选选择判断。
联系前文或后续机制,可继续阅读:多次采样以计算成本换候选选择。
165 · 16.3 基于多次坍塌 - 正交交叉的量子粒子群优化
引入下一组量子粒子群改进方法及后续基准测试的问题背景。 从粒子群可能停留在局部最优切入,提出利用多次坍塌的概率采样与正交交叉,并预告常用函数和 CEC05 复杂函数实验。本项未展开算子和数据,关于全局寻优与性能提升的表述先作为待验证主张,须以后续机制和结果限定。
本项的取材边界:本项为 16.3 节引言,只提出多次坍塌与正交交叉的组合方向及待检验的性能主张,没有展开机制、参数或独立证据;具体概念留待 166–168 项回读,不凭导言提前成卡。
166 · 16.3.1 量子多次坍塌
给出“坍塌”和“多次坍塌”在量子粒子群位置采样中的具体含义。 用蒙特卡洛反变换把概率描述转成确定位置:一个随机数 u 对应一个 X;改用多个不同的 u,就得到多个候选位置。此处是模拟抽样定义,不能据此声称真实量子硬件测量;额外候选的评价成本需与上一节合看。
多次坍塌是重复位置抽样
量子粒子群算法先用概率分布描述粒子位置,再用一个随机数经蒙特卡洛反变换取得一个确定位置,供目标函数评价;本节把这一步称为单次“坍塌”。反变换的做法是取 0 到 1 之间的均匀随机数 u,代入 x = p ± (L/2)·ln(1/u):p 是粒子被吸引的中心位置,L 控制分布宽度。演示:取 p=0、L=2,u=0.5 时 x≈±0.69,u=0.1 时 x≈±2.30——u 越小,位置离 p 越远。使用多个不同的 u 得到多个候选位置,就是多次坍塌。它在实现上是重复抽样,增加候选也增加评价成本,不表示在量子硬件上反复测量。候选如何取舍见 多次采样以计算成本换候选选择。
联系前文或后续机制,可继续阅读:多次采样以计算成本换候选选择。
167 · 16.3.2 正交交叉实验简介
说明正交表的均衡抽样性质,并把它用于父代片段重组。 正交表使每列水平及任意两列水平对均衡出现,表 16.7 用九行代表四因子三水平组合的部分样本。可据观察结果估计主效应,但相互作用仍需核对。正交交叉将父代划为因子片段,按表的行选取片段形成多个子代;更大的表带来更多候选及评价成本。图 16.25 的个别二进制子串有排印差异,不直接照抄位串。
正交表均衡抽取组合
正交表是安排多因素试验的表格:“因子”是要调的变量,“水平”是每个变量可取的档位;每行是一次试验,每列对应一个因子。表 16.7 记为 L₉(3⁴):4 个因子、各 3 个水平,全部组合有 3⁴=81 种,正交表只做 9 次。
“均衡”有两层含义:
- 每一列中,水平 1、2、3 各出现 9÷3=3 次;
- 任取两列,把同一行的两个数看成数对,9 种数对 (1,1)…(3,3) 各出现 1 次。
因此把因子 A 取水平 1 的 3 次试验结果相加时,其他因子的三个水平恰好各出现一次,影响相互抵消,可单独比较 A 各水平的主效应(某水平对结果的平均影响)。它保证所选样本均衡,不保证每种组合都被测试;若因子间有强交互作用,只凭主效应预测未测组合可能出错。
正交交叉按表重组片段
正交交叉先把多个父代按因子划成对应片段,再用正交表的每一行指定各片段取自哪个父代,形成一批结构均衡的子代。图 16.25 用两个父代的三个片段生成四种组合,说明它是在受控组合中探索,而非只做一次随机切点交换。
示例(补充):父代 A=(A1|A2|A3)、B=(B1|B2|B3),用两水平三列的正交表 L₄(2³),表中 1 表示该段取自 A、2 表示取自 B:
| 表行 | 子代 |
|---|---|
| 1 1 1 | A1 A2 A3 |
| 1 2 2 | A1 B2 B3 |
| 2 1 2 | B1 A2 B3 |
| 2 2 1 | B1 B2 A3 |
全部组合有 2³=8 种,只取 4 种,而每段取自 A、B 各 2 次,任两段的来源搭配也各出现 1 次。表越大,候选组合和目标评价通常越多,须权衡覆盖与计算成本;均衡设计也不保证子代必优。
168 · 16.3.3 多次坍塌 - 正交交叉的量子粒子群算法
把前两项的重复位置采样与正交组合合成 MOQPSO 的一次粒子更新流程。 最小化问题中,初始化粒子并计算群体引导位置;每粒子取 Q 个采样位置,按正交表形成 M 个组合候选,以适应度选当前位置,再比较并保留个体与群体历史最好,直到终止。增加采样与组合数有评价成本;概率 1 收敛及普遍性能优越在本项未得到证明。图 16.26 仅辅助理解,更新细节按正文步骤 3–9 记录。
多次坍塌后正交筛选
MOQPSO(多次坍塌-正交交叉的量子粒子群算法)将 多次坍塌是重复位置抽样 与 正交交叉按表重组片段 连在一轮更新中:每个粒子先由 Q 次抽样得到 Q 个位置,再按正交表组合片段得到 M 个新候选,以目标函数评价后选本轮最好位置,并与个体及群体历史最优比较。这样保留了多个样本的片段信息,但 Q、M 越大,目标评价也越多。流程本身不能证明书中“概率 1 收敛”或普遍性能优势。
结构图:
flowchart TD
A[当前粒子及历史最优] --> B[重复抽样Q个位置]
B --> C[按正交表重组片段]
C --> D[生成M个候选]
D --> E[评价并取本轮最好]
E --> F[更新个体最优]
F --> G[更新群体最优]
G --> H{终止条件}
H -- 否 --> B
H -- 是 --> I[输出群体最优]
联系前文或后续机制,可继续阅读:多次坍塌是重复位置抽样、正交交叉按表重组片段。
169 · 16.3.4 实验及分析
检验 MOQPSO 在基准函数及 CEC05 函数上的表现,并界定比较能支持的结论。 以 PSO、QPSO 等为对照,先在 f1–f3 上改变种群数、维数与迭代上限,再用固定设置测试其余基准和复合函数。表 16.13 多数行显示 MOQPSO 平均最优适应度较低,但 f6、f9 并非更好;表 16.14 的 F1 与 QPSO 持平,F4 的 QPSO 数值有疑点。维数与迭代数成对变化使单因素归因不成立,且 Q=3 的多次采样与正交交叉令同迭代数不等于同评价预算。正文复合函数数量前后不一,须以实际四行结果为准。
MOQPSO基准优势有例外
MOQPSO(多次坍塌-正交交叉量子粒子群)在多数测试函数上取得较低的平均最优适应度,但优势并非普遍。对照组是标准粒子群 PSO 和量子粒子群 QPSO;所有函数都求最小值,数值越小越好,负数也一样(−76 比 −74.5 更小、更好)。
| 函数 | MOQPSO | 对照 | 更好者 |
|---|---|---|---|
| f2 | 8.1004 | QPSO 28.7138 | MOQPSO |
| f6 | −74.5436 | QPSO −76.0704 | QPSO |
| f9 | −0.2234 | PSO、QPSO 均 −0.2399 | 对照 |
多次采样与正交交叉还增加目标评价次数,迭代数相同不能证明计算效率更高。
联动参数不能单独归因
要判断种群、维数或迭代次数各自如何影响优化结果,须固定其余条件再改动一个因素。表 16.10–16.12 将维数 10、20、30 与迭代上限 1000、1500、2000 成对变化;同一种群下,结果变坏不能单独归因于维数或迭代次数。表中固定同一维数和迭代数组时可比较种群规模,但更大的种群也增加总评价量。应另做单因素或析因实验,并记录目标函数评价次数。
联系前文或后续机制,可继续阅读:多次采样以计算成本换候选选择。
第17章 最小二乘法
最小二乘法选择模型参数,使预测与观测之间的残差平方和尽可能小。它把拟合目标明确化,可用于回归、系统辨识以及其他需要参数估计的任务。线性模型的正规方程给出一种求解途径,但矩阵秩、病态程度和数据误差会影响可解性与稳定性。它关注用数据拟合函数,与前面的随机搜索是不同层次:搜索算法也可以把残差平方和当目标。
170 · 17.1 最小二乘法数学基础
用一元直线拟合建立最小二乘损失的定义和求参直觉。 观测点若恰在一条直线上是精确线性关系;若散布在直线附近,就选择 a、b,使预测纵坐标与观测纵坐标的残差平方和尽量小。图 17.1 展示纵向残差,公式给出平方和及一阶条件。拟合误差小只说明所选模型和损失下的贴合度,不说明因果。
最小二乘拟合平方残差
最小二乘法为模型选参数,使预测值与观测值的残差平方和最小。在线性拟合中,给定点 (Xᵢ,Yᵢ),选择斜率 a 和截距 b,最小化 Σ(aXᵢ+b−Yᵢ)²。平方使正负残差不会抵消,并对大残差更敏感;“最佳”只针对所选模型形式和这一损失函数,不意味着数据严格落在直线上,也不保证预测关系有因果含义。
原书依据 · 1 处
171 · 17.2 最小二乘法流程
把一元拟合推广成矩阵最小二乘,并讨论逆矩阵解与正则化的条件。 将截距列与多个特征组成 A,最小化 ‖Aβ−Y‖²,驻点满足正规方程。A 列满秩时可用逆矩阵表达唯一解;样本不足或特征相关可能使逆矩阵失效,却不表示平方损失没有最小值。L1 倾向稀疏,L2 倾向收缩并稳定病态问题。原书式(17-10)和(17-11)排印不完整,不照抄为可运行公式。
满秩决定最小二乘解唯一性
多元线性模型 y=β₀+β₁x₁+…+βₙxₙ 用 m 个样本拟合时,把样本排成设计矩阵 A(每行一个样本,第一列全为 1 对应截距,其余列是各特征),参数排成向量 β,观测值排成向量 Y。最小二乘要最小化 ‖Aβ−Y‖²(各样本残差平方和),对 β 求导置零得正规方程 AᵀAβ=AᵀY。
只有 A 的列满秩(任何一列都不能由其他列线性组合出来)时,AᵀA 才可逆,解 β=(AᵀA)⁻¹AᵀY 才唯一。样本数少于参数个数,或某特征与其他特征线性相关,都会导致不满秩。
示例(补充):若每个样本都有 x₂=x₁,那么 β₁=1、β₂=0 与 β₁=0、β₂=1 给出完全相同的预测,残差平方和一样小。这说明不满秩时最小值仍能达到,只是解有无穷多个,而不是“无解”。增加样本也须带来新的独立信息(例中须出现 x₂≠x₁ 的样本)才能修复秩缺陷。
L1稀疏与L2稳定是不同目标
在线性回归的平方残差 ‖Aβ−Y‖² 后加惩罚项 λ·R(β)(λ>0 是正则参数,越大越压低系数),可限制系数大小并处理共线性。共线性指特征之间线性相关,此时 AᵀA 不可逆或接近不可逆(病态:数据稍有变化,解就大幅波动)。
- L1:R 为各系数绝对值之和,常把部分系数压到恰好为 0,相当于自动筛掉不重要的特征。
- L2:R 为各系数平方和,把系数连续缩小但通常不为 0,主要作用是让解稳定。
L2 有解析解 β=(AᵀA+λD)⁻¹AᵀY,D 是对角矩阵,截距对应位置为 0(截距不受惩罚)、其余为 1;λ>0 时括号内矩阵一定可逆。原书式(17-11)把逆号和括号排错了位置,应按上式理解,不能直接照抄实现。L1 的绝对值在 0 处不可导,没有这样的逆矩阵公式,需要迭代求解。
172 · 17.3 最小二乘法在机器学习中的应用
比较平方损失的求解方法,并介绍其在支持向量机分类和回归中的变形。 表 17.2 比较迭代梯度法与线性正规方程求解,但将“最小二乘目标”等同“逆矩阵解”;同节又提非线性最小二乘,须分开理解。LSSVM 将软间隔不等式改成带平方误差的等式约束,利用拉格朗日一阶条件得到核矩阵线性系统,分别用于分类和回归。矩阵式的 I/y 与回归拉格朗日符号有疑点,不直接用来实现;求解速度和预测质量不能由形式推为普遍结论。
最小二乘目标不同于求解器
最小二乘是“让残差平方和最小”的目标,正规方程与梯度下降是求这个目标的不同方法。在线性、满列秩等条件下可用解析式求唯一解;迭代法不要求形成逆矩阵,能处理更多模型,但收敛性取决于目标函数和步长等条件。非线性模型也能采用最小二乘目标,原书把最小二乘限于线性模型,是混淆了平方损失与特定线性解析解。选择方法还应考虑矩阵规模、病态性与计算成本。
最小二乘支持向量机改用平方误差
最小二乘支持向量机(LSSVM)改写了 SVM 的约束和误差惩罚。下表中 yₖ=±1 是类别,φ 把输入映射到特征空间,w、b 确定分类超平面:
| 标准软间隔 SVM | LSSVM | |
|---|---|---|
| 约束 | yₖ[wᵀφ(xₖ)+b] ≥ 1−ξₖ,ξₖ≥0 | yₖ[wᵀφ(xₖ)+b] = 1−eₖ |
| 误差惩罚 | c·Σξₖ(松弛量线性计) | ½γ·Σeₖ²(误差平方计) |
等式约束下,对拉格朗日函数的各变量求偏导置零,得到 αₖ=γeₖ 等四组条件,合并后正好是一个关于 b 和 α 的线性方程组,系数中含核矩阵(元素由核函数 K(xₖ,xₗ) 算出);解出后代入得分类或回归函数。由 αₖ=γeₖ 可见,误差不为零的样本 α 都不为零,所以所有训练点都成为支持向量。
“解线性方程组”不自动保证训练更快或预测更准:N 个样本要解 N+1 阶方程,效率还受核矩阵规模和数值条件影响;书中也说标准 LSSVM 精度比 SVM 稍差。
联系前文或后续机制,可继续阅读:满秩决定最小二乘解唯一性。
第18章 A*路径搜索
A*在图上维护待扩展节点和已处理节点,用起点到当前节点的实际代价g与到终点的启发估计h之和排序。父节点链用来还原路径。启发估计改变扩展次序,是否仍有最优性保证依赖估计与图搜索处理的条件;估计过强可能换取速度却丢失保证,估计弱则搜索较多。与蚁群构造路径相比,A*的关键是节点评价和扩展规则,不是群体痕迹。
173 · A*路径规划导言(第18章)
引出第18章 A* 用于二维地图路径规划的主题。本项无独立标题,章题依据导言内容拟定。 仅指出启发式信息可指导搜索并尝试控制搜索规模,没有给出节点代价、估价函数、搜索步骤或最优性条件。具体概念和边界须以后续正文核验,本项不单独成卡。
本项的取材边界:本项仅为第 18 章引言,概括 A* 在二维路径规划中用启发式信息缩小搜索范围;没有定义估价函数、搜索过程或适用条件。具体取材留待 174–179 项,不凭引言形成重复卡。
174 · 18.1 最短路径搜索
把下一节的 A* 寻路放入图最短路径问题的查询框架。 先定义节点与边上的最短路径,再按固定起点、固定终点、指定点对和全局点对区分查询;有向图固定终点可反转边转为固定起点问题,最后列出 BFS、Dijkstra 与 A* 等方法,适用条件留待具体算法展开。
最短路径查询方向决定图变换
最短路径问题可按查询端点区分:固定起点求到各点、固定终点求各点到它、指定一对端点,以及所有点对。无向图中交换起终点不改变路径长度;有向图若要用单源算法回答“到同一终点”的查询,可先反转所有边再从该终点出发。建模前确认方向和边权,否则把不同查询当成同一问题,可能得到反向可达性或错误距离。
原书依据 · 1 处
175 · 18.2 A*算法实现/18.2.1 A*算法原理
建立 A* 的代价估计、启发函数与最短路径保证之间的关系。 先用 f=g+h 结合已走代价与剩余估价,再比较零估价、低估与高估对搜索和最优性的影响;随后按四方向、等代价八方向和任意方向移动给出三类距离估价。案例的停止条件在第176项核对。
A星用实际代价加剩余估价排序
A* 用 f(n)=g(n)+h(n) 给待扩展节点排序:g 是从起点已走出的实际代价,h 是到目标的剩余代价估计。每次选择估计总代价最小的待处理节点,再检查邻居;若找到更低的 g,需更新邻居的父节点和代价。h=0 时退化为按已知代价扩展的 Dijkstra 搜索。这个拆分让启发信息影响顺序,但不会替代已发生的路径成本。
A星最优性依赖启发函数边界
A* 按 f=g+h 排序(g 为已走代价,h 为剩余代价估计),用 OPEN 表存待扩展节点、CLOSED 表存已扩展节点。启发值若从不高估真实剩余代价,称为可采纳;它使搜索有保留最短解的依据。高估可能减少扩展,却会失去最优性保证。
图搜索还要处理“已关闭节点后来又找到更短路径”的情况:常见做法是要求启发值一致(对每条边 n→n′,有 h(n) ≤ 边代价 + h(n′),即估价沿边的下降不超过边的代价),或允许把这类节点重新打开。
停止时机也影响最优性。示例(补充):S→G 直连代价 10;S→A 代价 1,A→G 代价 1;h(A)=1、h(G)=0,均不高估。扩展 S 后,G 以 f=10 进入 OPEN,A 以 f=2 进入 OPEN。若“G 一进 OPEN 就停”,会返回长度 10 的路径;继续取最小 f 的 A,会把 G 的 g 更新为 2,等 G 作为最小 f 节点被取出时才得到真正最短的 2。因此应在目标被取出时判定成功,原书案例的提前停止规则不宜照搬。
网格移动规则决定距离启发值
网格寻路的启发距离要与允许的移动相配。设当前格到目标的横向差 dx、纵向差 dy(取绝对值),D 为每步最小代价:
| 允许的移动 | 启发值 | 演示 dx=3、dy=4、D=1 |
|---|---|---|
| 仅上下左右 | 曼哈顿 D·(dx+dy) | 7 |
| 八方向,斜走也只花 D | 对角线 D·max(dx,dy) | 4 |
| 任意角度 | 欧几里得 D·√(dx²+dy²) | 5 |
每个公式恰好是在对应移动规则下、没有障碍时的最短代价;障碍与额外成本只会让真实路线更长,所以它们不会高估。规则配错就会出问题:只能走四方向时若用欧几里得的 5,只是偏低、搜索更慢;八方向且斜走代价为 D 时若用曼哈顿的 7,就高估了真实的 4,可能失去最短路保证。若斜走另有成本(如 √2·D),最大值公式不再等于无障碍真实代价,需按实际斜向代价重算。
原书依据 · 3 处
176 · 18.2.2 A*算法简单案例
用有障碍的方格地图把上一项的代价估计转成可追踪的搜索步骤。 将可达方格与障碍映射到网格,先把起点放入 OPEN;反复取最小 f 节点,移入 CLOSED,并按新发现或更优 g 更新邻居和父节点,最终回溯父链。案例的八邻居、曼哈顿估价和目标刚入 OPEN 即停止均需按边成本与最优性条件修正后才能复用。
A星维护待查已查节点与父链
网格 A* 给每个方格记三个值:g 是从起点走到该格的实际代价,h 是到终点的估计代价,f=g+h(见 A星用实际代价加剩余估价排序)。它用 OPEN 保存待检查方格,用 CLOSED 记录已处理方格;取出 OPEN 中 f 最小者,检查可达邻居。新邻居加入 OPEN 并记录父节点;已在 OPEN 的邻居若经当前节点得到更小的 g,就更新代价与父节点。确定目标后沿父链回溯路径。若允许八方向移动,需按斜向成本选择匹配的启发函数;原书在八邻居案例直接举曼哈顿距离,不能无条件保留最短路保证。
联系前文或后续机制,可继续阅读:A星最优性依赖启发函数边界。
原书依据 · 3 处
177 · 18.3 A*算法的优势与缺陷
评价 A* 利用启发信息的潜在收益及错误估价和剪枝的风险。 先指出估价可使搜索趋向目标,再列出搜索空间、存储与速度的可能收益;随后提醒经验估价并不总可靠,过早丢弃节点会影响最优性。性能与正确性都应回到具体图、启发函数和实现条件检验。
A星效率须按图与启发值检验
A* 的启发函数可把扩展顺序引向目标;启发值越有信息且满足正确性条件,越可能少扩展无关节点。但搜索深度、节点数、内存和运行时间不能只凭“用了启发式”断定更小,还取决于图结构、边权、启发值质量与 OPEN/CLOSED 的实现。若过早丢弃候选或不处理更优到达路径,可能失去最短解;应以固定地图、成本和实现做对照,再评价效率与正确性。
联系前文或后续机制,可继续阅读:A星最优性依赖启发函数边界。
原书依据 · 2 处
第19章 神经网络与预测控制
神经网络由带参数的单元连接组成,通过数据调整参数以建立输入到输出的映射。前馈网络表达静态变换,反馈或递归结构可传递历史状态。图像分割输出像素类别,检测输出对象与位置,修复生成缺失内容,它们的输出目标不同。预测控制用网络预测未来状态,再在每个采样时刻滚动求控制量,模型误差、约束和实时预算共同限制效果。
178 · 19.1 神经网络算法起源
从生物神经元的研究引出人工神经网络作为计算模型的来源。 先说明以神经细胞的机理为启发建立模型,再提出连接与学习功能是人工网络研究的关注点,应用领域仅作为背景列举;生物启发不等于已经解释真实脑认知。
人工神经网络是计算抽象
人工神经网络把生物神经元及其连接作为设计启发,转成可训练的计算模型。它保留了“单元连接、输入整合和学习变化”等可用于计算的抽象,并不要求逐项复制真实神经细胞。理解这类模型时,应分别说明计算单元做什么、连接如何传递信息、参数怎样随训练改变;生物类比本身不能证明模型解释了大脑的认知过程。
原书依据 · 1 处
179 · 19.1.1 脑神经元学说
提供神经网络的生物类比对象,并说明局部信号机制与整体脑认知之间的边界。 先分别介绍树突接收、细胞体整合、轴突输出和突触连接,继而列出连接强度变化、刺激/抑制、输入累积和阈值响应;最后指出人工网络尚难反映大脑整体认知,并以抑制性回路问题说明仍需经验研究。
树突胞体轴突突触构成信号链
生物神经元的树突接收来自其他细胞的输入,细胞体参与整合,轴突将电信号向外传导,突触是神经元间传递信号的连接部位。把这条输入、整合、输出链用于理解人工神经网络很方便,但真实神经元的分支、电活动和突触变化远比单个加权求和单元复杂;两者应保持模型与生物对象的区分。
类脑网络不等于脑认知解释
人工神经网络借用连接强度可变化、输入累积和阈值响应等生物启发来设计计算过程。这些局部类比不能推出模型已经解释真实大脑的整体认知结构,也不能仅凭“像神经元”证明性能。判断模型是否有解释力,要区分可计算的工程机制与需要独立实验支持的神经科学命题;书中关于抑制性神经元如何实现“赢家通吃”(一种竞争机制:保留使用频繁、输入较强的连接,去除弱连接)的提问应视为研究假设。
180 · 19.1.2 神经网络算法发展历程
用主要模型及研究阶段说明神经网络从逻辑抽象、线性分类走向反馈网络和多层学习的演进。 从 McCulloch–Pitts 的开关逻辑出发,接续感知器和 ADALINE 的可调权重;单层线性模型的异或限制引出表达能力问题。再到 Hopfield 反馈网络的信息存取和 BP 多层权重学习,最后简述深度网络应用。原书对“最早”、低潮原因和多次高潮的历史归因及性能评价未在本节独立核实。
单层感知器受线性分割限制
单层感知器把输入按可调权重汇总后,经阈值或激活规则输出类别;它形成的是线性判别边界(二维时是一条直线),因此不能直接表示异或这类线性不可分关系。
异或在两输入相同时输出 0、不同时输出 1:(0,0)→0,(0,1)→1,(1,0)→1,(1,1)→0。推导(补充):设当 w₁x₁+w₂x₂+b>0 时输出 1。由 (0,0)→0 得 b≤0;由 (0,1)、(1,0)→1 得 w₂+b>0、w₁+b>0,相加得 w₁+w₂+b>−b≥0,于是 (1,1) 也会输出 1,与异或矛盾。所以没有任何一条直线能分开这两类点。
训练能调整权重,却不能改变单层线性模型的表达能力。遇到训练失败时,应先检查目标是否可线性分割,再考虑增加非线性特征或隐藏层,而非仅延长迭代。
反向传播使多层权重可训练
反向传播为多层前馈网络提供按输出误差调整各层权重的办法:
- 正向:每层先算加权和 z=Wa+b(a 为上一层输出),再经激活函数得本层输出 f(z),直到得出预测和损失(如平方误差)。
- 反向:用链式法则——复合函数的导数等于各环节导数相乘——求梯度。损失对某层权重的导数 = 损失对该层 z 的导数 × 上一层输出 a;前一项可从后一层已算好的结果乘以本层激活函数的导数得到,所以从输出层往回逐层递推。
- 更新:各层权重沿梯度反方向调整一小步。
以 Sigmoid f(z)=1/(1+e^(−z)) 为例,导数 f′(z)=f(z)[1−f(z)],可直接用正向时算好的输出 a 写成 a(1−a);演示:a=0.8 时导数为 0.8×0.2=0.16。
隐藏层与非线性激活扩展了单层线性模型的表达范围;但能训练多层网络不等于任何结构都能学到目标函数,结果仍取决于数据、架构和优化条件。
MP模型用阈值单元组合逻辑
McCulloch–Pitts 模型把单个神经元抽象成产生开关输出的逻辑单元,再通过连接多个单元组成逻辑计算。
示例(补充):两个输入 x₁、x₂ 只取 0 或 1,权重都为 1,单元在 x₁+x₂ 超过阈值时输出 1。阈值取 1.5 时只有两者都为 1 才输出 1,相当于“与”;阈值取 0.5 时任一为 1 就输出 1,相当于“或”。同一种单元只换阈值就能实现不同逻辑,再把单元连接起来即可组合更复杂的逻辑。
它的重要性在于展示“简单单元加连接”可以形成计算结构;这只是对生物神经元的高度简化,不能由逻辑门模拟直接推断真实大脑活动已得到解释。
ADALINE线性学习
ADALINE 是自适应线性单元,利用可调权重对输入形成线性响应,并通过训练修改权重。它与单纯固定逻辑单元的区别在于参数可由数据适应;原书把 Widrow–Hoff 学习法与通信回波、噪声抵消等应用联系起来,但本节没有给出更新公式或实验条件,不能仅凭案例推断对任意噪声都有效。
Hopfield反馈存取
Hopfield 网络是一类带反馈连接的神经网络,可把状态演化用于信息存储与提取。离散型和连续型的区别涉及神经元状态或激活形式;本节只给出发展线索和结构图,未展开能量函数、更新顺序或收敛条件。理解后续算法时,应先核对具体变体,再判断它怎样保存模式和到达稳定状态。
181 · 19.2 神经网络算法实现
把人工神经网络拆为单元、拓扑与训练规则,并给出从损失定义到权重更新的主要方法。 先由加权求和、偏置和激活构成神经元,比较前馈与反馈连接;再介绍 Hebb 共同活动学习。损失函数确定误差语义,经验风险与结构风险界定拟合和正则化,梯度下降按全量、单样本或小批量估计更新方向;最后展开 BP 的正向与反向链式求导,补充 Delta 误差规则和 Dropout 临时屏蔽。原文表 19.1 及部分公式有排印疑点,关于泛化、收敛与复杂度的断言需条件限定。
非线性激活打破线性层叠
计算神经元先将输入按连接权重汇总并加入偏置,再交给激活函数得到输出,即 y=φ(Σwⱼxⱼ+b)。若各层只有线性变换,多层复合仍等价于一个线性变换:两层 W₂(W₁x+b₁)+b₂ 展开为 (W₂W₁)x+(W₂b₁+b₂),只相当于一层权重为 W₂W₁、偏置为 W₂b₁+b₂ 的网络。在层间加入非线性激活,才可能表达更复杂的输入输出关系。硬阈值、线性与 S 型函数会给出不同响应和可导性,选择时还要考虑训练所需梯度;不能把所有激活函数视为等效。
前馈与反馈网络按信息路径区分
前馈网络让信息从输入层经隐藏层流向输出层,单次前向计算中没有反馈环;反馈或循环网络允许状态与信号沿回路反复影响后续状态。前者常把多层函数组合用于映射,后者可研究动态状态与稳定性。反馈网络并不必然是无向完全图,具体连接、更新规则和能否稳定都由模型决定;比较两类网络应看信息是否回流,而非只数层数。
Hebb学习强化共同活跃连接
Hebb 学习用突触前后单元的共同活动调整连接强度:两侧同时活跃时增强连接。简化更新式为 新权重 = 旧权重 + α·a·p,其中 p 是输入、a 是实际输出、α 是正的学习速度。演示:α=0.1 时,p=1、a=1 使权重加 0.1;p 或 a 有一个为 0 则不变。它可以不依赖目标标签,因此是无监督的局部学习思路;但原始规则本身并不保证权重有界、分类正确或生物机制已被完整模拟。若换成目标输出参与更新,已是带监督信号的变体,应与原始规则区分。
损失函数规定错误的计量方式
损失函数把预测与目标之间的差异变成可优化的数。Y 为真实值,f(x) 为预测:
| 损失 | 公式 | 演示 |
|---|---|---|
| 0–1 | 预测错为 1,对为 0 | 只问对错 |
| 平方 | [Y−f(x)]² | Y=3、预测 1:4 |
| 绝对 | |Y−f(x)| | Y=3、预测 1:2 |
| 对数 | −log P(Y|X) | 真实类概率 0.9:约 0.11;0.1:约 2.30 |
平方损失放大大残差;绝对损失按偏差幅度线性计;对数损失按模型给真实类别的概率计,越不自信惩罚越重。选损失前应明确任务输出和代价含义,再看它是否便于优化。训练损失低只说明拟合训练数据,不能单独证明未知样本上的效果。
经验风险低不保证泛化
三个风险的区别:
- 经验风险:训练样本损失的平均值,(1/N)·ΣL(yᵢ, f(xᵢ)),N 为样本数,能直接算。
- 期望风险:损失在数据真实分布 P(x,y) 上的平均,代表对所有可能样本的表现;分布未知,通常无法精确计算。
- 结构风险:经验风险 + λ·J(f),J(f) 衡量模型复杂度,λ>0 调节拟合与约束的权衡。
只压低经验风险可能过拟合:模型连训练集里的偶然特征也记住了,训练集上很好、新样本上很差。结构风险用复杂度惩罚压制这种倾向。正则化也不是泛化保证,惩罚项、数据分布与验证方案都要匹配问题;测试集应用来评估,不能被定义成训练所能直接最小化的总体期望。
批量大小改变梯度估计代价
梯度下降沿目标函数的负梯度更新参数:θ ← θ − α·∂J/∂θ,其中梯度指向函数上升最快的方向,学习率 α(步长)决定单次改变量。三种做法的区别在于每次用多少样本估计梯度。
演示(补充):训练集 10000 个样本,
| 做法 | 每次更新用样本 | 遍历一轮更新次数 |
|---|---|---|
| 全批量 | 10000 | 1 |
| 小批量(100) | 100 | 100 |
| 随机梯度 | 1 | 10000 |
全批量单次成本高而方向稳定;随机梯度单次便宜但方向波动大;小批量在计算和噪声间折中。特征尺度与学习率会影响训练过程,过大步长可越过低损失区。达到零梯度只表示驻点,还需区分极小、极大和鞍点。
Delta规则按输出误差调权
Delta 规则利用目标输出与实际输出之差调整连接权重:新权重 = 旧权重 + a·(d−y)·x,d 为期望输出,y 为实际输出,x 为该连接的输入,a 为学习速率。误差 d−y 的正负决定增减,输入和学习率决定幅度。演示:a=0.5、d=1、y=0.6、x=1 时权重加 0.2;x=0 的连接不变。它把监督信号直接用于学习,与不需要目标输出的 Hebb学习强化共同活跃连接 不同。规则改变的是参数更新方式,并不会使单个线性单元自动获得非线性表达能力;原书称其可解决单层感知器不能解决的非线性问题,需补充网络结构等前提。
Dropout随机屏蔽隐单元
Dropout 在训练的每次前向计算中随机把部分隐藏单元输出置零,并在该掩码下反向更新权重;下一次可重新采样掩码。它让模型不能总依赖同一组特征组合,是缓解过拟合的一种正则化方法。被屏蔽单元没有从网络结构中永久删除,推断时通常使用完整网络并按实现约定处理激活尺度;效果仍须由验证数据确认。
联系前文或后续机制,可继续阅读:反向传播使多层权重可训练。
原书依据 · 9 处
182 · 19.2.2 典型神经网络结构
并列比较感知器、径向基函数网络和玻尔兹曼机家族的表示方式、输出和训练目标。 感知器从加权输入到激活输出,单单元是线性判别器;RBF 隐层按输入到中心的距离构造非线性响应,再由线性输出层组合,正则化网络与广义网络分别偏重重建和分类;RBM 以可见层、隐层及能量分布建模,短链对比散度近似训练统计量,一般玻尔兹曼机允许同层连接。原书把 RBM 泛称自编码网络以及若干公式、历史表述有疑点,未按精确实现复述。
感知器以加权输入判别
感知器把多个输入分别乘以可调权重,再汇总偏置并经激活函数输出。单个感知器形成线性判别边界,适合线性可分的二类任务;多个单元叠成网络后,非线性能力还取决于层间激活与训练方式。原书把乘法、加法和激励分别类比突触传导、胞体整合与输出限制,这只是计算抽象。
RBF按中心距离响应
径向基函数的响应只由输入 x 与某个中心 c 的距离决定,常用欧氏距离,也可选其他距离。以书中的高斯函数 φ=exp(−‖x−c‖/δ²) 为例(常见写法用距离平方),δ 是宽度参数。演示:δ=1 时,距离 0、1、3 的响应约为 1、0.37、0.05——离中心越远响应越弱,所以每个隐单元只对中心附近的输入敏感,形成“局部响应”。
RBF 网络让隐层各单元以不同中心计算这种响应,输出层再做线性加权:yᵢ=Σⱼ wᵢⱼ·φⱼ。中心、宽度和输出权重共同决定拟合结果;选错中心或宽度仍会欠拟合或过拟合,不能把“可逼近非线性函数”理解为任意训练集上自动泛化。
RBF两类网络任务不同
书中将 RBF 正则化网络用于函数重建:通过先验约束限制映射的粗糙程度,使邻近输入的输出倾向接近;将广义网络用于模式分类:用隐层基函数扩展特征空间,再由输出层分类。高维映射只提供线性分隔的可能,分隔效果仍取决于基函数、样本和训练。
RBM能量定义联合分布
受限玻尔兹曼机(RBM)把观测放在可见层 v,把潜在表示放在隐层 h;同层无连接,跨层权重 w 及两层偏置 a、b 共同定义每个状态的能量:E(v,h)=−(aᵀv+bᵀh+vᵀwh)。状态概率 P(v,h)=e^(−E)/Z,配分函数 Z 是所有状态的 e^(−E) 之和,用来把概率归一到总和为 1。
演示(补充):可见、隐层各 1 个二值单元,a=b=0、w=1。只有 (1,1) 的能量为 −1,其余三个状态为 0;Z=e+3≈5.72,于是 P(1,1)≈2.72⁄5.72≈0.48,其余各约 0.17。能量越低,概率越高。
训练的目标是让模型分布贴近数据分布,而不是只找单个最低能量状态。
对比散度用短链近似
训练 RBM(见 RBM能量定义联合分布)要提高观测数据的概率。对权重 wᵢⱼ 的梯度是两项之差:可见单元 i 与隐单元 j 同时取 1 的平均程度,先在数据上算一次,再在模型分布上算一次,前者减后者。第二项要对所有状态求和(含配分函数 Z),状态数随单元数指数增长,无法直接计算。
对比散度(CD)用短采样链近似第二项:
- 从观测样本 v 出发,按 P(h|v) 采样隐层 h;
- 按 P(v|h) 重建可见层 v̂,再算出对应的 ĥ;
- 用 (v,h) 的统计量减去 (v̂,ĥ) 的统计量,作为梯度更新参数。
只交替一轮是 CD-1,交替 k 轮是 CD-k。短链节省计算,但近似有偏,重建得好也不必然表示模型分布拟合充分。
玻尔兹曼机允许同层连接
RBM 限制同一层单元不互连,使给定一层时另一层的单元可条件独立地处理。一般玻尔兹曼机放宽该限制,允许层内连接,能表达更多相互依赖,也使采样和训练更复杂。二者均以能量定义概率分布;原书称其为“自编码网络”会混淆能量模型与以重建映射为核心的自编码器。
183 · 19.3 基于神经网络算法的图像处理
作为图像处理应用的过渡说明,引出分割、修复和识别等后续任务。 原文概述神经网络的并行计算、自适应和非线性映射特征,但没有给出具体任务、条件或可核验的性能比较;“传统方法无法满足需求”缺少限定,故本项不独立生卡。
联系前文或后续机制,可继续阅读:语义分割逐像素分类、FCN上采样生成像素图。
本项的取材边界:仅为图像处理应用的过渡性总述,使用“传统方法逐渐无法满足需求”等无适用条件的泛化判断;可迁移机制由后续图像分割项承接。
184 · 19.3.1 基于神经网络算法的图像分割
以 FCN 说明图像分割为何需要逐像素输出,以及全卷积和上采样如何保留空间对应。 先将区域划分与整图分类区分,再说明分类骨干改为全卷积后可处理可变尺寸输入,利用上采样恢复预测分辨率;最后指出下采样的小目标损失并引出多尺度细化。原书对历史准确率和“无需输入输出处理”的断言未提供比较条件。
语义分割逐像素分类
图像分类为整幅图像给出标签,语义分割则需要对每个像素预测类别,从而形成目标区域。后者必须兼顾语义特征和空间位置;若只把卷积特征压成固定长度分类向量,就难以直接得到与输入对应的像素图。语义分割只区分类别,实例分割还要区分同类的不同个体。
FCN上采样生成像素图
FCN 将分类网络的全连接层改为卷积运算,使输入尺寸可变;再对较低分辨率的特征图上采样并做像素分类。下采样带来的细节损失可能使小目标和边界难以恢复,需考虑多尺度特征融合。上采样可由转置卷积等方法实现,输出对齐仍需处理步幅、填充和裁剪,不能只凭“放大到原图大小”保证精度。
185 · 19.3.2 基于神经网络算法的图像修复
比较自编码器、GAN 和 RNN 三种利用图像上下文生成缺失区域的思路。 先定义由可见信息推断缺失内容;卷积自编码器通过遮挡训练学重构,GAN 引入真实与生成样本的判别反馈,RNN 将图像区域按顺序建模。三者生成机制不同,效果受掩码、条件输入、分辨率与数据影响;原书若干优劣比较缺少实验条件。
图像修复推断缺失内容
图像修复利用未遮挡区域及学到的图像规律推断缺失区域。输出不是恢复不可见的唯一真值,而是与上下文协调的合理估计;缺损越大、结构越复杂,不确定性通常越高。评估时既要看局部纹理,也要看边界连续性和整体语义,不能仅用生成图像是否清晰判断修复可靠。
遮挡训练学习图像修复
自编码器通过编码和解码学习输入重构;用于图像修复时,可在完整图像上人为遮挡部分区域,让网络根据可见区域预测原像素。卷积层保留局部空间结构并共享参数。普通自编码器的“输入等于输出”目标与修复任务的“遮挡输入、完整目标”不同,训练掩码和损失区域需要明确设定。
GAN判别反馈约束修复
GAN 由生成器产生候选图像、判别器区分真实与生成样本,竞争反馈推动结果接近训练数据的分布。用于图像修复时还应把可见区域作为条件或约束,使生成内容与周围图像一致;仅输入随机噪声不能保证填补指定缺口。高分辨率、复杂结构的稳定训练仍是挑战,清晰图像也可能不忠实于原场景。
递归生成建模图像上下文
RNN 把先前步骤的信息经隐藏状态传给后续步骤。若把图像像素或图像块按某种顺序展开,便可逐步预测缺失内容并利用已生成的上下文。空间邻接并不天然等同时间顺序,扫描路径会影响依赖表达,长距离结构及高分辨率计算仍难;原书对修复连贯性和样本规模的评价应视具体模型与数据而定。
186 · 19.3.3 基于神经网络算法的目标检测与识别
说明目标检测的定位与分类双目标,并沿候选框生成方式梳理 R-CNN 系列。 从场景图片提取候选框,分类区域并精修位置;R-CNN 依靠选择搜索且分阶段计算,Fast R-CNN 整合特征、分类和框回归,Faster R-CNN 用候选区域生成网络替换外部候选方法并共享特征。候选质量与重复计算是演进驱动。
目标检测同时定位分类
目标检测的输出同时包含位置和类别:先找到可能含目标的区域,再判断其类别,并调整边界框。训练样本因此需要图像及目标框、类别标注。定位与分类是两个相关子问题,候选框覆盖不全会导致后续分类器无法找回遗漏目标;框的位置质量也会影响识别和评价。
RCNN分阶段检测目标
R-CNN 先用选择搜索产生候选区域,再将不同大小的区域缩放到网络输入尺寸,提取卷积特征并分类,最后回归修正边界框。候选生成、特征提取、分类和框精修分阶段执行,区域大量重叠会重复计算并占用存储;多给候选框也不能无条件提高检测质量。
Fast到Faster整合检测
Fast R-CNN 将共享卷积特征、分类和边界框精修纳入同一检测网络,但候选区域仍由网络外部提供。Faster R-CNN 增加候选区域生成网络,并与检测头共享卷积特征,让候选提议也由网络学习。两者的关键差别是候选区域从何而来;“统一框架”不表示训练和推理没有多阶段结构。
187 · 19.4 基于神经网络算法的预测控制
引入神经网络作为预测模型时的滚动有限时域控制框架。 由历史状态和候选输入预测未来输出,在有限时域优化性能指标,执行当前动作并使用反馈重新计算。网络近似非线性动态是建模选择,约束、稳定性与鲁棒性仍须另验;本节为后续预测模型与滚动优化细节的入口。
预测控制滚动优化动作
预测控制利用系统模型、历史状态和候选输入预测未来输出,在有限时域内按性能指标优化控制序列;执行当前动作后再取得反馈、重新预测与优化。神经网络可充当非线性预测模型,但闭环稳定性、约束满足和鲁棒性仍须单独分析,不能由网络的逼近能力直接保证。
188 · 19.4.1 基于神经网络算法的预测模型
说明神经网络预测控制如何从被控对象的输入输出实验建立动态预测模型。 先采集输入输出数据并训练预测器,再比较 BP/RBF 前馈网络和 Elman 局部反馈网络。前馈结构若用于动态系统须显式给入历史阶次;带反馈结构可保留部分历史。选择需兼顾误差、收敛、计算及在线优化需求,原书关于任意精度、全局最优和 RBF 必然快收敛的断言不作保证。
预测模型需输入输出辨识
用神经网络做预测控制,先要收集被控对象的输入、输出及足够的动态状态数据,再训练能预测未来输出的模型。BP 与 RBF 等前馈网络不自带时序记忆,若要表示动态过程,必须显式加入过去输入、输出或状态;带局部反馈的 Elman 网络能在隐藏状态中保留部分历史。模型的预测误差和适用范围须用独立数据检验。
预测模型选择有条件
BP 前馈网络、RBF 网络和 Elman 局部反馈网络提供不同的非线性表示与时序建模方式。选择时应比较预测误差、所需历史阶次、计算成本及滚动求解的可行性。通用逼近性质只说明存在适合的参数配置,不保证训练找到全局最优;RBF 也不能普遍避免局部最优或保证收敛快。
189 · 19.4.2 神经网络预测控制中的滚动优化
比较每个采样时刻重新求解有限时域控制问题的四类方法。 线性化以近似换取速度,非线性数值优化直接处理模型,附加神经网络学习优化映射,智能优化用迭代搜索复杂空间。每种方案都要在非线性强度、约束满足、求解精度与实时预算之间权衡;滚动定义已在第 187 项引入,本项保留策略比较。
滚动求解权衡实时预算
神经网络预测控制每个采样时刻都需在有限时域内重新求解。局部线性化可降低计算,但强非线性下近似误差大;非线性数值优化更直接但耗时;另训练优化网络把求解成本移到训练,需验证泛化;进化或群体智能搜索适合复杂目标,却常有较高迭代成本及结果波动。方法必须同时满足约束、精度和采样周期。
联系前文或后续机制,可继续阅读:预测控制滚动优化动作。
第20章 深度学习
深度网络把多个变换复合起来学习中间表示,训练要同时面对梯度传播、优化和泛化。预训练提供初值,小批量梯度方法更新参数,AdaGrad与RMSProp按梯度历史缩放步长,牛顿法则使用曲率信息。视觉、语音和语言模型都利用表示学习,但任务输出与时序结构不同。层数、参数或优化器名称均不能代替独立测试。
190 · 20.1 深度学习算法与神经网络
从深层网络训练困难引出逐层预训练与微调的历史策略。 原文由计算资源和训练瓶颈讨论多隐层表示,再介绍无监督逐层初始化与任务精调。预训练是历史训练方案,不代表深度学习必须如此;关于 BP 不可能训练深层网络、浅层结构导致不如人脑智能等绝对因果未采用。
逐层预训练提供网络初值
逐层预训练先逐个学习隐藏层的表示,将学到的参数用作深层网络初值,再围绕最终任务联合微调。这是一种缓解深层训练困难的历史策略;初始化与任务目标分工不同,前一阶段学到的表示未必最适合最终任务。它不等于深层网络必须采用的训练流程,也不能据此断言反向传播无法训练深层模型。
原书依据 · 1 处
191 · 20.2 深度学习算法实现
用函数复合定义网络层和模型深度,为后续深度模型机制提供术语基础。 多个函数依次连接,各阶段对应网络层;输入与输出之间为隐层,链的长度形成深度概念。正文提取时的上标移位不影响函数复合定义,计层口径需明示。
网络深度表示函数复合层数
前馈网络可写成多层函数依次复合:前一层的输出成为后一层的输入,链的长度表达模型深度。例如三个函数串成 f(x)=f⁽³⁾(f⁽²⁾(f⁽¹⁾(x))),x 先经第一层 f⁽¹⁾,结果交给第二层 f⁽²⁾,再交给第三层 f⁽³⁾,这条链长为 3。隐层位于输入与输出之间,逐层变换构成中间表示。深度与每层单元数所表达的宽度不同;比较网络层数前须说明输入层、输出层及其他运算是否计入,不能仅凭层多判断能力强。
原书依据 · 1 处
192 · 20.2.2 深度学习算法基本思想
用层级特征组合解释表征学习,并区分增加深度后的数据与优化困难。 多层变换形成抽象表示,容量提升伴随数据不足过拟合、非凸优化和梯度弥散等不同风险;随后列出数据扩充、逐层预训练与精调等训练思路。已有预训练卡复用,半监督“最成熟”等时效性比较及随机梯度保证解决弥散的说法未采用。
层叠变换学习抽象表示
深度表征学习让每一层处理前一层输出,将低层特征逐步组合成较抽象的表示,供分类等任务使用。表示由训练目标和数据共同塑造,层次越高不一定越有语义,也不保证更容易分类。它的价值在于把部分特征设计交给学习过程,仍需检验表示是否保留任务所需信息。
模型容量增加不保证泛化
增大网络深度或参数规模可以扩大可表示函数的范围,却也提高训练和数据需求。有限数据下,容量增加可能只让模型更好地记住训练样本;目标非凸又使初始化、优化路径影响最终解。选模型时应同时比较训练误差、独立验证误差与计算成本,不能仅用层数推断任务能力。
梯度弥散削弱前层更新
反向传播把输出端的误差逐层往输入端传,每经过一层都要乘上该层的局部导数(链式法则)。若这些因子多数小于 1,乘积会迅速缩小:示例假设每层因子都是 0.5,传过 5 层后只剩 0.5⁵≈0.03,靠近输入端的权值几乎得不到调整。这就是梯度弥散或梯度消失,层越多越明显。它与模型容量大、训练样本少导致的过拟合是不同问题。随机梯度下降与预训练可以改变训练过程,但单靠更换为随机更新不保证消除梯度消失,仍需检查激活、初始化和网络结构。
联系前文或后续机制,可继续阅读:逐层预训练提供网络初值。
193 · 20.2.3 深度模型优化
比较深度模型训练中的学习率、曲率信息和逐参数步长适应机制。 SGD 以小批量梯度更新并调节学习率;牛顿法借助 Hessian 二阶近似,非正定曲率需要阻尼;AdaGrad 累积梯度平方,RMSProp 改用指数衰减平均。方法选择受目标性质和计算预算制约,原书算法图多处缺失或与正文失配,未作为可执行实现。
学习率调度控制更新步长
SGD 用随机小批量估计梯度,第 k 步的学习率 εₖ 决定沿负梯度走多远。过小会训练缓慢,过大会振荡或发散。
原书给出的收敛条件是两条:
- Σεₖ = ∞:步长总和不能有限,否则走出有限距离就停住,可能还没到最优点。
- Σεₖ² < ∞:步长平方和有限,即步长要逐渐变小,让随机梯度的噪声最终被压住。
实践常用线性衰减:εₖ=(1−α)ε₀+αε_τ,α=k/τ,从初值 ε₀ 在 τ 步内线性降到 ε_τ,之后保持常数。
这两条是特定随机逼近假设下的经典条件,不能脱离目标光滑性、噪声和采样条件当作深度网络收敛的充分保证;衰减到常数后也已不满足平方和有限。
牛顿步利用曲率调整方向
Hessian 矩阵 H 是目标 J 对参数 θ 的二阶导数矩阵,描述各方向上的曲率(坡度变化有多快)。牛顿法在当前点 θ₀ 用二阶泰勒展开近似 J,再直接跳到这个二次近似的临界点:θ* = θ₀ − H⁻¹∇J(θ₀)。曲率大的方向步子小,曲率小的方向步子大,不必手调学习率。
- H 正定(各方向都向上弯)时,这个临界点是近似的极小点,更新是下降方向。
- 非凸区域里 H 有负特征值(负曲率),临界点可能是鞍点或极大点,牛顿步会朝错误方向移动。
- 正则化做法是改用 [H+αI]⁻¹:α 足够大能抵消负特征值;但 α 很大时更新近似 −∇J/α,步长比适当学习率的梯度下降还小。
精确 Hessian 的存储与求逆代价高,原书据此认为牛顿法只适合参数较少的网络。
AdaGrad累积梯度缩放步长
AdaGrad 给每个参数各配一个累积量 r,每步累加梯度平方 r←r+g⊙g(⊙为逐元素相乘),更新量与 ε·g/(δ+√r) 成正比:ε 是全局学习率,δ 是防止除零的小常数。于是累积量大的坐标有效学习率 ε/√r 较小。
演示(假设 ε 相同、忽略 δ):
| 情形 | 累积 r | 有效学习率 | 本步更新幅度 |
|---|---|---|---|
| 参数 A 连续 4 步梯度为 1 | 4 | ε/2 | 0.5ε |
| 参数 B 连续 4 步梯度为 0.1 | 0.04 | 5ε | 0.5ε |
| 参数 A 连续 100 步梯度为 1 | 100 | ε/10 | 0.1ε |
前两行说明梯度尺度不同的坐标被拉到相近步幅;第三行说明即使梯度不变,r 只增不减,步长也会持续缩小,这正是原书说的学习率过早、过量减小。因此自适应不等于无需调参,也不保证所有目标都比 SGD 好。
RMSProp衰减历史梯度影响
RMSProp 把 AdaGrad 的“梯度平方全历史求和”改成指数移动平均,常见写法为 r←ρr+(1−ρ)g⊙g,再同样按 g/(δ+√r) 缩放更新。衰减率 ρ(0 到 1 之间)越大,旧梯度保留越久;每过一步,旧信息的权重就乘一次 ρ。
对比(示例:某参数梯度一直为 1,ρ=0.9):AdaGrad 的 r 在第 100 步为 100,更新幅度缩到 0.1ε;RMSProp 的 r 逐渐趋近 1 而不再增长,更新幅度保持在约 ε。这就是它缓解 AdaGrad 步长持续缩小的原因。
仍须设置基础学习率 ε、ρ 和稳定项 δ。它不保证非凸目标最终进入凸区域,也不保证快速收敛。
联系前文或后续机制,可继续阅读:批量大小改变梯度估计代价。
194 · 20.3 基于深度学习算法的计算机视觉
定义计算机视觉并引出深度学习的视觉应用任务。 从“看世界”的概括转向图像信息处理,列举检索、影像与交互等用途;本项只承担任务入口,活跃程度和应用名称不作为独立机制。
计算机视觉从图像推断信息
计算机视觉把图像等视觉数据转化为对场景、对象及其关系的判断。深度学习提供特征表示和映射方法,具体输出仍由任务定义,如分类标签、目标位置或像素区域。能处理图像不等于具有人类式视觉理解,评价应对应明确任务和数据条件。
195 · 20.3.1 基于深度学习算法的人脸识别
说明人脸身份特征、统一嵌入和级联检测定位的任务边界。 先说明姿态与环境变化给身份识别带来的困难,再列举 DeepFace 与 FaceNet;后者以距离空间服务验证、识别和聚类。MTCNN 则联合筛选人脸框与定位关键点。历史性能数字不等同现实可靠性,检测定位与身份识别分别评价。
人脸识别依赖采集条件
人脸识别根据脸部特征判断身份,姿态、年龄、遮挡、光照和表情会改变同一人的图像。深度网络能学习特征,却不能消除数据与采集条件的差异;理想测试集上的准确率不能直接代表复杂环境的可靠性。检测到脸、定位关键点和识别身份是不同任务。
人脸嵌入统一相似性比较
FaceNet 将人脸映射到欧氏空间,用向量距离表达身份相似性,同一表示可服务验证、识别和聚类。验证判断是否同一人,识别从候选身份中选择,聚类把相似样本分组。嵌入只是比较工具,实际决策还需阈值、候选库和评估条件;距离接近不自动等于身份相同。
MTCNN级联筛选人脸区域
MTCNN 联合处理人脸检测和关键点定位:P-Net 提议并校准候选框,R-Net 进一步剔除误报,O-Net 输出关键点。边界框回归修正位置,非极大值抑制筛去高度重叠候选;它们都不负责判定人物身份。级联减少后阶段候选,但前阶段漏掉的脸通常难由后段补回。
196 · 20.3.2 基于深度学习算法的目标跟踪
区分连续跟踪与单帧检测,说明在线更新和多层特征融合的作用。 从初始目标出发产生候选,用特征与外观模型评分,再更新模型并融合决策;HCF 通过浅层空间细节与深层语义互补,融合各相关滤波响应定位目标。正文层号与图20.1冲突,泛化性能和速度判断均需任务条件。
目标跟踪持续估计同一目标
单目标跟踪由初始帧给定目标位置与大小,在后续帧持续估计同一目标的状态。它结合运动候选、特征表示、外观评分及模型更新,并可融合多种决策。在线更新只有有限且可能含误差的样本,既要适应外观变化,又要防止把错误预测学成目标;实时预算也会限制模型规模。
HCF融合多层定位响应
HCF 用卷积网络 VGG-16 的三个不同深度层提取特征,每层各训练一个相关滤波器。滤波器在搜索区域上输出一张响应图,某位置数值越大表示那里越像目标;三张响应图按权重相加后,取最大值位置作为目标位置。浅层特征通常保留更多空间细节,深层特征偏向语义表示,融合利用二者互补。权重和响应尺度需协调,深度特征也不保证在所有场景都更鲁棒;原书层编号存在图文矛盾,不能照录实现。
197 · 20.4 基于深度学习算法的语音识别
定义自动语音识别,并引出声学模型、语言模型与解码器的模块分工。 声波输入需要预测语句与得分,传统模块化框架联合声音对应、语言先验和候选搜索;本节以历史发展过渡到后续两类模型,不把年代叙述等同现行方案优劣。
语音识别从声波推断语句
自动语音识别把输入声音映射为语言中的语句及候选得分。传统模块化框架由声学模型、语言模型与解码器协作:声学证据描述声音对应关系,语言模型提供语句先验,解码器搜索候选。它与识别人是谁或生成语音不同;预测概率也不自动等于校准后的正确率。
198 · 20.4.1 基于深度学习算法的声学模型
从连续语音的上下文依赖介绍 DNN、RNN/LSTM 与 CNN 的建模分工。 相邻帧拼接提供局部上下文,递归网络引入时间状态,LSTM 用双状态及三门控制传递;时频图上的卷积提供局部特征。多模型互补是设计思路,效果与不变性需数据和任务验证。
声学建模需要时间上下文
语音连续且发音受上下文影响,声学模型需利用相邻帧或序列状态判断声学单位。拼接帧的 DNN 显式提供有限上下文,递归网络通过状态传递历史信息。更长历史不自动等于更好识别,采样、训练和噪声变化都会影响效果;网络仍包含建模假设,不能理解为完全不假设数据。
LSTM门控管理记忆状态
LSTM 同时传递细胞状态和隐藏状态,以遗忘门控制保留多少旧记忆、输入门控制写入、输出门控制当前隐藏输出。门控让信息有选择地跨时间传播,缓解普通 RNN 的长程训练困难,但不保证无限记忆或消除所有梯度问题。细胞状态常被解释为长期通道,隐藏状态并非严格只存短期信息。
声学网络组合不同归纳偏置
声学建模可把 CNN 的局部时频特征、递归网络的时间依赖和前馈网络的表示映射组合。语音时频图适合局部卷积,但卷积的平移等变性不等于任意时频变化都无影响。多结构组合是否获益须按识别质量、延迟和计算成本比较,不能把互补性当作必然优于单模型的证明。
199 · 20.4.2 基于深度学习算法的语言模型
定义词序列概率,并比较固定窗口与递归状态表达上下文的边界。 从前文预测下一词构造序列概率;NNLM 以紧凑词向量共享上下文信息,但受固定窗口限制;RNN 用共享参数处理变长输入,同时受到顺序计算和梯度困难影响。高概率不代表事实正确,历史归属与“彻底解决稀疏”的断言未采用。
语言模型估计词序列概率
语言模型为词序列分配概率,并利用前文预测后续词。整句概率可拆成逐词条件概率相乘:P(w₁…wₙ)=P(w₁)·P(w₂|w₁)·…·P(wₙ|w₁…wₙ₋₁)。示例假设 P(我)=0.1、P(爱|我)=0.2、P(你|我爱)=0.5,则“我爱你”的概率为 0.1×0.2×0.5=0.01;语音解码时可用这类分数比较发音相近的候选句。高概率表示更符合训练分布中的模式,不等于语句事实正确或语法必然正确;比较模型还需考虑词表、分词和评估数据。
语言上下文窗口限制依赖
固定窗口的神经语言模型将前文词向量映射为下一词分布,紧凑表示使相似上下文能共享统计信息,但窗口以外的历史仍不可直接使用。RNN 用共享参数递归处理变长序列,隐藏状态压缩前文;理论可接收长历史不等于训练中可靠保留长依赖,顺序计算和梯度问题也带来代价。
第21章 强化学习
强化学习从动作与环境的交互中学习策略,目标是长期累计回报。策略规定如何选择动作,价值函数评估未来回报,状态转移描述环境变化;马尔可夫决策过程把这些对象放在同一模型中。逆强化学习改为从示范推断奖励,深度强化学习用网络表示策略或价值。SAR案例让DQN调整分割分数权重或拒识阈值,后处理仍受前端特征和训练、测试设计约束。
200 · 强化学习导言
引入智能体与环境交互、以累计回报改进策略的学习范式。 由奖励驱动交互引出强化学习及算法分类,分类名先作为后续线索;历史成就和“无监督条件”说法不替代奖励反馈定义。
强化学习从交互回报改进策略
强化学习让智能体在环境中选择动作,依据奖励反馈改进策略,以提高长期累计回报。动作既影响即时奖励,也改变未来状态,所以任务不只是预测标签或挑当前最大收益。奖励是评价信号,不直接给出每一步的正确动作;回报目标设计不当也可能学到偏离实际意图的行为。
201 · 21.1 强化学习模型
把强化学习交互拆为状态、动作、奖励、策略、价值和探索机制。 智能体动作改变状态并获得延迟奖励,策略决定选择分布,价值计算策略条件下折扣回报;探索避免只重复当前最优估计。折扣为一的持续任务需要回报有限条件。
策略规定给定状态如何行动
策略是智能体在状态下选择动作的规则,可用条件概率 π(a|s) 表示。环境转移模型则描述状态和动作之后会到达何处,奖励描述结果的评价;三者职责不同。策略中的动作概率表达选择倾向,不直接等于成功概率,也不必只按立即奖励确定。
状态价值评估折扣长期回报
状态价值是在状态 s、遵循策略 π 时未来折扣奖励和的期望:vπ(s)=E[R{t+1}+γR{t+2}+γ²R_{t+3}+…|S_t=s]。R 是每步奖励,折扣因子 γ∈[0,1] 让越远的奖励权重越小;取期望是因为策略和环境都可能随机,同一状态出发的回报每次不同。
示例:假设之后三步奖励都是 1 然后结束。
| γ | 折扣回报 |
|---|---|
| 0 | 1(只看下一步) |
| 0.5 | 1+0.5+0.25=1.75 |
| 1 | 3(不衰减) |
γ 越小越偏重近期回报。γ=1 时若任务无限持续,回报可能不收敛。价值依赖策略与环境,并非状态自身固定的好坏分数。
探索权衡未知动作与已有收益
强化学习要在探索和利用之间权衡:利用当前价值估计较高的动作获取收益,探索其他动作以修正不充分的经验。ε 型探索在多数时刻按当前估计选择,保留一定随机尝试机会。探索会付出短期代价,有限尝试也不保证找到最优策略;应区分动作价值估计与真实长期收益。
202 · 21.1.2 基于马尔可夫决策过程的强化学习
以马尔可夫模型形式化环境,并用价值关系连接长期回报与逐步决策。 元组定义状态转移和奖励,区分首动作固定的q与按策略加权的v,再把回报递归拆为即时奖励和未来价值;最优形式对动作整体回报取最大。
MDP把决策环境写成状态模型
马尔可夫决策过程用状态、动作、转移概率、奖励和折扣因子描述连续决策。其状态应包含预测下一步所需的信息,使给定当前状态和动作后无须额外依赖更早历史。模型只是对环境的抽象,状态缺信息时马尔可夫假设可能不成立,模型内最优也未必适合真实环境。
动作价值先固定一个动作
状态价值 vπ(s) 评估从状态 s 出发始终遵循策略 π 的期望折扣回报;动作价值 qπ(s,a) 先固定第一步做动作 a,之后再遵循 π。状态价值等于按策略动作概率加权的动作价值:vπ(s)=Σₐπ(a|s)qπ(s,a)。
示例:某状态下策略以 0.7 选“左”、0.3 选“右”,假设 qπ(s,左)=2、qπ(s,右)=5,则 vπ(s)=0.7×2+0.3×5=2.9。q 能看出“右”更好,而 v 只给出该策略下的平均水平。二者都依赖环境与奖励,策略改变后数值也可能改变;同一动作的即时奖励不能代替其长期价值。
贝尔曼关系拆分当前与未来
贝尔曼期望关系把价值拆为下一步奖励加上折扣后的后续价值:vπ(s)=E[R{t+1}+γvπ(S{t+1})|S_t=s]。因为折扣回报满足 Gt=R{t+1}+γG_{t+1},对其取期望就得到这一递归式;期望同时覆盖策略选动作和环境转移的随机性。这样长程回报不必展开无穷项,可由“下一状态的价值”递推。
示例:若下一步奖励必为 1、必到达价值为 10 的状态,γ=0.9,则当前价值为 1+0.9×10=10。
求最优价值时在可选动作中取最大:q(s,a)=Rs^a+γΣ{s’}P{ss’}^a·max{a’}q(s’,a’),其中 Rs^a 是在 s 做 a 的期望奖励,P{ss’}^a 是转到 s’ 的概率。最大运算应覆盖该动作的全部即时与未来回报,而不能只最大化即时奖励。回报有限等条件仍须满足。
203 · 21.2 逆向强化学习
引出从专家行为反推奖励的逆向学习问题。 先由观测行为提取报酬,再结合强化学习求策略;分类列出最大边际与最大熵两条路径,后文展开,奖励识别的不唯一性需保留。
逆强化学习从示范推断奖励
逆强化学习从观测到的专家行为推断能解释这些选择的奖励函数,再用该奖励求策略。它与直接给定奖励学习行动的方向相反。相同示范可能对应多个奖励,专家行为也未必最优,因此所得奖励是带假设的解释,不能自动当作人的真实目标或保证新环境效果。
原书依据 · 1 处
204 · 21.2.1 最大边际规划
解释逆强化学习的具体奖励拟合原则及其约束。 专家示范及轨迹特征进入线性奖励映射,通过损失边际约束和正则化学习权重;访问频次μ与策略概念区分,松弛变量允许偏差。
最大边际奖励区分专家轨迹
最大边际规划把奖励表示为特征的线性组合:每个状态有特征向量(矩阵 F 收集它们),权重 ω 决定各特征值多少奖励。行为用 μ 表示,即每个状态被访问的频次,于是行为 μ 的总回报是 ωᵀFμ。
学习目标是 min ½‖ω‖²+(γ/n)Σβᵢζᵢ^q,约束为 ωᵀFᵢμᵢ+ζᵢ ≥ max_μ(ωᵀFᵢμ+lᵢᵀμ):
- μᵢ 是专家示范,lᵢᵀμ 是损失,衡量行为 μ 与专家选择不同动作的程度。约束要求专家回报至少比任何其他行为高出它的损失,越不像专家的行为要被拉开越大的差距(边际)。
- ½‖ω‖² 是正则化,限制权重规模;松弛项 ζᵢ≥0 允许示范不能被完全解释,并在目标里受罚,γ、βᵢ、q 控制惩罚的强度与形式。
所得奖励受特征、可行轨迹和损失设计影响,不保证唯一,也不能把示范必然最优当作无条件事实。
原书依据 · 1 处
205 · 21.2.2 基于最大信息熵的逆向强化学习
解释逆强化学习的具体奖励拟合原则及其约束。 先约束模型轨迹特征期望与示范匹配,再最大化熵得到指数型分布;配分函数归一化,示范与模型期望差驱动学习。原式求和与索引简略,不据其逐字实现。
最大熵奖励匹配示范特征
熵 −Σp log p 衡量分布有多“摊开”:所有轨迹等概率时熵最大,偏向某几条轨迹时熵变小。最大熵逆强化学习只加两条约束:
- 模型下轨迹特征的期望 ΣP(ζ)f_ζ 等于示范的平均特征 f̃(f_ζ 是轨迹 ζ 的特征计数);
- 概率总和为 1。
在此前提下选熵最大的分布,即除了示范已体现的特征外,不额外偏好任何轨迹。用拉格朗日乘子求解得 P(ζ)=exp(Σⱼλⱼfⱼ)/Z:特征加权和越大的轨迹越可能,λⱼ 对应奖励参数;Z 是让概率加起来为 1 的配分函数。
学参数时梯度为 f̃−ΣP(ζ|λ)f_ζ:模型对某特征的期望低于示范,就增大其权重,反之减小;梯度为零时恰好满足特征匹配约束。最大熵是约束下的原则,不意味着模型在所有意义上最好,配分函数计算也可能昂贵。
206 · 21.3 基于多尺度 F C N - C R F 网络和强化学习的高分辨 S A R 图像语义分割
连接深度强化学习机制与 SAR分割动态修正案例。 深度网络感知复杂观测并服务策略或价值学习,奖励反馈驱动调整;引出 SAR分割的迭代后处理,不把深度与决策质量直接画等号。
深度强化学习联合感知决策
深度强化学习用神经网络从复杂观测学习表示,并近似策略或价值,再依据交互回报调整参数。它把感知与长期决策结合,但观测表示未必是充分状态,深层网络也不保证更准确或收敛。在 SAR 分割后处理中,可把结果修正作为连续决策,效果仍取决于状态、动作、奖励及评估设计。
207 · 21.3.2 S A R 图像语义分割动态调优策略
连接深度强化学习机制与 SAR分割动态修正案例。 先以 DQN回放和目标网络近似长期价值,再定义类别权重、未知阈值等调优动作,最后用小区域合并修补结果。拒识与填补各有覆盖和小目标损失,需独立评估,不能保证不断提高精度。
DQN回放与目标网络稳定训练
DQN 用网络 Q(s,a|θ) 近似动作价值,即在状态 s 做动作 a 的长期回报。训练目标是 Y=r+γ·max_{a’}Q(s’,a’|θ⁻),损失为 (Y−Q(s,a|θ))² 的期望;目标里用到网络自己对下一状态 s’ 的估计,这叫自举。
两个稳定机制:
- 经验回放:把 (s,a,r,s’) 存入回放池,随机抽小批量学习,减弱连续帧样本彼此高度相关的问题。
- 目标网络:Y 由另一套参数 θ⁻ 计算,θ⁻ 在 N 轮内保持不变,再复制当前参数 θ。否则每次更新 θ 都会同时移动目标,像追自己的影子。
两种机制缓解训练不稳定,却不保证收敛;终止状态的目标应只取 r,不继续累加未来价值。
类别分数权重改变分割偏好
给各类别输出分数乘正权重,可以改变像素最终的类别选择;强化学习可把权重增量作为动作,搜索不同类别偏好。调整的是分类分数权重,并非网络优化器的学习率。步长和权重归一化规则依赖实验设定,不能把某一案例的固定数值直接迁移到其他数据。
拒识阈值权衡错误与覆盖
分割分数低于阈值时可暂判未知,减少低置信预测,但同时降低已分类像素覆盖并可能损失召回。阈值可作为独立动作增减,后续填补再处理未知区域。分数未必是校准概率,阈值大小需按分数尺度验证,拒识也不能保证总体错误率下降。
小区域填补可能抹去真目标
区域填补按连通区域面积筛选小区域,并合并到邻接较多的区域,以消除分割杂点。它利用空间连续性的经验先验,可能同时抹去真实的小目标或细窄结构。案例采用不超过400像素的阈值,迁移时须结合分辨率、类别尺度和独立标注评估,不能把准确率提升当作普遍保证。
208 · 21.3.3 算法实现
核对 SAR调优框架的实现分工及实验支持范围。 DQN读取前端分割输出,训练时由标注准确率比较获得奖励,每次选择一种调优动作;全图推断不再使用反馈,之后合并小区域。算法摘要的缺失步骤不视为完整代码。
分割调优训练与推断分工
SAR 调优框架先用有标注区域的分类准确率构造奖励,训练 DQN 选择权重或阈值动作;推断时对全图无标注反馈地调整,再做区域填补。训练奖励不等于推断时可观测信息,两阶段必须区分。算法图只是流程摘要,缺少状态表示、终止条件等实现细节,不能直接当完整可复现程序。
原书依据 · 1 处
209 · 21.3.4 实验结果
核对 SAR调优框架的实现分工及实验支持范围。 在不足整图5%的区域用标注评分训练,定期换区后测试全图;两表显示整体指标随迭代提高,但水域混淆仍存在。OA/AA不能推出每类接近100%,全图测试与训练区域是否重叠未明,泛化结论保留限制。
后处理收益受前端表征限制
案例中后处理随迭代提高分割指标,但纹理与农田相似的水域仍被误分,显示调权与填补不能恢复前端没有分辨出的信息。表中总体精度 OA(被正确分类的像素占全部评估像素的比例)在 Traustein 上从97.34%到99.57%,Napoli1 从85.99%到93.52%;这些是特定训练与测试设置的结果,未证明跨地区泛化或每类同等获益,仍需独立数据与消融检验。
原书依据 · 1 处
第22章 混合智能算法
混合智能把不同机制放进同一求解系统。本章让PSO、退火或混沌扰动搜索网络参数,自编码层或小波层负责表示,分类损失负责评价。应逐一说明候选怎样生成、哪个准则接受、哪些最好参数被保留,以及何时停止。实验表展示速度、总体精度与逐类精度的不同取舍;其中存在反例,所以不能把某个局部优势概括成所有数据集上全面领先。
210 · 22.1 粒子群深度网络模型及学习算法
引出并具体化粒子群用于深度网络参数训练的方案。 本项复述粒子群协作搜索并提出用于深度网络学习,具体编码及更新由下一项展开;快慢与全局最优主张缺少条件,因此零卡。
本项的取材边界:PSO概念已保留于 ch38-001,应用具体机制由211项保留;本段没有独立且证据充分的新方法。
211 · 22.1.1 P S O 自编码网络
引出并具体化粒子群用于深度网络参数训练的方案。 输入经堆叠自编码隐层形成特征,分类输出由标签损失评价;PSO种群初始化后不断移动参数候选并更新个体/群体最优,损失阈值控制停止。
堆叠自编码特征接分类输出
案例将原始输入经三层隐层的堆叠自编码特征学习,再接按类别设置的输出层,形成五层分类网络。自编码表示学习与最终类别预测承担不同目标;有标签分类损失用于评价整网输出,不能把整个网络都称为无监督。五层是该案例配置,不是自编码网络必须满足的深度。
PSO把网络参数作为候选解
用 PSO 训练网络时,每个粒子的位置 x 就是一整套权重和偏置,以平方损失 L=½‖y−h_{w,b}(x)‖² 评价它(y 为类别标签,h 为网络输出)。每轮按下式更新第 i 个粒子的第 d 维:
v ← ωv + c₁·Rand·(p_i−x) + c₂·Rand·(p_g−x),x ← x+v
ω 是惯性权重,保留旧速度;p_i 是该粒子自己找到过的最好位置,p_g 是全群最好位置;c₁、c₂ 是加速系数,Rand 为随机数。更新后重算损失,若更好就替换 p_i、p_g,直到损失低于阈值 T_min。损失阈值只是停止条件,不能证明动态稳定或全局最优;实践还需最大迭代预算、参数边界和独立验证,避免昂贵搜索与过拟合。
212 · 22.1.2 自适应 P S O 自编码网络
说明PSO网络训练的调度/混合改进及评估条件。 先把相干矩阵系数转成输入,分层学习初始化再对整网监督调整;PSO以线性递减惯性调度更新。评估使用全标签集合包含训练点,独立泛化结论受限。
惯性权重递减调整搜索尺度
PSO 的惯性权重 ω 控制旧速度对新速度的贡献:ω 大,粒子保持原方向冲得远,偏全局探索;ω 小,粒子更多受个体最佳和群体最佳牵引,偏局部调整。案例用 ω=ω_max−(ω_max−ω_min)×k_n/k_max,k_n 为当前迭代次数、k_max 为最大迭代次数。
示例(假设 ω_max=0.9、ω_min=0.4、k_max=100):第 0 代 ω=0.9,第 50 代 0.65,第 100 代 0.4,权重从上界线性降至下界。它是按预设时间表调参,并非根据适应度反馈自适应;权重变小也不保证逃离局部最优或更快收敛。
全标注测试可能混入训练点
案例从有标签 SAR 数据抽取3%训练,却用所有有标签数据测试,因此测试集合包含训练点,不能视为独立泛化评估。总体与逐类正确率、训练时间仍可描述该实验,但比较方法时应说明重叠,并另保留未参与训练及调参的数据;空间邻近像素还可能使随机划分偏乐观。
联系前文或后续机制,可继续阅读:堆叠自编码特征接分类输出。
213 · 22.1.3 模拟退火 P S O 算法自编码网络
说明PSO网络训练的调度/混合改进及评估条件。 网络及训练数据沿用前项,在粒子更新与适应度评价之后按能量和温度决定是否接受状态变化,试图缓解局部停滞;冷却与混沌细节缺失,不能直接复现。
退火接受劣解辅助PSO搜索
混合训练在 PSO 更新和适应度评价后加入退火接受规则。记旧状态能量 E(i)、新状态能量 E(j)(能量越低越好):
- E(j)≤E(i):新状态不差,直接接受。
- E(j)>E(i):以概率 p=e^{(E(i)−E(j))/(KT)} 接受,K 为玻尔兹曼常数,T 为当前温度。
示例(假设能量变差 1、把 KT 合看作一个数):KT=1 时 p=e⁻¹≈0.37;KT=0.2 时 p=e⁻⁵≈0.007。能量变差越多、温度越低,越难接受劣解。保留暂时变差的机会,是为了跳出局部最优去探索其他区域。温度降低通常减少劣解接受,但冷却、扰动和能量定义仍须明确;原文流程没有给全这些细节,不能据此保证全局最优或完整复现。
联系前文或后续机制,可继续阅读:全标注测试可能混入训练点。
214 · 22.1.4 实验与分析
评价优化器差异并引出下一类混合学习方案。 两年份数据比较三种优化器的时间、逐类和总体正确率,显示自适应训练快但1989精度下降;1991总体接近且小麦未受益。图像外观与定量表交叉核验,训练测试重叠限制泛化。
优化器比较须看逐类代价
PSO网络案例中,自适应方法训练较快,却未在所有类别或数据集上更准:1989数据总体正确率为77.99%,低于基本PSO的86.82%;1991数据总体差距很小,且小麦类仍下降。优化器应联合比较逐类误差、训练成本及重复试验,而不能凭最快训练或少数复杂区域表现认定全面更优。
联系前文或后续机制,可继续阅读:全标注测试可能混入训练点。
215 · 22.2 混沌模拟退火深度网络模型及学习算法
评价优化器差异并引出下一类混合学习方案。 本项以局部停滞和退火较慢引出混沌混合动机,没有给出新映射或更新细节;已知退火概念复用,快速全局寻优仍待具体算法和证据。
本项的取材边界:退火机制已有卡,混沌只作动机且没有展开,具体方法由后项保留。
216 · 22.2.1 混沌模拟退火深度网络学习算法
说明混沌退火搜索如何用于网络训练,并核对其实现边界。 从确定映射的似随机和初值敏感引出候选遍历,再把粗搜索、退火接受与缩步长结合。Logistic参数、降温和候选映射缺失,不能直接实现或保证终止。
混沌搜索由确定映射生成扰动
混沌搜索用确定的非线性映射产生对初值敏感、外观似随机的序列,再把序列映射到候选解空间并评价适应度。
演示:常用的 Logistic 映射 x←4x(1−x),取 x₀=0.2 与 0.2001。前 6 步两条序列几乎重合(0.64⁄0.6402,0.9216⁄0.9213…);到第 12 步已分别为 0.9999 与 0.7533,完全分开。规则完全确定,微小初值差却被不断放大,所以确定性与长期难预测可以并存。
“遍历性”指序列能在区间内到处走到,用于让搜索覆盖解空间。但遍历性质依赖映射、参数和区域,有限精度计算还会产生周期,因此不能据“混沌”断言不重复遍历所有状态或必然找到全局最优。
混沌退火分工需明确更新规则
混合训练先借混沌扰动探索候选参数区域,再用退火接受规则保留部分劣解,并在损失达到条件后缩小搜索步长。真正复现还需要 Logistic 参数、候选参数映射、降温日程和能量定义。原文只列概括循环,温度虽作停止条件却未明示如何下降,不能把该摘要直接当作保证终止的实现。
217 · 22.2.2 混沌模拟退火自编码网络
说明混沌退火搜索如何用于网络训练,并核对其实现边界。 同一三隐层自编码分类网络采用混沌退火进行逐层初始化与整网标签调整,评估沿用3%训练和全标签测试。没有新增映射与降温细节,复用已保留机制和限制。
本项的取材边界:网络结构、混合更新、微调与评估均已在指定卡中保留;本项无新的实质机制。
218 · 22.2.3 混沌模拟退火深度小波网络
核验小波网络设计及其跨数据实验支持范围。 输入经Morlet尺度表示后由两层自编码器抽象,再分类;混沌退火沿用已有机制。能量聚合、映射参数和冷却未完整定义,既有评估重叠限制仍适用。
小波特征为网络提供尺度先验
案例先用 Morlet 小波变换提取尺度相关表示,再接两层自编码特征抽象及分类输出,并用混沌退火学习参数。小波层引入预设的局部频率结构,收益需通过移除该层的对照验证。原式给出小波函数而未完整定义“能量”聚合,不能把函数值直接当能量,也未给足复现参数。
219 · 22.2.4 实验与分析
核验小波网络设计及其跨数据实验支持范围。 SAR及三个UCI数据集的表格分别比较精度和时间;Waveform不支持全部优于SVM,Image小波不优于自编码,成本亦有权衡。实验未提供重复方差和消融,不能归因于小波或混沌本身。
性能概括必须逐表核对
本节结论称两个深度网络都优于 LibSVM,但 Waveform 表中 LibSVM 总体正确率87.16%,高于自编码86.76%与小波86.16%。Image 表中小波92.43%也低于自编码93.00%,且训练耗时远高于 LibSVM。算法优势应限定到数据集、指标和成本,不能用少数成功或整体叙述替代反例。
原书依据 · 1 处
跨章综合
先建模,再搜索。 排课、弧路由和频谱分配都要求先识别硬约束:不能同时考试、不能超载、互相干扰的节点不能共用频段。适应度只是对模型的评价接口,评分更高不能弥补模型遗漏;搜索“收敛”也可能只是稳定优化了错误指标。
搜索记忆服务于不同层次。 PSO的个体最优与群体最优保存候选位置,蚁群的信息素保存路径经验,免疫记忆池保存较优个体,禁忌表保存暂时禁止的移动。这些记忆分别影响候选生成、选择或限制,不能互换术语。保护已有成果与保留探索空间之间的张力贯穿这些方法。
多峰、多目标与动态环境是三类不同困难。 多峰是在同一个目标上有多个极值,多目标是多个指标之间存在权衡,动态环境是目标或约束随时间变化。多保留几个解不自动解决多目标偏好,建立Pareto前沿也不保证能跟踪变化;应先确认困难来自哪一种问题结构。
混合算法需要可检查的接口。 Memetic用局部搜索改进种群候选,PSO网络把权重编码为粒子,DQN分割调优把类别权重或拒识阈值变为动作。接口分别是候选解、网络参数和后处理决策。只有每个操作实际影响下一步,组合才有明确机制;附加算法名称与额外计算量不能作为互补效果的证据。
最优性、可行性与实验优胜要分开。 一个零冲突方案证明当前约束满足,一次最好得分描述有限预算下找到的候选,某表中更高准确率描述特定数据与划分。A*或贪心若要主张最优,需要各自的理论条件;随机搜索若要主张改进,需要公平预算与重复试验。尤其不能忽略训练测试重叠、失败函数和落后的类别。
发散与实践:读者延伸
以下是依据书中问题形成的学习计划,均未完成训练、代码复现或现实系统试验。优先从“逐表核验算法优势主张”开始:它直接检验本书最后一章概括是否覆盖反例;随后比较SGD、牛顿法、AdaGrad与RMSProp,明确更新信息、额外状态和失败条件。
两张实践卡保留原计划,本次补充了书内首轮材料:三组UCI实验的总体精度、时间与反例台账,以及四类优化器的机制比较表。已填写的材料只证明进行了材料核对,不表示算法已经复现或结论经过独立数据验证。
逐表核验算法优势主张(文件:ideas/idea-001-逐表核验算法优势主张.md)。
比较四类优化器的选择条件(文件:ideas/idea-002-比较四类优化器的选择条件.md)。
首轮书内证据与优化器比较(文件:ideas/first-round-evidence.md)。