来源书籍

人工智能算法(卷2):受大自然启发的算法

Skill 版本:v24 经典原理(高信息浓度 + 高稳定性) 102 张卡片

[美]杰弗瑞·希顿(Jeffery Heaton) · 王海鹏 译 · 人民邮电出版社 · ISBN 9787115544315

全书导读

本书用有限候选解、计分函数与更新规则解释自然启发算法。遗传算法和遗传编程通过繁殖更新种群,粒子群与蚁群通过共享经验改进搜索,细胞自动机与人工生命展示局部规则的演化后果。最后用建模案例检查搜索结果是否能够泛化。自然是设计灵感,并不要求复制真实生物过程。

全书主线

先定义怎样表示一个解、怎样比较优劣,再选择生成与保留候选的机制。表示与约束决定算子是否合法,经验共享决定搜索如何利用已有信息,而独立验证决定找到的高分是否真正有意义。各算法不是固定先后步骤,而是共享若干建模问题的不同方案。

内容提要

自然启发算法的学习范围

这是一部优化与模拟算法入门书。基因启发候选解的繁殖,鸟群和蚁群启发经验共享,细胞与植物则展示局部规则的后果。它们处理的对象和更新方式不同,不能仅凭同属自然启发就互换。内容提要只给出范围,具体机制在后续章节解释。

序 / FOREWORD

用可观察的实现学习算法

序言主张把理论放到可阅读、可修改的程序中学习。伪代码让读者先认识算法,再选择熟悉的编程语言观察状态变化。这是学习路线的说明,并不证明任何历史示例在今天都能直接运行。Encog应用与作者经历作为写作背景保留,不据此推断医学或交易效果。

引言 / INTRODUCTION

从自然隐喻转到可计算对象

自然启发算法借用合作、竞争和繁殖这些机制,却不追求复制生物。设计时先把问题写成可操作对象:一个样本可以是数值向量,一个候选模型也可以是一组参数。数组只有一条下标轴,与搜索空间有多少个特征坐标是两件事。

鸢尾花例子有四个数值输入和一个类别标签。分类器要依据新样本的四项测量预测类别,而不只是记住已知记录。类别不是连续数值大小,直接编码成1、2、3可能引入不需要的顺序和距离;独热编码可用互不相同的单位向量表示类别。引言后半将用距离和RBF说明向量如何进入模型。

自然启发不等于仿生:进一步说明这一机制及其适用边界。

向量长度不同于数组维数:进一步说明这一机制及其适用边界。

类别编码要避免虚假距离:进一步说明这一机制及其适用边界。

分类要预测未知样本:进一步说明这一机制及其适用边界。

原书依据 · 4 处

距离、径向基函数与可训练模型

欧氏距离先逐坐标求差、平方求和,再开平方;它要求两个向量的分量对应且长度相同。距离对起点终点交换不变,但不同单位或量纲会影响比较,应先清楚分量的含义。

径向基函数把输入与中心之间的距离变成一个数。书中高斯形式为φ®=exp(−r²),越靠近中心响应越大,中心处为1;这是一种响应函数,不能仅因曲线像钟形就把输出当概率。多个响应加权相加并加入偏置,构成RBF网络。分类可设多个输出并取最大项,回归则输出预测数值。

网络训练调整的并非原始样本,而是输入系数、输出系数、中心及放缩范围等参数。把这些参数拼成固定长度的“长期记忆向量”,就能让遗传算法或粒子群等优化器搜索它;不同优化器共享同一模型与误差评价,便于比较更新机制。

欧氏距离逐维累计:进一步说明这一机制及其适用边界。

径向响应依赖中心距离:进一步说明这一机制及其适用边界。

RBF网络汇合局部响应:进一步说明这一机制及其适用边界。

参数向量承载模型记忆:进一步说明这一机制及其适用边界。

原书依据 · 4 处

种群、计分和选择

候选种群、计分与选择的职责

种群是当前保留的一组候选解,并非整个解空间。固定规模意味着新个体进入时要安排替换;随机初始化提供起点,不能保证起点优良。竞争算法用亲本产生后代,合作算法让个体共享经验并调整状态,这是本书用于组织算法的分类,不是自然界或全部优化算法必须互斥的定律。

基因型指编码,表型指编码表现出的实际解;两者可以直接对应,也可以经过复杂的生长或解码。岛屿模型进一步让若干子种群相对独立搜索,偶尔迁移候选,减少全局同步和单一路线过早占优。

计分函数把候选质量变成可比较数字,必须明确追求最大还是最小。分数可缓存,但解改变就要重算。评价往往比选择更昂贵,因为一个模型要遍历许多样本。选择只决定谁参与繁殖或被替换;它并不自己生成新解。下一单元将比较选择的集中信息需求与并行性。

种群即解空间:进一步说明这一机制及其适用边界。

竞争合作分野:进一步说明这一机制及其适用边界。

编码与表现可以分离:进一步说明这一机制及其适用边界。

岛屿种群隔离搜索:进一步说明这一机制及其适用边界。

计分缓存随解更新:进一步说明这一机制及其适用边界。

模型评价常是搜索瓶颈:进一步说明这一机制及其适用边界。

选择分配候选影响力:进一步说明这一机制及其适用边界。

原书依据 · 7 处

局部比较、并行更新与选择压力

截断选择先按分数排序,只从指定前段均匀抽亲本。排序和维护全局顺序限制并行性,而且高分亲本不保证后代更好,因此需要另想办法保存最佳结果。联赛选择改为只比较随机抽到的少数候选,减少对全局排序的依赖。轮数越多,平均选出分数通常越高,也更容易排挤低分路线;书中1000个体、轮数5只是示例经验。

并行演化示例把选亲本和替换个体留在短临界区,把创建与计分放在锁外,使线程可并行执行昂贵工作。它是结构示意:共享最优记录仍需一致更新,不能视作已经验证的完整并发实现。原文声称反向联赛永不淘汰最优者,但有放回抽样可能反复抽到同一最优者;若依赖最优不退,仍应明确精英或独立历史最优保护。

截断选择依赖全局排序:进一步说明这一机制及其适用边界。

联赛选择伸缩:进一步说明这一机制及其适用边界。

并行进化缩短临界区:进一步说明这一机制及其适用边界。

反转选择仍需最优保护:进一步说明这一机制及其适用边界。

轮数控制选择压力:进一步说明这一机制及其适用边界。

原书依据 · 5 处

按权重抽样与保留多样性

轮盘选择把非负适应度归一化为权重区间,随机点落在哪段就选谁。高分候选占更长区间,但只要有正权重,低分候选也可能被选中。权重必须适合这种解释:总和需为正,损失越小越好或存在负分时不能直接照抄比例公式。

随机遍历抽样SUS一次选择N个候选:总权重为f,指针间距p=f/N,从[0,p)选一个随机起点,再沿累计权重轴等距取点。同一个候选可被多个点命中。它减少重复独立抽样带来的分配波动,但仍需总体权重信息。原书示例伪代码在扫描时写成直接比较单个score,与累计区间的图意不一致;理解与实现应以累计权重区间为准。排序并不是等距指针定义的必要条件,原文后段也允许禁用排序。

轮盘按归一权重抽样:进一步说明这一机制及其适用边界。

SUS等距指针批量抽样:进一步说明这一机制及其适用边界。

原书依据 · 2 处

交叉和突变

编码约束决定繁殖方式

竞争种群生成后代之前,应先规定一个解怎样编码。固定长度数值数组、城市排列和可变长度表达式树,各有不同的合法性要求。浮点扰动适合数值,交换位置适合排列;把某个算子照搬到另一编码,可能产生重复、缺项或类型错误。

普通拼接在两个亲本中选一段互换,外段保留,得到携带双方片段的孩子。若数组表示“每个城市恰好一次”,拼接可能引入重复城市并漏掉其他城市;后续必须用无重复策略保全排列。书中给出的种群1000、精英3以及交叉80%/突变20%是一套示例配置,在该配置中两类新生方式按比例分配,不能视为所有遗传算法的唯一约定。

编码决定算子:进一步说明这一机制及其适用边界。

拼接交叉交换连续片段:进一步说明这一机制及其适用边界。

原书依据 · 2 处

保全排列与引入新变化

无重复拼接先保留交换中段并记录已用元素,再按原亲本顺序找尚未使用的元素填外段。这样既保持一部分相对结构,也保全元素集合。书中清单2-2混用了used与used1/used2,并重复返回offspring1,不能直接照抄;这里依据文字、例子和追踪集合的机制解释。

交叉组合已有特征,突变则复制一个亲本后做随机改变。改组突变交换两个不同位置,适合排列且不改变元素多重集合;多次交换可能抵消,是否防止抵消要比较额外复杂度。扰动突变为数值加噪声,不适合把类别编号当连续量处理。不同长度和混合编码也能演化,但需匹配的对齐或专用算子,不能假定固定数组代码通用。

无重复拼接追踪已用元素:进一步说明这一机制及其适用边界。

交叉重组旧特征:进一步说明这一机制及其适用边界。

改组突变保留元素集合:进一步说明这一机制及其适用边界。

扰动突变按数值缩放:进一步说明这一机制及其适用边界。

变长模型以创新表对齐:进一步说明这一机制及其适用边界。

原书依据 · 5 处

扰动尺度与精英保护

相对扰动的教学例中,x=10、a=0.5会产生[5,15]范围的候选值。原书还提到按正态噪声、按概率选分量或只改一个分量的变体,它们改变探索尺度和覆盖方式。具体幅度应依据参数语义选择,不存在“值越小就越优”的普遍关系。

精英机制直接把少量最佳候选复制到下一代,不再经过随机算子。在计分条件不变且复制结果确实保留时,至少能保住先前最佳分数。精英保护的是已有结果,不创造更好解,也不证明全局最优。至此,第1章决定谁有影响力,第2章规定如何产生与保留候选,第3章将把两者装进完整遗传算法。

精英防止倒退:进一步说明这一机制及其适用边界。

原书依据 · 1 处

遗传算法

把遗传算法落到排列与目标函数

本书把遗传算法定义为用选择、交叉和突变优化固定长度向量的方法。向量可以装城市顺序,也可以装模型权重;“离散/连续”在这里描述被搜索的解,不由最终预测是否分类决定。

旅行商例子把路径写成城市排列,用总路程计分并最小化。若要求固定家乡为起终点,可以不把它放进可变基因组,而由计分函数加上首尾两段。成本可能有方向或随日期改变,换一个业务规则就要重新检查目标。允许重复却不奖励必要访问时,优化器可能反复选择同一低成本城市,这是目标没有完整表达任务的结果。

候选顺序的枚举随城市数快速增长;遗传搜索的合理结果是预算内找到较好可行解,不是全局最优证明。书中对NP困难的非正式表述不作严格定义使用,也不以“超过10城市”作为复杂度分类界线。动态规划的另一条路线是分解并复用子问题,以减少重复计算;这里未展开其具体状态与转移。

定长向量之力:进一步说明这一机制及其适用边界。

计分定义问题:进一步说明这一机制及其适用边界。

好解不是最优解:进一步说明这一机制及其适用边界。

原书依据 · 3 处

训练规则、模型结构与参数分层

同一个RBF模型可以由GA、PSO或ACO训练,模型负责从输入计算输出,训练算法负责改变参数。种群数和算子选择属于训练设置;RBF个数决定结构,是本示例训练前确定的超参数;权重、中心等参数在训练中变化。更换训练算法不自动选好模型结构。

结构太小可能表达不足,结构过大则更难训练,也可能过拟合。对不同RBF数量分别训练并比较,是外层结构搜索;其评价也应避免只看已用于训练的数据,后文会用交叉验证进一步说明。书中路径长度和RBF输出仅是所示运行的记录,本轮未复现,不能当作性能承诺。标签云将在下一单元以词的位置和方向说明另一种向量编码。

训练配置模型结构分层:进一步说明这一机制及其适用边界。

模型容量并非越大越好:进一步说明这一机制及其适用边界。

原书依据 · 2 处

布局与马赛克中的目标设计

标签云先用词频决定字大小,再把每词的x、y和方向合成布局向量。原书把空白像素与加权重叠像素合成损失,表达紧凑和可读的取舍;有限惩罚权重不自动等于绝不重叠,需检查结果。

马赛克则把每个网格格子的小图像编号作为一个分量。64×64网格需要4096个选择位置,但不意味着存储量必为4096字节。目标是比较组合图与目标图的差异,允许的图块决定可表达的结果。两个案例都说明:不是先选GA再随意套用,而是先确定可变对象、合法表示和评价方式。

布局损失权衡空白重叠:进一步说明这一机制及其适用边界。

马赛克把图块选择编码:进一步说明这一机制及其适用边界。

原书依据 · 2 处

遗传编程

表达式的结构与求值

遗传编程把候选解从固定数组扩展为表达式结构。以3+5×2为例,乘法先得到10,加法最后得到13;树将加法放在根,乘法成为子树,结构本身固定了求值依赖。嵌套函数和LISP前缀表示也把操作与参数明确配对。

后缀表达式把操作符放在参数之后,用栈从左到右求值。树表示则递归地先求子树,再调用本节点操作。常量与变量是零子节点的终端,函数节点的子节点数由元数决定。书中的一元与二元操作只是示例操作集合。

常量池决定可直接引用的常量,却不把所有可计算值限定在池中:通过运算可组合出新常数。需要特别注意,原书公式4-1图片与所列代码对减1的位置存在差异,不能把它们当成同一个表达式的严格一致表示;本节机制解释采用明确结构的例子。

程序也能成树:进一步说明这一机制及其适用边界。

后缀表达式用栈求值:进一步说明这一机制及其适用边界。

节点类型定结构:进一步说明这一机制及其适用边界。

常量池限表达:进一步说明这一机制及其适用边界。

递归求值先算子树:进一步说明这一机制及其适用边界。

前缀调用明确参数结构:进一步说明这一机制及其适用边界。

原书依据 · 6 处

初始化控制树形分布

初始化不是随意拼出任意节点,而是依据节点元数补全子节点。满树方法在深度预算用尽前只选函数节点,末层选终端;生长方法在未到最大深度时也可选终端,因此树可更早结束。书中生长算法的递归行误写full_node,若照抄会改变所说的递归生长策略。

混合初始化在一段深度范围中取值,再以约一半概率选择满树或生长树,以增加初始形状与大小差异。初始最大深度只约束初始生成,不自动限制后续交叉与突变;若需要演化过程的规模上限,应另行检查生成结果或评价规则。

满树与生长树形不同:进一步说明这一机制及其适用边界。

混合初始化扩大树形差异:进一步说明这一机制及其适用边界。

初始深度不是演化上限:进一步说明这一机制及其适用边界。

原书依据 · 3 处

随机选节点与子树变更

树大小未知时,可以先遍历计数再按随机索引再走一次,也可以用蓄水池一次完成选择。到第k个节点时以1/k概率替换当前候选,结束后每个节点获选概率均为1/N。实现这种概率应使用离散均匀整数或直接概率判断,不能把连续随机数等于0当作有正概率事件。

树突变先复制亲本,在随机节点处替换新随机子树;树交叉则把另一亲本的子树副本嫁接进孩子。二者均保留亲本,变化的是新候选。符号回归随后利用这些算子搜索“能计算输出的表达式”,而非只优化固定网络权重。表达式可检查,不等于任意复杂表达式都容易理解。

先序遍历统计树节点:进一步说明这一机制及其适用边界。

蓄水池一次均匀选节点:进一步说明这一机制及其适用边界。

树突变替换随机子树:进一步说明这一机制及其适用边界。

树交叉复制移植分支:进一步说明这一机制及其适用边界。

原书依据 · 4 处

符号回归、规模惩罚与后置简化

符号回归直接搜索把输入变成数值输出的表达式。相较只给预测的固定模型,表达式可供人检查运算关系,但不保证简洁、因果正确或训练范围外可靠。原书拟合示例仍有约8.5的误差,并说明不同运行可能停在不同结果,本轮没有重现实测。

搜索用局部子树替换改进拟合,未必走得到代数最简形式,因为中间步骤可能暂时恶化误差。原书建议在找到结果后再用计算机代数系统化简;过早缩小结构也会改变后续可变异的位置。限制规模可通过评价惩罚实现,但应明确限制节点数还是深度,不能把原文混用的“深度50/长度50”直接视作同一个量。

符号回归搜索表达式:进一步说明这一机制及其适用边界。

规模惩罚需明确计量:进一步说明这一机制及其适用边界。

代数简化改变搜索邻域:进一步说明这一机制及其适用边界。

原书依据 · 3 处

物种形成

兼容分组与相似性方向

物种形成按相似性分组,只让同组候选交叉,以减少结构差异过大造成的无效后代。这是搜索的兼容性策略,不应把生物类比当作严格的真实物种定义。

阈值方法依距离决定归组:距离低于阈值可加入,物种太多就提高阈值、放宽相似要求,太少则降低阈值。它追踪目标数量,不保证恰好达到目标。聚类方法则给定K,在能形成K个非空组的条件下按K组处理;每组人数仍可差别很大。K均值需要可定义的均值质心,K中心点使用真实成员作代表,更适合只有相异度而难求平均的结构。

数组欧氏距离越小越相似,书中的树匹配率却是匹配节点数除以较大树节点数,越大越相似。若复用距离阈值,应先转换成相异度或反向比较。后代名额也不能直接用任何raw score作比例:最小化误差与最大化适应度方向相反,必须统一含义。

物种限制交叉:进一步说明这一机制及其适用边界。

阈值调物种:进一步说明这一机制及其适用边界。

质心不是万能:进一步说明这一机制及其适用边界。

指定簇数不等于均分:进一步说明这一机制及其适用边界。

树匹配率不同于距离:进一步说明这一机制及其适用边界。

后代配额先统一适应度:进一步说明这一机制及其适用边界。

原书依据 · 6 处

目标物种数与一次运行的差别

这次运行的物种数经历大幅波动,即使目标是30,也不能从设置值推断每代都接近30。原书用250代内到达给定误差作示例,但没有统一预算的多次对照,本轮也未复现,因此不能把它写成普遍加速比例。其教学作用是展示:分组要随种群变化重算,而评价指标、阈值与后代分配共同影响结果。

粒子群优化

群聚规则与参数空间运动

Boids群聚模型用三条局部规则组合行为:分离避免邻近拥挤,看齐趋向邻居平均朝向,内聚趋向邻居平均位置。权重影响整体模式,任意权重组合不保证形成群聚。这是受控模拟,不能由其复杂图案推导真实宇宙定律。

PSO把候选参数向量视作一个位置,一维对应一个待调参数。每个粒子保存当前坐标、速度以及曾达到的最好位置,系统另存全局最好位置。历史记忆使当前状态即使暂时变差,也不丢掉已发现的好结果。

书中逐维更新v′=v+c1·r1·(pbest−x)+c2·r2·(gbest−x),再令x′=x+v′。三个部分分别延续当前运动、朝个体经验靠近、朝群体经验靠近。这个版本没有另写惯性权重;c1、c2设2是案例配置,不是普遍最优。

简单规则涌现:进一步说明这一机制及其适用边界。

高维飞行搜索:进一步说明这一机制及其适用边界。

双重最优记忆:进一步说明这一机制及其适用边界。

PSO速度合成经验方向:进一步说明这一机制及其适用边界。

原书依据 · 4 处

用一致的得分方向维护历史最好

PSO循环先评价当前位置,再按目标方向更新pbest与gbest,随后改变速度和位置;历史向量需复制。初始化中“尚无最佳”的状态也应有与目标方向一致的比较基准。

原书清单按最大化写比较和停止条件,RBF案例却描述最小化误差。应用时应统一计分定义、比较符和停止判断;同时核对best_score初始化以及param/parms等笔误。59次迭代达到给定误差只说明该次设置下的运行结果,不能直接证明PSO普遍优于GA或物种形成。

优化方向贯穿更新停止:进一步说明这一机制及其适用边界。

原书依据 · 1 处

蚁群优化

离散蚁群的共享经验与路径构造

离散ACO中的候选是路径,公共信息素矩阵记录边的吸引力,每只蚂蚁另存自己的已访问列表。对TSP,下一步只能从尚未访问城市选择;去固定目标的其他任务则要重新定义终止和可行动作,不能照搬“访问所有节点”。

移动权重由信息素τ的α次方与边价值η的β次方相乘,再除以全部允许下一步的权重和。α偏向历史经验,β偏向当下启发价值;以一定概率随机选择可继续探索。η若用倒数成本表达,就须在分子分母保持一致。路径强化是正反馈,挥发抑制初期偶然选择长期垄断,但不保证找到全局最短路径。

信息素的平衡:进一步说明这一机制及其适用边界。

离散ACO分开保存边与路径:进一步说明这一机制及其适用边界。

ACO移动归一经验与价值:进一步说明这一机制及其适用边界。

原书依据 · 3 处

信息素衰减与边沉积

路径完成后,信息素先整体衰减,再把各蚂蚁贡献加到实际走过的边上。原书公式与代码以乘系数的方式保留旧信息素,所以这里把ρ称为“保留率”:不计新沉积时,1经过ρ=0.5两轮成为0.5和0.25。若另一个实现用ρ表示挥发掉的比例,则应乘1−ρ,不能混用参数方向。

对于正长度TSP路径,书中每条被使用边得到Q/L的贡献,未使用边为0;成本越小,贡献越大。闭环是否含回到起点的边,应与路径目标一致。原书伪代码有成本/指数、已访判断和目的边下标差异,不能作为已验证实现;特别是目的节点应来自实际路径,而不是循环序号。

挥发参数先辨保留率:进一步说明这一机制及其适用边界。

信息素沉积跟随实际边:进一步说明这一机制及其适用边界。

原书依据 · 2 处

用高斯混合更新连续候选

连续ACO中,一个候选是参数向量,不是逐节点的离散路径。先根据候选质量选择“模型蚂蚁”,再围绕它的坐标抽样新位置。单个高斯只有一个峰,多分量混合能表示多个候选区域;真正抽样时应把权重归一化,再选择一个分量。概率密度曲线的高度不是某个精确点被抽中的概率,区间概率要看面积。

书中用模型坐标与其他候选坐标的平均绝对差,再乘尺度系数,作为高斯宽度。它不是统计学的样本标准差。公式图片漏掉绝对值,而伪代码使用abs;这里按非负采样尺度解释,并保留最小宽度以免完全停止探索。原书选择模型返回值及参数下标也有笔误,须验证后才能运行。

GA、PSO和连续ACO可以搜索同一RBF参数,差别主要在候选更新机制。原书用鸢尾花的一次结果展示它们,但明确不能推广成所有数据集的效率排名;本轮也没有把日志当作实测复现。

离散连续两用:进一步说明这一机制及其适用边界。

高斯混合表达多个区域:进一步说明这一机制及其适用边界。

高斯核采样:进一步说明这一机制及其适用边界。

采样宽度不是样本标准差:进一步说明这一机制及其适用边界。

算法比较需统一评估条件:进一步说明这一机制及其适用边界。

原书依据 · 5 处

细胞自动机

确定性局部规则与重复图案

细胞自动机在离散位置保存状态,并用邻域规则计算下一时刻状态。ECA的空间是一行二值细胞,图上的下一行代表下一时刻;每次看左、中、右三位,共8种输入,因此用8个输出位定义一条规则,共有256种。规则30的位串00011110按111到000排列,不可任意交换顺序。边缘缺邻居时本例补0,边界约定也是规则的一部分。

生命游戏则在二维空间统计周围活邻居:活细胞邻居数2或3时保留,否则死亡;死细胞恰好3个活邻居时出生。这些规则依据同一时刻状态计算下一时刻。它们产生的“稳定”不只一种:静物不变、振荡器周期回到原位、飞船周期后形状复现但位置移动。原书以“收敛”概括部分现象时,须区分是否允许平移。

局部规则成图案:进一步说明这一机制及其适用边界。

ECA用八位定义局部规则:进一步说明这一机制及其适用边界。

生命游戏以邻居数更新:进一步说明这一机制及其适用边界。

稳定也会运动:进一步说明这一机制及其适用边界。

稀疏网格只存活跃细胞:进一步说明这一机制及其适用边界。

玛士撒拉经历长暂态:进一步说明这一机制及其适用边界。

原书依据 · 6 处

人类评价与彩色局部动力学

合并物理学让一个基因组编码整套彩色自动机规则,而不是编码单个细胞。细胞状态是RGB三个分量,16个可演化常数组成8组“阈值+比例”。每帧由邻居颜色计算标量,再选目标关键色,将当前RGB朝目标插值。比例值x由[−1,1]映为p=(x+1)/2,更新为c′=c+p(k−c)。

“有趣”难写成自动分数,于是用户选择喜欢的动态宇宙,让程序繁殖和变异其规则。这里人工评价的是审美偏好,不证明哪个规则客观更好。边界平均也须说清:忽略缺失邻居并减少分母,与用0补齐再保留原分母通常不相等,原书称二者等价的说法不能照用。

人类充当适应度:进一步说明这一机制及其适用边界。

颜色规则向关键色插值:进一步说明这一机制及其适用边界。

边界补零不同于忽略:进一步说明这一机制及其适用边界。

原书依据 · 3 处

人工生命

先定义状态和资源世界

人工植物项目分阶段构造可演化对象。先定义网格细胞的能量、营养和叶含量,再按叶含量在茎褐与叶绿之间插值;死亡细胞显示背景,地下部分用根色。这一层只负责表示状态,不等于植物已经具有合理生长机制。

第二层模拟资源:阳光自上向下、水自下向上传播,活细胞吸收并影响后续区域;能量和营养还需经活细胞传输。DNA只能在这个世界的允许条件中决定发育。这里的“物理”是作者构造的模拟规则,不是真实植物生理定律;原书衰减系数的示例结果按其约定理解,不能直接用于生物计算。

物理约束生命:进一步说明这一机制及其适用边界。

渐变查表映射连续状态:进一步说明这一机制及其适用边界。

原书依据 · 2 处

DNA决策、资源支持与形态计分

资源输送把直接光照或水源与活邻居资源结合:能量向下、营养向上,从相邻活细胞取可获得的最大值;低营养细胞死亡。这样茎虽不直接增加绿度得分,也可能因输送资源而必要。

DNA由四个4维参考向量组成,比较细胞的高度、光或水、拥挤度、营养等局部状态,决定茎叶倾向和可生长位置。它编码行为策略,而非最终植物图像。根营养和除以叶含量和形成根叶比,按阈值限制地下或地上生长;实现仍需定义零分母和恰等阈值的情形。

最后每个DNA候选先模拟100周期,再评价活细胞平均贡献:根记0.5,地上细胞记叶含量。这个评价偏好特定形态,并不代表真实生存能力或最大体积;换计分会改变选择压力。

资源输送支撑枝干:进一步说明这一机制及其适用边界。

DNA是生长策略:进一步说明这一机制及其适用边界。

根叶比约束生长方向:进一步说明这一机制及其适用边界。

计分塑造形态:进一步说明这一机制及其适用边界。

原书依据 · 4 处

建模

数据科学能力与不可靠的高分

数据科学在此被视为编程、统计推理和领域理解的交集。编程让数据可处理,统计让结论可评价,领域知识帮助识别字段和目标是否有意义。它是一种学习框架,不是对每个岗位能力的唯一正式定义。

带结果的训练数据可用于学习;没有公开结果的测试数据用于生成预测并由外部评价。排行榜高分可能来自泄露或记忆历史答案,不能只凭分数断言方法能泛化,也不能把0.85当作识别作弊的通用阈值。原书竞赛规则、等级与排名均按出版时点记录。

整理数据时应区分连续数值、无序类别和有序类别。缺失票价可考虑按舱等统计而非统一均值补齐,但效果仍需验证;从数据学到的补值规则应限定在训练范围内,避免评价数据影响处理。

数据科学三角:进一步说明这一机制及其适用边界。

排行榜会误导:进一步说明这一机制及其适用边界。

补值规则要匹配分组:进一步说明这一机制及其适用边界。

原书依据 · 3 处

特征工程与独立验证

姓名中的称谓可以成为年龄、社会身份等信息的代理变量,但它们与生存率的相关不证明称谓造成结果。示例把数值缩放到统一区间,无序港口用多列表示,舱等按有序属性处理。表示应贴合语义,而不是把任何文字都强行排成大小。

反复提高训练分数可能只是记住样本,因此需要在未用于参数更新的数据上评价。早停观察验证分数,连续一定轮次无改进就停止;验证不是训练误差的另一个名称。书中五折方法每次用四段训练、一段验证,轮换后汇总五个得分。这改善对特定划分的依赖,但验证结果如果反复用于决策,也不能当作永远未触碰的最终测试。

文本藏着特征:进一步说明这一机制及其适用边界。

特征表示遵循变量语义:进一步说明这一机制及其适用边界。

过拟合记忆而非泛化:进一步说明这一机制及其适用边界。

验证早停限制无效搜索:进一步说明这一机制及其适用边界。

交叉验证防幻觉:进一步说明这一机制及其适用边界。

原书依据 · 5 处

验证成绩是估计而非承诺

五折日志显示不同验证段表现并不相同,平均约0.807只是该流程的估计,实际提交约0.785。二者接近不意味着以后都一致,也不能只保留最好一折来夸大评价。输出提交文件应把每条测试记录的身份与预测结果配对,确保编码和行对应正确。

书中从最好模型生成提交,这属于案例选择,不是无偏评价保证;频繁观察外部分数再改模型,也会让外部反馈成为调参信息。本轮不执行上传、不使用任何现行竞赛规则。全书在此回到共同问题:更新机制能提高所定义的分数,但独立验证才检验高分是否有意义。

平均验证分保留折间差异:进一步说明这一机制及其适用边界。

预测输出保持身份对应:进一步说明这一机制及其适用边界。

原书依据 · 2 处

附录A 示例代码使用说明

按层级文档核对示例代码

附录A是实质的示例使用说明。书中给出下载压缩包和Git克隆两种获取方式;前者是某一时点快照,后者保留仓库历史并可继续拉取。运行前应先读顶层README认识全项目,再读卷目README核对覆盖和勘误,最后读语言目录README了解依赖与入口。截图是历史界面,不能据此推断当前按钮位置。

chart.R用于解释图表背后的计算,不必与每种语言的主算法示例同样齐全。贡献流程从派生个人副本、克隆和修改开始,再提交拉取请求由维护者决定是否合并;本轮没有执行发布或提交。开源代码许可与书籍内容权限须分开,原附录“作者不保留版权”的概括不作为法律结论。

示例获取区分快照与历史:进一步说明这一机制及其适用边界。

分层README定位运行条件:进一步说明这一机制及其适用边界。

派生修改经拉取请求协作:进一步说明这一机制及其适用边界。

原书依据 · 3 处

参考资料

原书参考资料与检索边界

参考资料将全书机制连接到较早的研究和工具:选择与抽样、遗传编程、群体行为、数据科学和细胞自动机分别有不同来源。这里登记原书给出的23个独立检索条目,不代表本轮已经读过外部全文。部分正文简称、年份和条目存在差异,检索时应核实原始论文或出版物,不能把原书列表当成已经校订的权威书目。

跨章综合

全书可以用三个问题串起来。第一,什么是合法候选?固定向量、排列、表达式树和规则向量分别决定可用算子,表示不是算法之外的装饰。第二,什么值得保留?计分、选择、精英、历史最优和信息素把评价接入搜索;它们各有方向和更新条件,不能只保留变量名。第三,高分意味着什么?植物计分会塑造形态,布局惩罚会改变结果,训练高分可能记住噪声,独立验证用于检验所定义的目标是否接近实际需要。

竞争和合作并非谁普遍优越:它们使用不同状态和反馈路径。GA与GP重组候选,PSO依个人和群体历史调整运动,连续ACO更新采样分布,离散ACO构造路径。算法应在相同问题、预算与评价标准下比较。CA与人工生命进一步说明,局部规则反复作用会产生复杂结果;其复杂外观既不是随机性的证明,也不是现实生物或物理定律的验证。

本书以易读伪代码帮助入门,但伪代码、公式和文字有若干差异,当前讲解已逐处标明条件与笔误,而非把所有示例当成可直接运行的规范。书中性能日志和网站规则保留原有时点;没有进行本轮训练复现。

发散与实践

以下为读者延伸及尚未执行的计划。实践001先为本书102卡的后续复习路线定义合法性与代理目标;实践002比较同一离散对象的候选机制,以可解释基线为先。它们只涉及独立学习清单,不改变本轮按章节归档的要求。

实践003整理原书五折日志并设计停止记录,已准备作者结果摘录,但没有重新训练。实践004沿作者公开实现核验PSO历史最优的状态流,已取得固定提交、入口与初步机制映射,完整深读和最小测试留待后续。研究材料可以帮助提出问题,不能代替运行结果。

优先从实践004的90分钟路线开始,先看成熟示例如何表示状态;若只需要制定后续复习安排,可先做实践001的目标草案。

生成进度与管理记录

人工智能算法(卷2):受大自然启发的算法

Skill 版本:v24(当前完整解析;book-workflow v4 light,2026-11-14)。

执行模式:light

历史首次 Skill 版本:v6(2026-08-27);原概览全文保存在本轮generation-baseline.json和overview-original.md。

全书评级

四象限结论:经典原理(高信息浓度 + 高稳定性)

沿用已有评级:种群、选择压力、编码与算子、共享经验及独立验证具有可迁移原理;示例代码和网站按出版时点处理。默认概念解析型,保留原始评级依据见历史基线。

建档进度:done

整书笔记保存独立讲解、主线、主要位置与来源;覆盖记录保存逐单元阅读与取舍。

章节进度追踪表

章节号 章节标题 状态 卡片数
-3 内容提要 done 0
-2 序 / FOREWORD done 0
0 引言 / INTRODUCTION done 8
1 种群、计分和选择 done 14
2 交叉和突变 done 8
3 遗传算法 done 7
4 遗传编程 done 16
5 物种形成 done 6
6 粒子群优化 done 5
7 蚁群优化 done 10
8 细胞自动机 done 9
9 人工生命 done 6
10 建模 done 10
11 附录A 示例代码使用说明 done 3
12 参考资料 done 0

非正文排除

spine项 类型 排除理由
1 OEBPS/Text/cover.xhtml 封面 封面,仅书名封面图
2 OEBPS/Text/TOC.xhtml 纯目录导航 纯目录导航,无额外算法讲解
3 OEBPS/Text/epub.html 出版版权与权利声明 出版版权与权利声明,无算法内容
4 OEBPS/Text/epub_0001.html 出版版权与权利声明 出版版权与权利声明,无算法内容
5 OEBPS/Text/epub_0002.html 出版版权与权利声明 出版版权与权利声明,无算法内容
9 OEBPS/Text/epub_0006.html 下载、勘误和社区服务说明 下载、勘误和社区服务说明,无实质算法讲解;实际全文已检查

待关联术语

术语名 出现章节 一句话语境
支持向量机 1 AI模型类型举例,未解释机制
随机森林 1 模型类型举例,未展开
隐马尔可夫模型 1 模型类型举例,未展开
HyperNEAT 1 用作基因型和表型分离的例外,仅说明此属性
万物理论 6 群聚简单规则与复杂宇宙的类比,仅提名
贝尔定理 6 用于物理随机性类比,未展开定理及实验条件
强相互作用/电磁力/弱相互作用/引力 6 列举自然力常数作类比,未展开力学机制
贝叶斯网络 6 PSO可能训练的模型类型举例,未展开
密码学/随机数生成/音乐创作中的CA 8 仅列应用范围,未展开机制
模拟退火 9 只作为其他优化DNA的方法提名
Nelder-Mead单纯形算法 9 只提及卷1可用于优化DNA,未展开
梯度提升机(GBM) 10 只提及混合方法在竞赛中的历史成绩,未解释训练机制
深度信念神经网络(DBNN) 10 作为后续卷主题提名,未在本书展开

引用文献

标题 类型 出现章节 一句话语境
Encog 框架 -2 序言称为开源认知研究引擎,并列出历史应用;本轮未核验当前用途
Artificial Intelligence for Humans(系列) 书 0 引言说明卷0至卷3的学习范围
aifh(github.com/jeffheaton/aifh) 源码项目 0 书中多语言示例与在线实验仓库,按出版时点记录
Khan Academy 框架 0 数学预备知识学习网站,仅列为学习资源
Neural Network FAQ 框架 0 神经网络及AI信息网站,仅提名
Encog Wiki / Forum 框架 0 算法背景和交流资源,当前活跃性未核验
Deza(2009,距离参考) 书 0 公式2引用,完整书目信息在参考资料登记
Bishop(1996) 书 0 RBF网络背景引用,完整书目信息在参考资料登记
Fisher(1936) 论文 0 鸢尾花数据集出处,完整书目信息在参考资料登记
Merriam-Webster(2014) 书 1 种群和物种术语背景,完整信息见参考资料
Stanley(2009) 论文 1 HyperNEAT间接编码例子,完整信息见参考资料
Muhlenbein(1993) 论文 1 截断选择和育种者遗传算法出处
Miller(1995) 论文 1 联赛选择分析背景,完整信息见参考资料
Back(1995) 论文 1 适应度比例选择背景,完整信息见参考资料
Baker(1987) 论文 1 SUS提出者与抽样偏差研究背景
Genetic Algorithms—Useful, Fun and Easy(David Snell,2013) 论文 2 多于两个亲本的交叉背景
Mitchell(1998) 书 2 交叉与突变参考,完整条目在参考资料
NEAT / HyperNEAT / HyperNEAT ES 框架 2 变长模型通过物种形成与创新表对齐公共结构
Koza(1992) 书 2 遗传编程树表示与剪切嫁接参考
Computers and Intractability: A Guide to the Theory of NP-Completeness 书 3 原书指向的严格复杂度背景,未以正文口语解释替代定义
Behzad(2002) 论文 3 旅行商遗传优化参考
xkcd旅行商问题漫画 框架 3 示意暴力与动态规划等路线,漫画不作为算法性能实测
LISP / S表达式 框架 4 作为显式操作与参数结构的表示例子
Vitter(1985)Reservoir Sampling / Algorithm R 论文 4 一次遍历随机抽样出处
Computer Algebra System(CAS) 框架 4 对已找到表达式进行代数简化的工具类别
Kaufman(1987) 论文 5 K中心点作为难求质心结构的聚类参考
The World’s Most Typical Person is a 28-Year-Old Chinese Man(Time,2011) 论文 5 原书说明概念代表而非真实成员的类比文章
Boids(Craig Reynolds,1986) 源码项目 6 群聚模拟原型和三规则出处
Kennedy / Eberhart(1995)PSO 论文 6 粒子群优化提出背景
Weinberg(1993) 书 6 物理类比引用,未将简化常数列表转成物理知识结论
Oerter(2006) 书 6 物理类比参考
Dorigo(1992)离散ACO博士论文 论文 7 离散蚁群算法提出背景
Blum / Socha(2005)连续ACO 论文 7 连续蚁群模型背景
Holldobler(1990) 书 7 蚂蚁觅食与信息素行为背景
Socha(2007) 论文 7 连续ACO、高斯混合与采样尺度的参考
A New Kind of Science / Wolfram ECA(2002) 书 8 ECA规则编号与图案资料
Golly 源码项目 8 生命游戏图案研究与稀疏网格工具,按原书描述登记
Hickerson(2002) 论文 8 玛士撒拉图案寿命参考
Merge Physics(CodeProject文章) 源码项目 8 16维规则与HBGA细胞自动机实现背景
Finding interesting Cellular Automata by evolving universal constants using a genetic algorithm 框架 8 原书演示视频标题,未核验当下链接及播放内容
Artificial Life: A Plant Growing 框架 9 原书植物生长与种子演化视频标题
The Data Science Venn Diagram(Drew Conway) 框架 10 数据科学三能力视角
Titanic(Kaggle教程竞赛) 源码项目 10 原书建模数据和外部评分背景,历史规则不作为当前规则
Apache License 2.0 框架 11 附录的源码许可名称;不沿用其不保留版权的简化法律表述
GitHub Flavored Markdown 框架 11 README.md格式背景
Git官方指南 框架 11 附录建议的版本控制资料
Baker J E. Reducing Bias and Inefficiency in the Selection Algorithm. [C]//Genetic algorithms and their applications: proceedings of the second International Conference on Genetic Algorithms. Cambridge, MA: Massachusetts Institute of Technology,1987: 14-21. 论文 12 原书参考资料第1条;按原书照录,未核验或阅读外部全文
Bäck T. Evolutionary algorithms in theory and practice evolution strategies, evolutionary programming, genetic algorithms[M]. New York: Oxford University Press, 1996. 书 12 原书参考资料第2条;按原书照录,未核验或阅读外部全文
Blum C, Socha K. Training feed-forward neural networks with ant colony optimization: An application to pattern classification. [C]//Fifth International Conference on Hybrid Intelligent Systems. Rio de Janeiro, Brazil 2005: 233-238[2014-07-27]. 论文 12 原书参考资料第3条;按原书照录,未核验或阅读外部全文
Conway D. The Data Science Venn Diagram[EB/OL]. Drew Conway BLOG.[2014-07-27]. 框架 12 原书参考资料第4条;按原书照录,未核验或阅读外部全文
Conway J. Mathematical Games-The fantastic combinations of John Conway’s new solitaire game “life”[J]. Scientific American,1970, 223: 120-123. 论文 12 原书参考资料第5条;按原书照录,未核验或阅读外部全文
Cook O F. Factors Of Species-Formation[J]. Science, 1906, 23(587): 506-507. 论文 12 原书参考资料第6条;按原书照录,未核验或阅读外部全文
Deb K, Pratap A, Agarwal S, et al. A fast and elitist multiobjective genetic algorithm: NSGA-II[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(2): 182 - 197. 论文 12 原书参考资料第7条;按原书照录,未核验或阅读外部全文
Dorigo M. Ant colony optimization[J/OL]. Scholarpedia, 2007, 2(3): 1461. 论文 12 原书参考资料第8条;按原书照录,未核验或阅读外部全文
Hartmanis J. Computers and Intractability: A Guide to the Theory of NP-Completeness (Michael R. Garey and David S. Johnson)[J]. SIAM Review,1982, 24(1): 90. 论文 12 原书参考资料第9条;按原书照录,未核验或阅读外部全文
Heaton J. Using an evolutionary algorithm to create a cellular automata[EB/OL]. CodeProject.[2014-07-27]. 框架 12 原书参考资料第10条;按原书照录,未核验或阅读外部全文
Hölldobler B, Wilson E O. The ants[M]. Cambridge, Mass.: Belknap Press of Harvard University Press, 1990. 书 12 原书参考资料第11条;按原书照录,未核验或阅读外部全文
Kaufman L, Rousseeuw P. Computational Complexity between K-Means and K-Medoids Clustering Algorithms for Normal and Uniform Distributions of Data Points[J]. Journal of Computer Science, 2010, 6(3): 363-368. 论文 12 原书参考资料第12条;按原书照录,未核验或阅读外部全文
Kennedy J. Minds and Cultures: Particle Swarm Implications for Beings in Sociocognitive Space[J]. Adaptive Behavior, 1999, 7(3-4): 269-287. 论文 12 原书参考资料第13条;按原书照录,未核验或阅读外部全文
Koza J R. Genetic programming: on the programming of computers by means of natural selection[M]. Cambridge, Mass.: MIT Press, 1992. 书 12 原书参考资料第14条;按原书照录,未核验或阅读外部全文
Miller B L, Goldberg D E. Genetic Algorithms, Tournament Selection, and the Effects of Noise[J]. Complex Systems, 1995, 9: 193-212. 论文 12 原书参考资料第15条;按原书照录,未核验或阅读外部全文
Mitchell M. An introduction to genetic algorithms[M]. Cambridge, Mass.: MIT Press, 1996. 书 12 原书参考资料第16条;按原书照录,未核验或阅读外部全文
Mühlenbein H, Schlierkamp-Voosen D. Predictive Models for the Breeder Genetic Algorithm I. Continuous Parameter Optimization[J]. Evolutionary Computation,1993, 1(1): 25-49. 论文 12 原书参考资料第17条;按原书照录,未核验或阅读外部全文
Poli R, Langdon W B. A field guide to genetic programming[M]. [S.l.]: Lulu Press, 2008. 书 12 原书参考资料第18条;按原书照录,未核验或阅读外部全文
Reynolds C W. Flocks, Herds And Schools: A Distributed Behavioral Model[J]. ACM SIGGRAPH Computer Graphics, 1987, 21(4): 25-34. 论文 12 原书参考资料第19条;按原书照录,未核验或阅读外部全文
Snell D. Genetic Algorithms-Useful, Fun and Easy![J]. Forecasting & Futurism Newsletter, 2013, 6: 7-15. 论文 12 原书参考资料第20条;按原书照录,未核验或阅读外部全文
Stanley K, D’Ambrosio D, Gauci J. A Hypercube-Based Indirect Encoding for Evolving Large-Scale Neural Networks[J]. Artificial Life journal, 2009, 15(2): 1-10. 论文 12 原书参考资料第21条;按原书照录,未核验或阅读外部全文
Vitter J S. Random sampling with a reservoir[J]. ACM Transactions On Mathematical Software, 1985; 11(1): 37-57. 论文 12 原书参考资料第22条;按原书照录,未核验或阅读外部全文
Wolfram S. A new kind of science[M]. Champaign, IL: Wolfram Media, 2002. 书 12 原书参考资料第23条;按原书照录,未核验或阅读外部全文

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

本轮已读范围未出现符合专属规则的资金并发正确性案例。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 先写适应度函数 决策实践 done 3 计划
002 选择种群协作方式 决策实践 done 1、3、7 计划
003 用验证段约束搜索 真实任务 done 10 计划与作者日志摘录
004 追踪PSO最优快照 实现深读 done 6 两层计划与首轮映射

实践候选筛选:done

三项历史计划保留原路径并明确对象与判据,新增一项实现深读。未采用:人工植物完整复现成本较高,本轮已有环境机制讲解;交互式审美演化需评价界面;不另列从零实现整套算法的计划。已准备源码和日志材料,未执行完整实践或训练。

本轮完成范围

15个实质内容项(内容提要、序、引言、10章、附录A和参考资料),33个连续单元全文完成;6项非正文排除。99个图像资源已检查:97个img引用资源共107次引用,另检查SVG封面和注图标。图片59在白底合成后读取公式,原书资源未修改。

知识卡102张,原31张路径与标题保留,新增71张;生成、导入对账与102张卡片归档全部完成,8条历史软链接已解析,无遗留项。4张实践计划交付;轻量模式未执行笔记复核、独立审查及审查结果优化。历史概览及首次v6版本依据保存在生成前基线,本次完整解析v24。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。