来源书籍

现代人工智能技术

Skill 版本:v6 经典原理(高信息浓度 + 高稳定性) 248 张卡片

李远征、曾志刚、刘智伟、高亮 · 机械工业出版社 · 2024-03 · ISBN 9787111750536

全书导读与主线

本书讨论如何让计算机表示知识、据此推理或搜索,并从数据及环境反馈中学习。第 2、3 章以符号和逻辑表示事实、推导结论;第 4 章介绍面对复杂搜索空间的启发式优化;第 5 至 7 章转向从样本训练模型和学习表示;第 8 章将学习扩展到连续行动与延迟回报;第 9 章讨论数据分散时如何协作训练。各路线解决的问题和假设不同,并不构成唯一的发展顺序。

简介

全书作为人工智能入门教材,从知识表达、推理和优化算法出发,介绍机器学习、神经网络、深度学习、强化学习与联邦学习。简介说明了章节范围和读者对象;各技术的具体机制须在后续章节分别理解。

前言

前言将全书分为基础知识、技术原理和核心算法三个层次:第一章建立概念背景,第二至四章讨论如何表达知识、进行推理和优化,第五至九章介绍从数据学习、神经网络、序贯决策和分布式协同学习。这里是作者对阅读路线的概括,并不意味着这些方向构成唯一的人工智能发展顺序。

第1章 绪论

本章先讨论智能的不同解释,再概述人工智能的发展、基本方法与应用。智能没有公认的简单定义;书中分别介绍以思维为核心的观点、以可运用知识解释解决问题能力的知识阈值观点,以及从系统行为与环境互动观察智能的观点。知识阈值解释智能、智能的行为视角、图灵测试与理解、智能的思维视角分别展开这些视角及其边界。

书中把感知、记忆与思维、学习和行为作为智能能力的不同方面:感知提供外界信息,记忆保存信息,思维处理信息,学习使经验带来较持久的变化,行为则回应环境。逻辑思维借助规则推导,形象思维借助直观和想象;两者可共同用于提出和检验假设。详见逻辑与形象思维、感知记忆学习行为。

图灵测试关注问答中机器的表现是否足以使判断者难以区分人和机器;这种行为证据本身不能直接说明内部是否理解,相关讨论见图灵测试与理解。知识表示则为机器处理知识提供形式:符号方法以可解释的符号表达关系,连接方法通过网络进行隐式表示,见符号与连接式表示。顿悟是问题求解中新想法突然出现的过程,书中强调其偶然性和机制尚未明确;顿悟连接相关知识说明其特点。机器感知借助传感器获取外界信息,而机器学习试图通过经验更新知识,见机器感知获取信息与机器学习更新知识。

机器思维指机器对感知信息和自身行为进行有目的的处理。它与负责获取外部信息的[[机器感知获取信息]]相区别:感知提供输入,思维处理输入并支持解决问题。书中把模拟逻辑规则和形象思维都列为研究方向;这是一种研究目标,不代表机器已具有人类思维。 详见机器思维处理信息. 早期人工智能程序能够处理对象少、复杂度低的特定问题,并不意味着它能直接解决规模更大的同类问题。随着问题维度和可能情况增加,计算资源需求可能迅速上升,使原程序难以运行。评价方法时因此应同时说明问题规模与可用计算资源,而不能只看小例子是否成功。 详见问题规模制约早期人工智能. 自动定理证明先把命题表示为逻辑语言,再依照推理规则寻找证明或反驳。它既可以由程序自动搜索,也可以由人提供提示、机器完成或检查推理。自动化与交互式方式的区别在于人是否参与引导;形式化前提与目标仍是两者共同基础。 详见自动定理证明与人机协作.

模式识别研究如何描述对象并将其归入类别。模式可以描述图像、信号或数据中的对象;模式类则聚集具有共同特征的模式。它关注对象属于哪一类,而不局限于视觉输入。 详见模式识别按特征分类. 机器视觉可区分低层与高层处理:低层通过边缘检测等预处理突出图像特征;高层结合对象知识分析和理解图像。前者为后者准备信息,但提取到边缘并不自动等于理解图中对象。 详见低层视觉与高层视觉. 自然语言理解研究让计算机处理人类语言以支持人机通信。书中列举了回答输入内容相关问题、生成摘要或复述,以及跨语言翻译等目标。这些任务的输出不同,不能只凭某项任务表现就断定系统具有全面的人类语言理解能力。 详见自然语言理解的任务.

智能信息检索可以结合数据库事实和规则推导答案,而非只匹配原文。例:已知某人属于采购部、另一人是采购部经理,且规则规定部门经理是部门成员的领导,系统便可推导领导关系。结果依赖事实与规则的正确性和适用范围。 详见检索结合事实与规则. 数据挖掘从数据中提取有意义的模式,例如规则或聚类;知识发现指从数据中得到可理解、可应用知识的更完整过程。挖掘只是其中一个环节,提取到模式之后还需要判断其意义与用途。 详见数据挖掘与知识发现. 专家系统使用特定领域的知识和推理步骤处理专业问题。知识描述领域经验,推理步骤用已有知识求解具体问题;其能力范围依赖于系统拥有的领域知识,不能因为名称包含“专家”就假定适用于所有领域。 详见专家系统结合知识与推理.

按书中的教学划分,程序控制机器人依预设或示教记录动作执行,环境变化时可能需要重新编程;自适应机器人利用传感器与控制系统感知环境并调整动作;智能机器人进一步追求感知、思维与行为的协同。这是能力层次的概括,不应当成对所有现实机器人的严格年代分类。 详见机器人从程序走向反馈. 组合优化需要在大量可能方案中寻找符合目标的方案,例如安排生产计划或选择路线。随着选择规模增长,候选方案可能急剧增加,逐一搜索的时间和空间成本随之变大;启发式方法可用于寻找较好的方案,但不自动保证全局最优。书中将组合优化一概称为 NP 完全并断言必需指数时间,这一表述过于笼统,不能作为复杂性定理。 详见组合爆炸限制搜索. 分布式问题求解把复杂任务拆成协作节点,通常共享全局问题定义与成功标准;多智能体系统关注多个具有各自局部目标或模型的智能体如何协调。二者都需要安排知识、资源和控制权,但局部目标不一致时协调问题更突出。 详见分布式求解与多智能体.

棋类等博弈把竞争、决策和变化的局面放入明确的任务环境,可用于检验人工智能方法。书中用象棋对人工智能研究的作用类比果蝇在遗传学中的实验作用;某一游戏的成功仍只说明该任务上的表现。 详见博弈作为智能研究实验. SHRDLU 是书中介绍的早期自然语言系统:用户用英语与模拟机器人手臂交互,让它在限定的积木世界中执行拿起、放下等动作。受限环境使语言指令可关联具体对象和动作,不能直接说明系统能理解任意现实语境。 详见积木世界语言与行动. 人工神经网络由许多简单处理单元通过连接组成,以网络整体处理信息。书中将其与大脑神经系统相类比;这种抽象不意味着人工网络完整复制了生物大脑。单元计算与连接如何学习需要结合后续章节理解。 详见神经网络由连接单元组成.

书中将数据挖掘概括为数据预处理、建模、模型评估和应用:先处理缺失、噪声并选取属性,再选择算法及参数,用适当数据评估模型,最后应用于解释或处理新数据。各步骤形成一个工作过程;模型评估不能由训练表现单独代替。 详见数据挖掘从准备到应用. LUNAR 是书中列举的自然语言接口系统,用普通英语查询月球岩石与土壤样本数据。它展示了自然语言可以作为访问特定数据库的接口;其任务范围受数据库及系统理解能力约束。 详见自然语言查询月岩数据. MARGIE 是基于概念依赖理论的心理学模型,用来研究自然语言理解过程。这里的重点是用概念层次组织对语言意义的研究;书中本节未展开其具体表示和推理规则,不能据此推断实现细节。 详见概念依赖模型研究理解.

逻辑理论家是早期人工智能程序,书中用它证明《数学原理》中部分定理的例子说明机器可参与形式证明。它针对形式化数学命题进行推理,成功证明部分定理并不意味着解决任意数学问题。 详见逻辑理论家证明定理. MYCIN 是书中介绍的早期专家系统,用于感染性疾病的诊断和治疗。它是领域知识用于具体专业问题的历史例子;书中这一处未说明其具体规则、实际效果或现代临床适用性。 详见MYCIN用于感染诊疗. XCON 是书中列举的早期专家系统实例。书中以“知识库加推理机”概括专家系统:知识库存放专业知识,推理机利用知识处理问题。具体应用仍以其领域知识和规则为界。 详见XCON与专家系统组合.

伊莉莎(ELIZA)是书中列举的早期交互式英语对话程序,展示了以自然语言与计算机沟通的研究方向。产生对话输出与真正理解对话含义是不同的主张;本节未解释其具体实现,不能据此推断内部机制。 详见伊莉莎早期语言交互.

原书依据 · 32 处

第2章 知识表达

知识表示把事实、规则与对象结构转换为可供计算机处理的形式。本章先讨论知识的特性,再比较用逻辑表达关系、用产生式连接条件和动作,以及用框架组织对象属性。三种方法处理的侧重点不同,适用时也可以结合。

知识的适用性依赖条件与环境。把领域知识写成规则时,应同时保留适用前提,否则局部经验可能被当作普遍规律;例如牛顿力学的适用需要考虑具体条件。书中用“1+1=2 只在十进制成立”作例子混淆了数字记法和数值,不应采用。 详见知识依赖条件。 经典一阶谓词逻辑提供明确的语法、语义和推理规则,适合精确表达对象、关系及规则。二值真值本身不直接表示概率或模糊程度;处理这类知识需要额外建模。推理可能产生大量中间结果,形式化正确也不保证计算高效。 详见谓词逻辑边界。 产生式系统由规则库、控制系统和综合数据库组成。规则库存放条件与结论或动作,综合数据库保存当前事实及中间结论;控制系统负责匹配规则、消解冲突、执行规则和检查终止。把知识与控制职责区分,有助于分别理解规则内容和执行次序。 详见规则与控制分离。

框架用一组槽描述对象的属性,槽可带取值范围和默认值。遇到具体对象时,可把观察到的信息填入槽,得到实例;默认值只是在缺少信息时使用的预设,应允许实例用实际值替换。书中教师框架的职称槽预设讲师,而具体实例可填写副教授。 详见框架承载默认理解。 知识可以表达对象的属性或对象之间的关系。事实陈述某个属性或关系;规则用条件与结论表达关系,例如“如果出现某症状,可能发生某疾病”。带“可能”的规则不等于必然因果结论,需要保留条件和不确定性。 详见事实描述与条件规则。 知识的不确定性可能来自随机事件、概念边界模糊、难以精确表达的经验,以及观察和认识不完整。它们不是同一种缺陷:例如症状不必然对应某病属于不确定关系,而“高”缺少清晰边界属于模糊性。选择知识表示时应区分这些来源。 详见知识不确定性的来源。

知识表示把知识用形式或模型表达,以便存储和供计算系统处理。逻辑、规则、框架和神经网络等形式各有适用范围;系统设计需要依据目标与知识类型选择,必要时结合多种方法,没有一种表示自动适用于所有问题。 详见表示方法依任务选择。 知识的可表示性指能以语言、文字、图形或模型等形式表达,从而保存和传播;可利用性指能够将知识用于实际问题。能写出或存储一条知识,并不自动说明它适合某个任务,使用时还要判断条件与表示方法。 详见表示使知识可保存使用。 命题逻辑用命题符号表示有真值的陈述,并用否定、合取等联结词组合命题。若把“老李是小李的父亲”整体记为 P,符号 P 本身没有显露两个人及父子关系;需要表达对象及关系时,谓词逻辑提供更细的结构。 详见命题逻辑隐藏内部结构。

谓词把性质或关系应用于对象。例:Student(Li) 用一元谓词表示小李是学生,Greater(7,2) 用二元谓词表示两个数的大小关系;元数是谓词所需对象参数的数量。变量可留待解释,常量指称特定对象。 详见谓词表达性质与关系。 在一阶逻辑表达中,函数项从对象得到对象,如 father(Ma) 表示某人的父亲;谓词用对象构成可判断真假的陈述,如 Police(father(Ma))。两者都带参数,但函数项指称对象,谓词应用表达性质或关系。 详见函数返回对象谓词判断关系。 经典逻辑中的 P→Q 只有在 P 真、Q 假时为假,其他情况为真。这称为实质蕴涵;它由真值定义,不要求前后命题具有自然语言中的因果关联。读到“如果……那么……”时需分清形式逻辑与日常表达。 详见实质蕴涵的真假。

全称量词 ∀x 表示论域中每个对象,存在量词 ∃x 表示至少一个对象。∀x∃y F(x,y) 允许不同的 x 对应不同的 y;∃y∀x F(x,y) 要求同一个 y 对所有 x 都成立,二者一般不能交换。 详见全称存在与量词顺序。 要说“存在一个工人操作引擎”,可写 ∃x(Worker(x) ∧ Fix(x,Engine)):同一个对象必须既是工人又操作引擎。书中示例把合取写成蕴涵;若论域中有非工人,蕴涵可能因前件为假而成立,不能表达原意。 详见存在条件要使用合取。 量词的辖域是该量词所支配的公式部分;其中对应变量是受约束的,辖域之外同名变量可以仍然自由。例:(∃x P(x,y)) ∨ R(x,y) 中,P 的 x 受约束,R 的 x 与两处 y 是自由变量。改名要避免捕获原本自由的变量。 详见量词辖域与变量约束。

谓词逻辑的解释确定论域及符号所指,从而判断公式真假。公式在所有允许的解释下为真称永真;至少存在一个解释使其为真称可满足;没有任何使其为真的解释称不可满足。可满足并不等于永真,例如一个命题在某些解释下真、另一些解释下假。 详见解释与可满足性。 否定“所有对象都满足 P”等价于“至少有一个对象不满足 P”;否定“存在满足 P 的对象”等价于“所有对象都不满足 P”。形式上 ¬∀x P(x) 等价于 ∃x ¬P(x),¬∃x P(x) 等价于 ∀x ¬P(x)。否定穿过量词时须同时交换量词并否定谓词。 详见量词否定互换。 判断前提是否逻辑蕴涵结论,可以检查“前提同时成立且结论不成立”是否可能:若这个组合不可满足,就不存在前提真而结论假的解释,故结论由前提蕴涵。这是归结反演的理论基础。 详见反证转化为不可满足。

存在量词可以分配到析取:∃x(P(x)∨Q(x)) 等价于 (∃x P(x))∨(∃x Q(x))。书中右侧第二项误写为全称量词;例如存在一个满足 Q 的对象并不意味着所有对象都满足 Q。 详见存在量词分配到析取。 把自然语言知识表达为谓词公式时,先明确论域及谓词、个体的含义,再为具体对象选用常量或变量,最后按原意选择量词和连接词。例:“每个储蓄的人都得到利息”可写为 ∀x(save(x)→interest(x))。同一含义可使用不同粒度的谓词,需核对形式式与原句是否一致。 详见谓词逻辑表达步骤。 命题是能够判断真假的陈述。简单命题可通过否定(非)、合取(且)、析取(或)、条件(如果则)和双条件(当且仅当)构成复合公式。经典逻辑中,复合公式的真假按连接词和组成部分的真值确定;括号用于明确组合范围。 详见逻辑连接词组合命题。

产生式规则把条件和结果配对,常写为 IF P THEN Q。条件与当前事实匹配时,结果可表示推得的结论,也可表示应执行的动作。动作规则不等同于仅描述真假关系的逻辑蕴涵,例如炉温超限时关闭风门。 详见产生式条件与动作。 事实可用“对象、属性、值”或“关系、对象一、对象二”的三元组表示,例如 (Li, Age, 40)。书中对不确定事实增加置信度作为第四项;该数值的含义依赖采用的推理体系,不能未经说明就当作严格概率。 详见事实三元组与置信度。 产生式系统先将规则条件与当前事实匹配;若多条规则同时可用,按冲突消解策略选择,再执行动作或把新结论放入综合数据库,最后检查终止条件。新结论可能触发后续规则,因此执行次序会影响推理过程。 详见规则匹配冲突执行。

动物识别规则可以先由“有奶”推得哺乳动物,再结合其他事实推得有蹄类,最后结合长颈、长腿和斑点识别长颈鹿。每次新结论进入事实集合,供下一条规则匹配;中间类别也能在特征不全时提供粗分类。 详见动物识别逐层推理。 产生式将知识拆为独立规则,便于增加和修改;但规则增多后,反复检查当前事实与规则条件的匹配可能耗时。它对分类层次、对象属性等结构关系的表达也不如专门的结构化表示直观,可与框架等方法结合。 详见产生式模块化与匹配成本。 框架是描述对象、事件或概念的结构;槽表示某一属性,侧面进一步说明该属性,例如取值范围、默认值。槽值既可为数字或字符串,也可以引用其他框架或指定过程,因此能组织属性和对象间联系。 详见框架的槽与侧面。

框架可以连接成层次:下层框架继承上层的槽值,再根据更具体对象补充或修改。共享属性不必在每个子框架重复描述;例子中地震框架是自然灾害框架的子框架,地形改变槽还可引用另一框架。 详见框架继承与覆盖。

原书依据 · 28 处

第3章 确定性推理方法

推理利用已有事实和规则导出结论。本章先比较推理方式与方向,再介绍自然演绎、子句集、归结和反演:形式化不是确保前提真实,而是明确结论与前提的逻辑关系。

推理利用已有事实与知识按规则得出新结论,推理机负责选择和执行推理过程。控制策略包括推理方向、搜索和冲突消解;相同知识库可能因策略不同而探索不同路径,影响求解效率。 详见推理需要策略。 正向推理从已有事实寻找可用规则,可能推出与目标无关的结果;逆向推理先选择目标,再查找能支持它的条件,搜索有针对性,但初始假设不合适时可能反复更换。选择方向需要结合事实和目标的可获得性。 详见方向影响成本。 当多条规则或多组事实同时匹配时,冲突消解决定当前先使用哪一条规则。书中列出规则针对性、事实新鲜度、匹配程度和条件数量等排序方法;不同策略可能产生不同执行路径,应结合规则含义选用。 详见冲突消解优先级。

归结反演把证明“前提蕴涵结论”转化为检查“前提与结论的否定能否同时成立”。先形式化前提和目标,将前提与否定目标转为子句集,再不断归结;如果得到空子句,说明不存在使前提真而结论假的解释,因此目标是前提的逻辑结论。证明依赖所列前提,不代表前提在现实中必真。 详见归结证明转化。 演绎从前提按有效规则推出结论;只要前提真且推理有效,结论随之成立。归纳从事例概括一般结论:完整考察有限总体可覆盖该总体,抽样归纳则可能被未观察事例推翻。不能把样本全部合格直接当作总体必然全部合格。 详见演绎与归纳的结论。 默认推理在信息不全时暂时采用某个可推翻的假设,再据此推导结论。例如先假定鸟会飞;得知它是企鹅后,需要撤销该默认及依赖它的结论。这体现非单调性:增加信息可能使先前结论失效。 详见默认结论可以撤销。

启发式推理利用与问题相关的信息决定优先搜索方向,例如诊断时先排除危险疾病或优先检查流行病。启发信息能改变探索顺序,是否更快或找到最优解取决于具体算法和条件,并无普遍保证。 详见启发信息引导搜索。 正向推理从事实出发,匹配规则并逐步增加结论;逆向推理从待证明目标出发,寻找可推出目标的规则,再把规则条件作为子目标。前者可能产生无关结论,后者聚焦目标但需处理多个候选规则和子目标。无法找到证明并不必然证明目标为假。 详见正向与逆向推理。 双向推理同时从已知事实正向推进、从目标逆向寻找条件;当前向得到的中间事实满足后向所需条件时,两边可以衔接完成证明。其难点包括判断是否相遇和分配两侧搜索资源。 详见双向推理中途相遇。

混合推理交替使用正向与逆向推理。例如先从事实推出可能结论,再以结论为目标逆向询问缺少的证据;也可在逆向求证中取得新事实后,再正向推导其他结论。它与双向推理在中间相遇的方式不同。 详见混合推理互补信息。 已知 P 和 P→Q,可用假言推理得到 Q;已知 P→Q 和 ¬Q,可用拒取式得到 ¬P。例如若下雨必然地湿,且地不湿,则在该前提成立时可推出没下雨。结论的可靠性依赖前提与规则,而不是推理形式单独保证事实真实。 详见假言与拒取推理。 由 P→Q 和 Q 不能必然推出 P:地湿可能有下雨以外的原因。由 P→Q 和 ¬P 也不能必然推出 ¬Q:没有下雨,地仍可能因其他原因湿。两种形式分别称肯定后件和否定前件,区别于有效的假言推理与拒取式。 详见肯定后件与否定前件。

文字是原子公式或其否定,子句是一个或多个文字的析取;子句集通常表示这些子句的合取。空子句不含任何文字,按析取的约定为假,因此不可满足。P 与 ¬P 是互补文字;原书称“¬P 表示 ¬P 是假的”属于笔误。 详见文字子句与空子句。 消去存在量词时,可用新的 Skolem 常量表示不依赖全称变量的见证;若存在对象依赖前面的全称变量,则用以这些变量为参数的新函数表示。该变换用于保持可满足性或不可满足性,不应把引入新符号后的公式简单称为原公式的逻辑等价式。 详见Skolem化保留可满足性。 构造用于归结的子句集时,先消去蕴涵并把否定推到原子公式前,避免变量名冲突,再 Skolem 化消去存在量词;之后整理为合取范式,省略默认全称量词,并将各析取子句拆成集合。步骤须保留正确作用域,Skolem 化保持可满足性而非逐式等价。 详见公式化为子句集。

命题归结在两个子句中选取一对互补文字,删去它们并将剩余文字析取。例如 (¬P∨Q) 与 (¬Q∨R) 对 Q 和 ¬Q 归结得到 ¬P∨R。归结式是两个亲本共同蕴涵的结论;若最终推出空子句,则原子句集不可满足。 详见互补文字归结。 谓词子句含变量时,需要先找使待消去的文字互补的代换。例:P(x)∨Q(x) 与 ¬P(a)∨R(y),用 x→a 后归结得到 Q(a)∨R(y)。最一般合一不添加不必要的限制;不同子句的变量应先改名避免意外共享。 详见归结先做最一般合一。 若一个子句内有多个同号文字可以合一,对整个子句应用其合一代换并合并重复文字,可得到该子句的因子。之后可用因子与另一子句归结;合一代换也作用于子句中其他文字,不能只替换被选中的两项。 详见因子合一子句内文字。

归结得到空子句可证明原子句集不可满足;一阶归结在适当规则下具有反驳完备性,但一次搜索尚未找到空子句,既可能因为集合可满足,也可能因为尚未找到所需推导。因此不能把有限时间内搜索失败当作可满足证明。 详见未推得空子句不等于可满足。

原书依据 · 19 处

第4章 智能算法及其应用

复杂优化问题需要在候选解空间中寻找较好的方案。本章将群体搜索分为进化、粒子群和蚁群方法:遗传算法通过选择及遗传算子更新编码,粒子群共享历史位置,蚁群通过路径信息素间接协作。它们的随机搜索有助探索,但有限运行并不保证找到全局最优。

进化算法维护一组候选解,通过选择、重组和变异迭代更新群体,而非只追踪单一候选。群体提供同时探索多个区域的机会,但随机搜索不保证每次改进或一定找到全局最优;结果取决于编码、算子和预算。 详见群体搜索优势。 遗传算法通过编码把问题空间中的候选解表示为可进行遗传操作的个体,解码则把个体还原为问题参数。编码设计需要考虑可表示哪些解以及操作结果是否有效;没有适用于所有问题的通用编码,选法会影响搜索和约束处理。 详见编码决定搜索。 遗传算法中的变异随机改变个体编码的一部分,帮助引入或恢复选择和交叉中丢失的变化。二进制位点变异可把 0 翻成 1 或把 1 翻成 0;排列编码也可使用交换、插入或区间逆转。变异可能改善、损害或不改变适应度,不保证每次产生更优解。 详见变异保持多样性。

蚁群算法中,个体按信息素与启发信息选择路径,经过的路径又得到信息素更新。局部选择和共享痕迹产生正反馈,使较常选择的路径更可能被再次选择;挥发削弱旧痕迹,帮助算法保留探索其他路径的机会。正反馈也可能过早强化次优路径。 详见群智能局部规则。 进化算法先生成候选解群体并评价其性能,再选择部分候选,经过重组、变异等操作形成新群体;满足停止条件时结束,否则继续迭代。性能评价和停止条件应对应问题目标,群体每次更新不必然产生更优解。 详见进化算法的迭代循环。 进化计算包含随机性,同一设置的多次运行可能得到不同结果。评估时需关注多次运行的可靠性,以及结果对控制参数和问题数据微小变化的敏感程度;单次较好结果不足以说明算法稳定。 详见随机优化要评估稳定性。

遗传编码的完备性要求问题空间中所需的解能表示出来;健全性要求编码对应可行解;非冗余性要求不同编码与解一一对应。这些是设计目标,具体编码可能需要在表达能力、约束处理与效率间取舍。 详见编码完整有效与冗余。 自然二进制表示中,相邻整数可能有多个二进制位变化,如 15 与 16 的编码跨越多个位,称为汉明悬崖。格雷编码让相邻整数的编码只相差一位,有利于相邻值之间的局部变化;它不保证遗传搜索一定找到更优解。 详见格雷编码减小相邻距离。 较小种群可能降低候选多样性,较大种群增加每代评价和操作成本。选择规模时需要结合计算预算、问题和多次运行表现;规模增大也不自动保证多样性或全局最优。 详见种群规模多样性与成本。

适应度函数按问题目标评价候选解,并用于分配选择机会;适应度尺度变化会改变个体之间的相对选择压力。压力太强可能过早丢失多样性,太弱则优质解传播缓慢,尺度变换需结合具体选择机制设计。 详见适应度影响选择压力。 适应度比例选择按每个候选占总适应度的比例随机抽样,要求概率可定义;排序选择先按适应度排位,再按排名分配概率,因此不直接取决于原始数值差距。当极优个体占据过高比例时,比例选择可能迅速损失多样性。 详见比例选择与排序选择。 锦标赛选择先随机抽取若干候选,再从中选适应度最好的个体;重复这一过程构造下一代。比赛规模越大,优胜者更可能来自整体高排名区域,选择压力通常越强;具体概率还依赖采样是否放回和并列规则。 详见锦标赛规模影响选择。

精英保留将当前最优的一个或多个个体直接复制到下一代,不经交叉破坏,从而在目标和评价不变时保留已发现的最佳解。精英过多可能压缩其他候选的生存机会,加速多样性流失。 详见精英保留避免最优丢失。 交叉把两个父代的部分编码重组,生成后代;一点交叉交换某个切点一侧,两点交叉交换两个切点之间的片段。排列类问题需要防止重复或遗漏,生成的非法编码可通过针对问题的交叉算子或修复处理。 详见交叉重组与约束修复。 随机遍历选择(随机通用采样)把各个体按权重排在一条累计区间上,用一个随机起点和等间距的多个指针选择个体。它仍按权重分配期望选择次数,但相较独立重复轮盘抽样,通常能减少每代抽样次数的随机波动。 详见等间距指针减少抽样波动。

玻尔兹曼选择可按 exp(b·Fᵢ) 为适应度 Fᵢ 的个体分配权重,再除以所有个体权重之和。正的 b 增大时,高适应度相对优势通常增大;b 为零时各个体等概率。原书图 4-18 将归一项写成适应度之和,不能保证概率总和为一,应使用指数权重之和。 详见玻尔兹曼选择的归一化。 双倍体遗传算法为个体维护两套染色体,并设计显隐性表达和重排机制。当前未表现的基因片段可能暂时保留,以便环境或组合变化后再次发挥作用;是否改善搜索依赖具体编码与算子,不能保证收敛。 详见双倍体保留隐性基因。 双种群遗传算法让两个种群各自选择、交叉和变异,再交换部分随机或优秀个体。交换使一方发现的候选进入另一方,可能帮助探索不同区域;迁移的频率和数量也会影响群体是否过快趋同。 详见双种群交换提供多样性。

自适应遗传算法根据种群和个体的适应度调整交叉、变异概率。较高扰动可扩大搜索,较低扰动有助于保留现有结构;调整规则需处理最大值与平均值相等导致的分母问题,也不自动保证跳出局部最优。 详见自适应调整交叉变异率。 粒子群优化把候选解表示为粒子的位置,并维护速度、个体历史最佳位置和群体或邻域历史最佳位置。每轮评价当前解,更新历史记录,再依据速度更新位置。记录的是迄今找到的最佳位置,不等于已证明的全局最优。 详见粒子位置与历史最优。 粒子速度更新通常结合惯性、认知和社会三部分:延续原速度、向个人历史最优靠近、向群体或邻域最优靠近;随机系数使探索具有变化。原书图 4-24 的位置下标与正文“当前位置”描述不一致,使用公式前应核对实现定义。 详见粒子速度三种作用。

惯性权重影响沿原方向继续运动的程度,认知和社会系数影响对个人与群体经验的跟随;速度上限限制单次变化幅度。参数过大可能越过好区域,过小可能使探索不足,具体效果需结合问题与实验。 详见粒子群参数平衡搜索。 在旅行商问题中,每只蚂蚁维护尚未访问城市集合,只从可选城市中按路径信息素和启发值计算相对权重并随机选择。选择后从集合中移除已访问城市,避免重复访问;信息素因子与启发因子控制两种信息的相对作用。 详见蚁群路径选择与禁忌表。 一轮路径构造后,蚁群模型先保留旧信息素的一部分,再叠加各蚂蚁在路径上留下的信息素。蚂蚁周模型可按 Q/L 给走过的边沉积,其中 L 是完整路线长度;较短路线在同一 Q 下获得较多增强,挥发则逐渐减弱旧路径的影响。 详见蚁群信息素挥发与沉积。

原书依据 · 24 处

第5章 机器学习

机器学习从数据中学习模型,目标是在未见样本上表现良好。本章从样本和标签出发,讨论特征工程与评估,再比较监督学习的回归、分类模型和无监督聚类。训练、选择和测试承担不同职责,数据分布与任务成本决定评价是否有意义。

特征工程将原始数据处理为更适合任务的输入,包括数据质量检查、清洗、转换、构造、选择和提取。无关、重复或噪声特征可能降低模型表现;是否保留某特征需要结合任务与验证结果,不能假设更多输入一定更好。 详见特征工程降噪。 训练误差衡量模型在训练样本上的表现,泛化误差关注新样本。训练误差低并不保证新样本表现好:模型可能把样本偶然特征当成普遍规律。评价时应使用独立于训练和调参过程的样本估计泛化表现。 详见泛化重于训练。 模型评价指标应反映任务目标:回归可衡量预测数值误差,分类可看准确率、查准率、查全率或错误代价。不同指标关注不同后果,同一个模型排序可能随指标而变;类别不平衡或漏报代价高时,只看准确率容易遗漏关键问题。 详见度量服从任务。

模型超参数可取值的范围可能很大甚至连续,通常不能训练所有组合。选择搜索范围和步长是在计算开销与找到好配置的机会之间折中;模型选择应使用验证数据,最终独立测试集不反复参与调参。 详见调参是折中。 在回归平方误差及相应噪声假设下,期望误差可分为偏差平方、方差和不可约噪声。偏差描述平均预测偏离真实目标,方差描述训练集变化导致的预测波动。模型复杂度变化常影响两者,但其关系并非任何任务都遵循固定曲线;分解依赖损失函数和假设。 详见偏差方差权衡。 数据集包含多个样本;样本描述一个对象或事件,属性是其某一方面,属性值是该样本的具体取值。监督任务还可为样本提供标签,作为训练目标或评估时的参考答案;并非所有机器学习数据都有标签。 详见样本属性与标签。

训练集用于拟合模型,测试集用于评价训练后模型在未参与训练的数据上的表现。若反复利用测试集挑选模型,测试结果会受到选择过程影响,难以代表独立评估;模型选择通常另用验证数据。 详见训练与测试划分。 欠拟合指模型没有充分捕捉任务规律;过拟合指模型过度适应有限训练数据,导致新数据表现较差。泛化关注未见样本上的表现,需要通过合适的数据划分评估,而不能只看训练误差。 详见欠拟合过拟合与泛化。 监督学习使用带标签样本学习输入与目标的关系,例如分类或回归;无监督学习使用未标标签的数据探索结构,如聚类;半监督学习结合少量标注与大量未标注样本。无监督仍需要训练数据,只是不依赖目标标签。 详见监督无监督与半监督。

有限样本可能同时符合多个模型,因此学习需要某种归纳偏好来选择假设,例如倾向更简单的解释。偏好是否有效取决于任务和数据,某算法在一种问题上表现好,并不保证在另一种问题上也最好。 详见归纳偏好依问题适配。 模型是对输入与输出关系或数据结构的表示;训练算法是利用数据确定或调整模型的过程。例如线性模型给出一种关系形式,训练算法依据训练样本选定参数。书中将“问题”直接称作模型是宽泛说法,问题、模型和训练算法需要区分。 详见模型与训练算法。 独立同分布假设指样本彼此独立且来自同一概率分布,常用于分析训练与测试样本。现实数据可能随时间、用户或采集方式变化;此时训练与部署分布的差异会影响泛化,更多相似历史样本也不自动消除偏差。 详见独立同分布是学习假设。

缺失值可根据数据情况删除样本或特征,也可用固定值、均值、众数或模型估计等方式填补;有些模型可直接处理缺失。不同方法改变样本量或数据分布,选择前需分析缺失原因,并用训练数据拟合填补规则以避免泄漏。 详见缺失值处理需看原因。 数值特征尺度相差很大时,可按训练集统计量做标准化或区间缩放,以适应对尺度敏感的模型。标准化通常调整均值和尺度,不会自动把任意分布变成正态分布;图 5-5 的这一表述不准确。是否需要缩放取决于模型和任务。 详见数值缩放与分布变换。 类别特征可以用指示列表示:N 类独热编码用 N 列,每个类别激活对应列;哑变量编码常用 N−1 列,未激活时代表基准类别。选择哪种方式取决于模型及是否需要避免线性依赖,类别数量多时还应考虑维度和稀疏性。 详见独热与哑变量编码。

分箱把连续数值划入有限区间,等宽分箱保持区间宽度一致,等频分箱尽量使每箱样本数量接近。特征构造也可利用均值、历史周期统计或组合变量;它可能带来信息损失,时间统计应只使用预测时可获得的数据。 详见分箱与构造特征。 前向选择从空集合逐步加入有利特征,后向消除从全集逐步删除特征;每轮都用评价准则比较候选。由于每步只选当前最优,特征间的组合效应可能使结果错过全局最佳子集,但通常比穷举所有子集便宜。 详见贪心特征子集搜索。 过滤式在模型训练前用统计准则筛选特征;包裹式反复训练目标学习器,用其表现评价特征子集;嵌入式把选择融入训练优化,例如稀疏正则化。包裹式贴近具体模型,但多次训练通常更耗计算,也要避免用测试集反复选择。 详见过滤包裹嵌入式选择。

Relief 对一个样本比较同类最近邻与异类最近邻在各特征上的差异:某特征若能让同类更近、异类更远,就增加其相关性评分。对多个样本汇总得到特征得分;多分类扩展需考虑各异类邻居。 详见Relief比较同异类邻居。 在线性模型损失中加入 L1 惩罚,可使部分系数恰为零,从而形成稀疏模型;L2 惩罚通常缩小系数,缓解过拟合,但一般不直接将系数变成零。惩罚强度决定拟合与约束的权衡,实际效果依数据与参数而定。 详见L1和L2正则化的区别。 主成分分析通过线性变换构造相互正交的新方向,并优先保留数据变化较大的方向,将高维数据投影到较低维。它不是简单挑选原始列;方差大也不必然表示对监督任务最有预测价值,降维可能损失信息。 详见主成分分析构造新轴。

核主成分分析借助核函数在隐式特征空间中执行主成分分析,以表达原始空间中的非线性结构。它扩展了线性 PCA 的表示方式,但选择核函数及参数仍影响结果,不能保证任意数据经过映射后都线性可分。 详见核主成分分析。 留出法把数据分为互不重叠的训练集与测试集,用后者估计新样本误差。分类任务可按类别比例分层抽样以减小划分带来的比例偏差;不同随机划分可能得到不同估计,重复实验有助观察波动。时间序列或相关样本还需要按实际依赖结构划分。 详见留出法与分层抽样。 k 折交叉验证把数据划成 k 份,轮流用一份评估、其余 k−1 份训练,再汇总 k 次结果。留一法是每折只留一个样本的特例,训练次数等于样本数,计算可能很昂贵;所有预处理和特征选择应在每个训练折内拟合。 详见交叉验证轮流留出。

自助采样从 m 个样本中有放回抽取 m 次,部分样本重复、部分未被抽到;当 m 较大时,每个样本未被抽到的概率约为 36.8%。可用抽到的样本训练、未抽到的样本做包外评估,但采样改变经验分布,估计也可能有偏差。 详见自助采样与包外估计。 二分类可按真实类别和预测类别计数:TP 为正确判正,FP 为误判正,FN 为漏判正,TN 为正确判负。查准率 TP/(TP+FP) 回答“判正中有多少是真正例”,查全率 TP/(TP+FN) 回答“真实正例中找回多少”。分母为零时需明确约定。 详见混淆矩阵与查准查全。 F1 是查准率 P 和查全率 R 的调和平均,P、R 均非零时为 2PR/(P+R)。Fβ 可调整对查全率的相对重视:β 大于 1 更侧重查全率,小于 1 更侧重查准率。单一 F 值仍无法表达所有错误成本。 详见F值结合查准和查全。

多个类别或多个混淆矩阵综合评估时,宏平均先分别计算各组指标再平均;微平均先汇总各组的 TP、FP、FN 再计算指标。宏平均使组别权重更接近均等,微平均更受样本量大的组影响;报告时应说明组别和平均规则。 详见宏平均与微平均。 ROC 曲线考察不同阈值下的真正例率 TPR 与假正例率 FPR,AUC 是曲线下面积,可理解为随机正例排名高于随机反例的概率,并对同分作相应处理。AUC 描述排序,不直接给出某个阈值的业务代价或概率校准质量。 详见ROC与排序质量。 不同错误可能造成不同损失,例如漏检与误报的后果不同。代价敏感评价为各类预测错误赋予成本,关注总预期代价而非错误次数;模型阈值应结合类别比例和错误成本选择,而非一律采用 0.5。 详见错误代价影响决策阈值。

回归任务的均方误差是各样本预测值与真实值之差的平方的平均值。平方让较大的偏差贡献更大,并使结果的量纲成为目标量纲的平方;与绝对误差等指标相比,它对大误差更敏感。 详见均方误差放大大偏差。 按模型分数改变判正阈值,可得到一系列查全率和查准率,并画成 P-R 曲线。如果一条曲线始终高于另一条,在对应查全率上具有更高查准率;曲线交叉时需结合目标工作点或约定的面积指标比较。 详见查准查全曲线比较。 两个模型在一次测试中分数不同,不必然代表总体泛化能力存在可靠差异:测试样本、划分方式和训练随机性都可能造成波动。配对比较可让模型使用相同划分,再分析每次差值;统计检验还需满足其假设,交叉验证各折训练集重叠时不能简单假设完全独立。 详见模型比较考虑抽样波动。

线性回归用输入特征的线性组合及截距预测数值;最小二乘法选择参数,使训练样本的预测值与真实值之差的平方和尽量小。这里通常是目标方向上的残差,不是书中所说的点到直线的垂直欧氏距离。系数大小也会受特征单位与相关性影响。 详见线性回归拟合残差。 梯度下降根据损失对参数的梯度更新参数:参数减去学习率乘以梯度,即沿局部下降方向迈步。学习率过大可能振荡或发散,过小可能收敛很慢;梯度小也可能出现在鞍点或平坦区域,并不必然接近全局最优。 详见梯度下降沿负梯度更新。 逻辑回归先计算输入特征的线性得分,再用 sigmoid 将其映射到 0 到 1 之间,作为二分类正类概率的模型估计。选择阈值后得到类别;模型名称含“回归”,常用于分类。概率估计仍需检验校准,不能自动当作真实概率。 详见逻辑回归输出类别概率。

牛顿法在当前参数附近用二次函数近似目标,利用一阶和二阶导数求出下一步,再反复更新。与只用梯度的一阶方法相比,它利用局部曲率,但二次近似可能不可靠或二阶矩阵难以求解,因此并不保证每一步都通向全局最优。 详见牛顿法利用局部二次近似。 贝叶斯定理把观察证据后的条件概率与先验及似然联系起来:P(C|X)=P(X|C)P©/P(X),前提是证据概率非零。分类时可比较各类别的后验概率;先验反映观察证据前的类别概率,似然描述各类下证据的概率或密度。 详见贝叶斯更新先验与证据。 朴素贝叶斯假设给定类别后,各特征条件独立,因此可把该类别下联合特征概率分解成各特征条件概率的乘积,再乘类别先验比较类别。该假设简化估计,但特征高度相关时可能使概率估计失准。 详见朴素贝叶斯条件独立。

朴素贝叶斯中,若某特征值在某类别训练样本中未出现,直接频率估计会得到零,使整条类别概率乘积为零。拉普拉斯平滑为类别和特征计数加入适当的伪计数,避免有限样本中的未见情况抹去其他证据。 详见平滑避免零概率连乘。 决策树内部节点按属性测试,分支表示测试结果,叶节点给出预测。训练时递归划分样本,使子节点更纯或损失更小;节点顺序与停止条件影响树的复杂度和泛化,训练集完全分对并不保证新样本表现好。 详见决策树按属性递归划分。 信息增益比较划分前的类别熵和各子节点的加权熵,增益越大表示该划分降低的不确定性越多。高基数特征可能人为制造很纯的小组;增益率再考虑划分自身的信息量,但也可能偏向取值较少的特征。 详见信息增益与增益率。

预剪枝在生长过程中决定是否继续划分;后剪枝先长出较大的树,再用叶节点替换部分子树。两者都试图控制复杂度和过拟合,后剪枝通常计算更多,但哪种泛化更好仍需根据验证结果判断。 详见决策树预剪枝与后剪枝。 分类树可以用基尼不纯度衡量节点类别混杂程度:对类别比例 pₖ,Gini=1−Σpₖ²;纯节点值为零。比较候选划分时按子节点样本比例加权,选择不纯度较低的划分;它衡量的是训练样本的分类混杂,而非直接证明泛化最好。 详见基尼不纯度评估划分。 决策树训练遇到属性缺失时,可用该属性非缺失样本估计划分质量,再将缺失样本按权重分配到可能的子节点。这样保留部分样本信息,但具体权重规则与实现有关,不能把未知值当成已观察到的确定值。 详见决策树处理缺失属性。

线性可分时,支持向量机寻找分离两类训练样本且间隔最大的超平面。最靠近间隔边界的样本是支持向量,它们决定硬间隔解的关键约束;最大训练间隔是模型设计原则,并非对任意数据泛化效果的保证。 详见最大间隔与支持向量。 真实数据可能有噪声或线性不可分。软间隔支持向量机允许部分样本违反间隔约束,用损失和惩罚参数 C 权衡间隔宽度与违约程度;C 较大通常更重视减少训练违约,具体效果仍需验证。 详见软间隔允许违反约束。 核方法用核函数直接计算两个样本在某个特征空间中的内积,而不必显式构造高维映射。这样可把线性学习器扩展到原始空间的非线性关系;核及其参数决定相似性,选择不合适可能降低性能。 详见核函数计算映射内积。

支持向量机可用拉格朗日乘子把约束优化改写为对偶问题,预测函数可由训练样本的内积表示。序列最小优化(SMO)每次选择两个乘子、固定其余乘子并更新,以处理乘子之间的等式约束;它不是一次只自由改变一个变量。 详见支持向量机对偶与SMO。 模型可以先对正值目标取对数,再用特征的线性组合拟合对数目标;还原预测时再取指数。这对原始目标形成非线性关系,但对变换后的目标仍是线性模型。变换的适用性取决于数据范围、误差假设和任务。 详见线性模型的特征变换。 聚类把相似样本组织成簇。外部指标把聚类结果与参考标签或参考划分比较;内部指标只利用数据及聚类结构,例如簇内紧密度和簇间分离度。两类指标回答的问题不同,内部指标较好也不必然符合业务语义。 详见聚类的内外评价。

聚类需要选择适合属性的距离:欧氏距离对应闵可夫斯基距离的 p=2,曼哈顿距离对应 p=1。数值尺度、类别编码和属性权重都会影响距离;无序类别不能随意把数字编码差值当成有意义的大小差距。 详见距离度量决定相似性。 K 均值先初始化 k 个中心,再将每个样本分给最近中心,用各簇样本均值更新中心,反复迭代直到满足停止条件。它近似最小化簇内平方误差,可能停在局部解;多次初始化并比较目标值可减小初始化影响。 详见K均值交替分配与更新。 K 均值使用簇内均值作为中心并对应平方误差目标;K-medians 使用中位数作为中心,通常对极端值更稳健。两者的距离、目标和更新方法需要一致,稳健不代表完全不受异常样本影响。 详见K均值与中位数中心。

高斯混合模型用多个高斯分布及混合权重表示数据分布,每个成分有均值和协方差。EM 迭代先根据当前参数计算样本属于各成分的后验责任度(E 步),再用责任度更新参数(M 步)。它通常只得到局部最优,结果依赖初始化。 详见高斯混合模型与EM。 DBSCAN 用邻域半径 ε 和最小样本数 MinPts 判定核心点:核心点的邻域包含足够多样本。算法从核心点沿密度可达关系扩展簇,并可把不属于任何簇的点视为噪声。它无需预先指定簇数,但结果对邻域参数和距离度量敏感。 详见DBSCAN核心与密度可达。 凝聚式层次聚类从每个样本单独成簇开始,反复合并最相近的两个簇,形成可按层次截取的树。簇间距离可用最近点(单连接)、最远点(完全连接)或跨簇平均距离定义;不同规则可能得到不同的簇形状。 详见层次聚类与连接方式。

无序类别的数值编码没有天然大小距离。值差异度量(VDM)通过比较两个属性值在各类别中的分布差异,衡量它们的距离;混合数据可按属性类型组合距离。其结果依赖样本和所用类别信息,数据稀疏时估计可能不稳。 详见无序属性的值差异度量。

原书依据 · 58 处

第6章 神经网络

神经网络由可训练的计算单元组成。本章从加权输入和激活函数开始,解释前馈网络如何用反向传播训练,再讨论卷积对空间结构、循环网络对序列状态以及生成对抗框架对数据生成的处理。各结构的能力依赖训练、数据和任务,不应把理想性质当成性能保证。

人工神经元通常对输入加权求和、加偏置,再经激活函数产生输出。若层间只有线性或仿射变换,多层组合仍可合并为一个仿射变换;非线性激活使网络能表示更复杂的关系。不同激活的梯度性质不同,并非所有激活都能防止梯度爆炸。 详见激活引入非线性。 多层网络的损失曲面可能有局部极小点、鞍点和平坦区域;梯度很小时参数更新可能变慢,饱和激活也可能使梯度逐层衰减。初始化、激活函数和优化器都会影响训练,但没有一种方法能保证消除所有优化困难。 详见BP训练瓶颈。 卷积层的输出位置只连接输入的局部区域,并在不同位置复用同一组卷积核权重。局部连接和参数共享相较对应的全连接层通常减少参数,并把相同特征检测应用到不同位置;效果仍取决于核、通道数与网络结构。 详见卷积降低参数。

循环神经网络在每个时间步把当前输入与上一隐藏状态结合,生成新的隐藏状态;同一组循环参数在不同时间步共享。隐藏状态为历史提供压缩表示,但不保证保留全部信息,长距离依赖仍可能难以训练。 详见循环保存历史。 生成对抗网络由生成器和判别器构成:生成器把随机输入变为合成样本,判别器尝试区分真实与生成样本;训练交替改进两个模型,使生成器学习更接近数据分布。理想均衡下判别器可能无法区分两者,但实际训练并不保证达到均衡,50% 准确率也不能单独证明样本质量。 详见GAN的博弈。 人工神经元对输入按权重加权求和,再加偏置并应用激活函数。权重控制各输入对线性组合的影响,偏置调整激活发生的位置;训练时二者通常都可更新。单个权重的数值不能脱离输入尺度解释其重要性。 详见神经元权重与偏置。

线性分类器以一个超平面划分输入空间。异或的正负样本不能由单一直线分开,因此单个线性分类边界无法表示异或;组合多个线性边界并引入非线性决策才能表达更复杂区域。 详见线性层无法表示异或。 最小均方(LMS)学习以预测输出与目标的平方误差为优化目标,通过误差梯度调整线性网络权重。学习率控制更新幅度;参数更新是利用训练数据逐步减小目标,而不是一次必然到达最优。 详见LMS通过误差更新权重。 Sigmoid 将实数映射到 0 到 1,tanh 映射到 −1 到 1;二者在输入绝对值较大时趋于饱和,导数变小。深层网络反复相乘这些小导数可能使梯度衰减,具体训练表现还取决于权重和结构。 详见Sigmoid与tanh饱和。

ReLU 输出 max(0,x),正输入保留原值,负输入输出零。负区间梯度为零,如果神经元长期落在该区间,参数可能难以通过该路径更新;带负侧斜率的变体可以缓解这一问题,但不保证训练一定正常。 详见ReLU与失活神经元。 生物神经元由细胞体、树突和轴突等部分组成。动作电位沿轴突传播,可在突触末端触发神经递质释放,影响下一个神经元;人工神经元只借鉴连接与信号处理的抽象,并不等同于完整的生物机制。 详见神经元突触传递信号。 前馈网络训练先把输入逐层前向计算得到输出和损失,再按链式法则从输出向输入传播梯度,求出每层参数对损失的影响,最后由优化器更新参数。反向传播是计算梯度的方法,参数如何更新由具体优化算法决定。 详见反向传播计算参数梯度。

动量优化把过去的更新方向与当前梯度结合,使连续方向上的更新积累,同时减轻交替方向的振荡。动量系数和学习率共同影响轨迹;动量可以改善某些平坦或振荡区域的训练,但也可能越过最优区域。 详见动量平滑梯度更新。 Adam 在优化中维护梯度的一阶与二阶矩估计,据此对参数进行自适应更新;其设计结合动量与按梯度尺度调节步长的思路。它仍需要学习率等参数,适用效果应通过具体任务验证。 详见Adam结合动量与尺度。 在适当边界条件下,输入平移后再卷积,与先卷积再作对应平移得到相应的输出平移,这称为平移等变。等变不等于输出完全不变;填充、边界和大步幅等实现细节会改变这种关系。 详见卷积与平移等变。

卷积核按步幅在输入上移动,步幅增大通常使输出空间尺寸减小;填充在边缘补入元素,可保留更多边缘位置或控制输出大小。具体输出尺寸取决于输入、核、填充、步幅及取整规则。 详见卷积步幅填充控制尺寸。 池化把局部区域汇总为一个值:最大池化取最大值,平均池化取平均值。它可降低空间分辨率并提供一定局部平移容忍,但也丢失精细位置信息;池化本身通常没有待学习的权重。 详见池化汇总局部区域。 多通道卷积对每个输入通道应用相应的核,再将各通道结果相加形成一个输出通道。使用多组核可得到多个输出通道,每个输出通道学习不同的局部特征;核组与输入通道数必须匹配。 详见卷积的多输入输出通道。

在自回归序列模型训练中,导师强制把前一时刻的真实目标作为下一步输入,而不是总使用模型自己的预测。这样训练时可依赖正确上下文;推理时真实未来目标不可用,模型错误可能累积,训练和使用条件需要区分。 详见导师强制使用真实历史。 循环网络可按时间展开成共享参数的计算图。总损失由各时间步损失构成,早期状态对后续状态和损失都有影响;反向传播时需要沿时间累积这些路径上的梯度,再对共享参数求和。长序列会增加计算和保存中间状态的成本。 详见时间反向传播累积梯度。 双向循环网络分别沿序列正向和反向计算隐藏状态,并将两者组合用于当前位置输出,因此可以利用该位置前后的上下文。若任务要求实时预测且未来输入尚不可用,反向分支不能直接使用未来观测。 详见双向循环结合前后文。

原书依据 · 21 处

第7章 深度学习

深度学习通过多层变换学习表示。本章以深卷积与残差连接说明图像模型的层次结构,再用堆叠循环、GRU 和 LSTM 说明序列状态,最后介绍按查询选择信息的注意力。门控和捷径改善信息流,但并不保证训练必然成功。

深度学习利用多层模型逐级变换输入,学习适合任务的特征表示;低层表示经过组合可形成更抽象的高层表示。它属于机器学习,降低部分手工特征设计需求,但数据、计算、训练方式和问题结构仍影响最终效果。 详见深度学习特征。 残差块将输入通过捷径与变换后的结果相加,典型形式为 y=x+F(x)。网络学习的是相对输入的修正 F;当恒等映射合适时,F 接近零即可。捷径有助于优化深层网络,但不保证所有梯度问题消失;输入输出形状不一致时需先做投影对齐。 详见残差学习捷径。 GRU 和 LSTM 使用可学习的门控制信息流:门的值由当前输入和先前状态计算,决定旧状态保留多少、新信息写入多少或输出多少。门控有助于学习较长依赖,但不保证消除所有梯度消失或爆炸。 详见门控控制记忆。

注意力先计算查询与各键的匹配得分,再用 softmax 将得分转换为权重,对对应值向量加权求和。不同查询可以得到不同的上下文表示;权重反映模型计算中的分配,并不自动等于因果解释。 详见注意力选择信息。 多头注意力在多个投影空间并行计算注意力,再拼接各头结果,使模型可以学习不同的关系表示。各头具体学到什么由数据与训练决定,不能预先认定每一头一定对应语义、位置等固定职责。 详见多头分解关系。 Dropout 是模型容量控制或正则化方法之一,可在训练中随机屏蔽部分单元,减少对特定单元组合的依赖,从而有助于缓解过拟合。效果取决于任务与设置,使用它不代表模型一定泛化良好。 详见Dropout缓解过拟合。

AlexNet 通过多层卷积、非线性激活和池化逐层提取图像特征,再用全连接层输出类别得分。早期实现采用双 GPU 数据流以应对显存限制;网络层次和输入尺寸等具体细节应以使用的实现为准。 详见AlexNet堆叠卷积与池化。 图像数据增强对训练图像进行裁切、翻转或颜色变化,生成保留任务标签的不同输入视图,帮助模型接触更多变化并缓解过拟合。增强必须符合任务语义,例如改变方向不能破坏标签含义。 详见数据增强扩充训练变化。 堆叠循环网络在每个时间步让较低层的状态传给较高层,同时每层的状态传给该层下一时间步。层数和隐藏单元数是结构超参数;增加深度可提高表达能力,也会增加计算和训练难度,并不自动解决长距离依赖。 详见深层循环跨时间与层传递。

GRU 用重置门控制旧隐藏状态对候选状态的影响,用更新门在旧状态和候选状态之间逐元素加权组合。按书中约定,更新门接近 1 时更保留旧状态,接近 0 时更采用候选;不同实现的门命名或组合约定应结合公式查看。 详见GRU重置门与更新门。 LSTM 维护单元状态和隐藏状态:遗忘门控制旧单元状态保留比例,输入门控制候选信息写入,输出门控制由当前单元状态形成的隐藏输出。门通常按元素作用,使不同状态分量可有不同保留程度。 详见LSTM单元状态与三门。 缩放点积注意力用查询与键的点积除以键向量维度的平方根,再归一化得到权重。缩放有助于控制高维点积的尺度,减少 softmax 饱和风险;权重仍依赖查询和键的具体数值,不是只由维度决定。 详见缩放点积注意力。

自注意力让序列元素之间计算查询、键和值的关系,可跨远距离聚合信息;局部注意力只在部分邻域内计算,通常减少长序列计算和内存需求,但可能遗漏窗口外关系。两者应按可用上下文和任务要求选择。 详见自注意力与局部注意力。

原书依据 · 13 处

第8章 强化学习

强化学习研究智能体与环境反复交互时如何优化长期回报。状态、策略、奖励与价值函数连接了问题描述和决策方法;马尔可夫假设允许以当前状态描述后续转移。价值方法估计行动结果,策略方法直接调整行为,深度网络扩展了表示能力。模仿学习利用专家示范,集成方法利用多模型差异辅助估计和探索。

序贯决策中,当前行动影响后续状态和可获得的奖励,因此目标通常是优化一段时间的累计收益,而不只看眼前一步。强化学习让智能体根据观察选择行动,与环境交互并从奖励中学习策略;环境状态不一定完全可观察。 详见序贯决策反馈。 马尔可夫性质表示给定当前状态后,下一状态的条件分布不再需要额外依赖更早历史。它要求状态包含对预测未来足够的信息;把不充分的观察当作状态时,这一性质可能不成立。它并不意味着状态与历史无关。 详见马尔可夫压缩。 基于价值的方法估计状态或动作的长期回报,再依据价值选择行动;基于策略的方法直接用参数表示行动分布,优化期望回报。两条路线也可组合:Actor-Critic 同时学习策略和价值估计。 详见价值与策略路线。

同策略学习使用生成经验的策略来估计或改进该策略;异策略学习可以用一种行为策略收集经验,学习另一种目标策略。SARSA 使用行为策略选出的下一动作更新,Q-learning 使用下一状态最大动作价值作为目标,常用探索策略收集数据。 详见同策异策区别。 当状态和动作空间太大,难以逐一存储价值时,可用参数化函数近似价值,例如线性模型或神经网络。共享参数能让经验影响多个相似输入,但近似误差会影响策略评估和更新,不能假定它与真实价值完全相同。 详见函数近似替代表。 奖励难以设计时,模仿学习利用专家状态与动作示范训练策略;行为克隆直接拟合动作,逆向强化学习先推断奖励再优化策略。示范质量与覆盖范围仍会限制结果。 详见模仿绕开奖励。

强化学习中的策略规定智能体在给定状态下如何选行动,可以是确定映射,也可以是行动概率分布。奖励是一步交互得到的标量反馈;价值函数估计遵循某策略从状态或状态动作出发的未来累计奖励,二者的时间尺度不同。 详见策略奖励与价值。 环境状态描述决定未来变化所需的信息,观察是智能体实际得到的信号,历史则汇集过去的观察、行动和奖励。部分可观察问题中观察可能不足以唯一确定状态,智能体需要利用历史或内部表示作决策。 详见观察历史与环境状态。 强化学习中的环境模型预测采取行动后可能到达的状态及奖励,可用于模拟和规划。模型是对环境转移的表示,与决定采取什么行动的策略、评价长期收益的价值函数不同;并非所有强化学习方法都必须显式学习模型。 详见强化学习中的环境模型。

有限马尔可夫过程可用状态集合和转移矩阵描述;矩阵第 i 行第 j 列是当前处于状态 i 时下一步到达状态 j 的概率,每行概率之和为一。吸收状态一旦进入便不会离开,对应自转移概率为一。 详见状态转移概率矩阵。 折扣回报是从当前时间起未来奖励按 γ 的幂加权之和,γ 通常在 0 到 1 之间;较远奖励的权重随时间下降。状态价值是从该状态出发的回报期望,因此单次轨迹回报可以偏离状态价值。 详见折扣回报与状态价值。 马尔可夫奖励过程的状态价值等于当前期望奖励加折扣后的下一状态价值期望:V(s)=r(s)+γ ΣP(s′|s)V(s′)。它把长期回报拆成一步奖励和后续价值,可用于求解或迭代估计;是否存在唯一有限解依赖折扣和过程条件。 详见贝尔曼方程递归价值。

马尔可夫决策过程用状态、动作、转移概率、奖励和折扣因子描述序贯决策。P(s′|s,a) 表示当前状态采取行动后下一状态的分布;策略决定如何选行动。转移概率可以是已知的,也可以由交互学习,不能将模型已知当作 MDP 的定义。 详见MDP中的动作影响转移。 在固定策略下,状态价值 Vπ(s) 是从 s 出发遵循策略的期望回报;动作价值 Qπ(s,a) 先执行 a,再遵循策略。状态价值可通过按策略的动作概率对动作价值求平均得到,因此价值判断必须说明所依据的策略。 详见状态价值与动作价值。 最优动作价值描述先采取某动作、此后遵循最优策略时的期望回报;最优状态价值等于该状态各可行动作的最优动作价值之最大值。由此可以构造贪心策略;不同策略可能同样最优。 详见最优价值选择动作。

策略迭代交替执行两步:先评估当前策略的状态价值,再依据当前动作价值选择更好的行动形成新策略。对满足条件的有限 MDP,精确评估与策略改进可不断改进策略并收敛;近似评估或连续空间需要另行分析。 详见策略评估与策略提升。 时序差分用一步奖励加折扣后的下一状态价值估计,作为当前价值的更新目标;目标与当前估计的差称 TD 误差。它不必等整条轨迹结束,但使用尚不准确的价值估计作为目标,因此称为自举。 详见时序差分自举更新。 ε-贪心策略大部分时间选择当前估计价值最高的动作,同时以一定概率随机选可行动作,使其他动作有机会被采样。探索概率过小可能漏掉好动作,过大则会频繁尝试当前看来较差的动作;并列最大值的处理需明确。 详见探索与贪心动作。

SARSA 使用下一状态按当前行为策略实际选出的动作价值作为 TD 目标;Q-learning 使用下一状态可行动作中的最大价值作为目标。二者都可由交互样本更新,但收敛结论依赖充分探索、步长等条件;固定有限训练不保证找到最优策略。 详见SARSA与Q学习更新目标。 策略梯度把策略表示为可微参数化分布,通过采样轨迹估计期望回报对参数的梯度,并沿改善回报的方向更新。梯度估计的质量依赖采样与价值估计;它直接调整行动概率,而不是必须先学出完整动作价值表。 详见策略梯度直接优化策略。 REINFORCE 是蒙特卡洛策略梯度方法,利用采样轨迹中从某一步起的实际折扣回报估计该步动作价值,并用它加权策略梯度。它需要获得相应后续回报,采样估计可能有较大波动。 详见REINFORCE使用完整回报。

Actor 学习决定行动的策略,Critic 根据交互估计状态或动作价值,为策略更新提供评价信号。优势函数可比较某动作与该状态平均价值;Critic 的近似误差会影响 Actor 获得的指导。 详见Actor与Critic协作。 DQN 用神经网络近似离散动作的 Q 值。经验回放保存交互样本并随机抽批复用,可减少相邻样本相关性;目标网络较慢更新,为 TD 目标提供相对稳定的参考。随机抽样不保证样本严格独立同分布。 详见DQN经验回放与目标网络。 Double DQN 用在线网络在下一状态选择价值最大的动作,再用目标网络评价该动作。把选择和评价分开可缓解同一估计器取最大值时的过高估计,但两个网络相关时无法保证完全消除偏差。 详见Double DQN分离选择评价。

Dueling DQN 将网络输出分成状态价值和各动作优势,再组合成动作价值。由于给价值加常数、给优势减同样常数不改变 Q,需要对优势作中心化等约束,才能确定这一分解的表示。 详见Dueling网络分解价值优势。 TRPO 优化策略目标时,用新旧策略之间的 KL 散度约束更新范围,避免一步改变过大;实际求解用近似和线搜索降低计算成本并检查约束。理论保证依赖假设,有限样本与近似实现不保证每次真实回报都提高。 详见TRPO限制策略更新。 广义优势估计把不同时间尺度的 TD 残差按折扣和 λ 加权求和,以估计动作相对状态基线的优势。λ 影响偏差与方差的权衡:较小值更依赖价值估计,较大值纳入更长轨迹信息。 详见广义优势估计权衡。

PPO 的裁剪目标限制新旧策略行动概率比率带来的目标增益,减少单次更新偏离旧策略的激励。裁剪不是对策略 KL 距离或所有参数变化的硬保证;实际更新幅度仍受优化步数、学习率等影响。 详见PPO裁剪代理目标。 DDPG 用确定性 Actor 为状态输出连续动作,用 Critic 估计该动作的 Q 值,并通过 Critic 的梯度改进 Actor。经验回放与 Actor、Critic 各自的慢更新目标网络帮助训练,但连续动作优化仍可能不稳定。 详见DDPG处理连续动作。 行为克隆把专家状态作为输入、专家动作作为监督标签。部署时小偏差可能让策略进入专家数据未覆盖的状态,预测误差进一步累积;增加相关状态的示范或交互数据有助于缓解这一分布偏移。 详见行为克隆的复合误差。

逆向强化学习先依据专家轨迹推断奖励,再用该奖励训练策略;同一组行为可能对应多个奖励,因此推断需要额外假设,不能把学得的奖励当作唯一真实意图。 详见逆向强化学习从示范推断奖励。 最大熵逆向强化学习参数化奖励,使专家轨迹在相应的概率模型下具有较高概率;计算依赖访问分布,已知动力学的离散情形可用动态规划,高维或未知动力学时需要采样等近似。 详见最大熵逆向强化学习。 生成式对抗模仿学习用判别器区分专家与策略产生的状态动作对,并以判别器输出构造奖励训练策略,目标是使策略的状态动作访问分布接近专家;这仍需要与环境交互。 详见对抗模仿匹配占用分布。

Bootstrapped DQN 用不同抽样数据训练多个 Q 函数头,每个回合采样一个头并按其策略行动;不同头的预测差异提供近似不确定性,并支持跨多个时间步一致的探索。 详见Bootstrapped DQN用多头探索。 集成方法组合多个模型。SUNRISE 以多个价值估计的分歧辅助决策:对高不确定度样本降低价值更新权重,并可在动作选择中加入不确定性探索奖励;集成增加计算成本,也不保证所有任务均改善。 详见集成强化学习用分歧辅助决策。

原书依据 · 35 处

第9章 联邦学习

联邦学习把数据保留在各参与方,通过模型更新或中间结果协作训练,缓解数据无法集中带来的困难。数据不出本地并不等于没有泄露风险;差分隐私与安全计算分别提供不同的保护。选择横向、纵向或迁移方式时,需要先看样本与特征重叠,再处理通信、数据异质性、对齐和参与激励。

联邦学习让多方保留本地原始数据,协作训练并交换更新或中间结果;中心聚合是常见架构,也有去中心化设计。是否优于本地模型取决于数据、训练和系统条件。 详见联邦连接孤岛。 联邦学习不直接交换原始数据,但梯度、参数和模型输出仍可能泄露训练信息,存在成员推断或梯度还原等风险;需要结合威胁模型设计保护。 详见模型也会泄密。 差分隐私限制单条记录改变时输出分布的变化;安全多方计算约束各方从协议交互中获得的信息。两者保护目标不同,可以按威胁模型组合,具体保证取决于实现与参数。 详见隐私需要组合。

联邦训练的参与者需承担计算、通信和隐私风险等成本,激励机制可以依据贡献分配回报;贡献评估不准或激励不足会影响参与意愿。 详见激励决定参与。 横向联邦学习适用于特征相似而样本不同;纵向适用于样本重叠而特征不同;联邦迁移学习尝试处理样本和特征都较少重叠的场景。应先判断各方数据的重叠关系。 详见横纵迁移三分。 FedAvg 在每轮抽取客户端,由各客户端从全局模型出发执行多次本地训练,服务器按样本数等权重聚合模型。较多本地更新可减少通信,但数据异质性会使本地模型偏离并影响效果。 详见FedAvg的取舍。

沙普利值把参与者加入不同联盟时的边际贡献作加权平均,用作收益分配依据。它依赖收益函数和参与者集合,精确评估通常需要大量联盟评估;公平性质不保证现实分配人人满意。 详见沙普利公平代价。 差分隐私要求相邻数据集产生任意输出事件的概率满足参数化上界。ε、δ和相邻关系共同定义保护程度;多次查询需要管理累计隐私预算,随机噪声也会影响结果效用。 详见差分隐私比较相邻数据集。 差分隐私机制的噪声尺度取决于查询在相邻数据集间的最大变化,即敏感性,以及选定隐私预算。拉普拉斯机制用于数值查询;指数机制按效用分数随机选择候选输出。 详见噪声规模取决于敏感性。

安全多方计算使多方联合计算约定函数,同时在协议威胁模型下保护各方私有输入。协议输出仍可能透露信息,安全保证依赖参与方行为假设和具体实现。 详见安全多方计算保护私有输入。 门限秘密共享把秘密拆成多个份额,在 Shamir 方案中,达到门限数量的份额可插值恢复秘密,少于门限的份额不应揭示秘密。安全性还依赖随机系数、有限域和份额管理。 详见秘密共享的门限恢复。 同态加密允许对密文执行特定运算,解密后对应明文上的运算结果。不同方案支持的运算和计算代价不同,密钥管理与最终输出仍属于安全边界。 详见同态加密允许密文计算。

联邦激励可用数据质量、参数更新或沙普利值评估贡献。数据量和更新幅度都只是代理指标,不能直接等同于对模型实际效果的贡献,且可能受到冗余、分布和操纵影响。 详见贡献指标不是贡献本身。 客户端数据可能非独立同分布、样本量不均,设备又可能掉线或通信受限。联邦优化需同时考虑统计异质性、参与率和通信成本,不能假设每个本地数据集代表总体。 详见联邦优化面对异质与通信。 纵向联邦学习在样本有交集、特征分散于各方时,先通过合适的隐私保护协议对齐样本,再协作计算模型。对齐过程及训练中间结果也有泄露风险,单纯哈希并不自动构成安全协议。 详见纵向联邦先对齐样本。

FedBCD 将纵向联邦训练中的参数按参与方分块,在交换中间信息之间执行多次本地更新,以减少通信;过期信息、优化收敛与隐私保护仍须结合具体算法分析。 详见FedBCD减少纵向通信。 联邦迁移学习在各方样本和特征重叠较少时,利用源域和目标域之间可迁移的关联;方法可围绕样本加权、共同表征或共享模型。若关联不足,负迁移可能降低目标域效果。 详见联邦迁移需要可迁移关联。 书中联邦迁移框架让各方学习隐藏表征,联合优化标签预测损失、重叠样本表征对齐损失及正则项,再通过受保护的中间计算更新各方模型。对齐目标并不保证隐私或预测质量自动成立。 详见迁移表征兼顾预测与对齐。

原书依据 · 18 处

跨章综合与实践

知识表达给确定性推理提供可操作的事实与规则,但规则获取和维护有成本;机器学习从样本估计规律,仍需衡量数据质量、泛化与评价方法。神经网络和深度学习是可训练的表示方法,而强化学习关注行动对后续状态和回报的影响,两者可组合但不互相等同。联邦学习改变多方协作和数据所在位置,不自动消除模型泄露或数据偏差。

读者延伸:本书生成了三项尚未执行的工作台实践计划,分别检查规则冲突、留出样本评估和来源字段边界;它们是将书中思路用于本地任务的计划,不能当作原书结论或已完成实验。

生成进度与管理记录

现代人工智能技术

Skill 版本:v6(2026-08-27 按 v6 规则续补;既有阶段一至三记录与卡片保留)

执行模式:light

恢复说明:本轮已重新读取正文、核对来源并完成轻量模式生成。

整体评级

四象限结论:经典原理(高信息浓度 + 高稳定性)

评级理由: 本书是现代人工智能技术的教材型综述,主线不是某个工具或框架的操作步骤,而是从知识表达、确定性推理、优化算法一路推进到机器学习、神经网络、深度学习、强化学习和联邦学习。第2章用一阶谓词逻辑、产生式和框架说明机器如何表示事实、规则和对象结构;第3章围绕自然演绎、子句集、鲁滨逊归结和归结反演解释自动推理的基础;第5章将特征工程、泛化误差、过拟合、评估方法、偏差-方差和监督/无监督模型连接起来;第8章以马尔可夫过程、价值函数、策略梯度、DQN、模仿学习等构成序贯决策的知识框架;第9章则围绕数据孤岛、隐私保护、激励机制和横向/纵向/迁移联邦学习讨论分布式协同训练。

书中也包含若干前沿算法名、历史时间点和应用案例,这些细节会随研究进展更新,但它们主要用于解释技术路径和约束来源。整体知识以概念结构、算法思想和工程权衡为主,5-10 年后仍具备迁移价值,因此归入“经典原理”。

章节进度追踪

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
简介 简介 精读 done 0
前言 前言 精读 done 0
1 绪论 精读 done 32
2 知识表达 精读 done 28
3 确定性推理方法 精读 done 19
4 智能算法及其应用 精读 done 24
5 机器学习 精读 done 58
6 神经网络 精读 done 21
7 深度学习 精读 done 13
8 强化学习 精读 done 35
9 联邦学习 精读 done 18

章节筛选说明

  • 第1章《绪论》:全文读取智能概念、发展简史及研究领域;详细进度和候选去向见覆盖记录。
  • 第2章《知识表达》:解释事实、规则、不确定性、一阶谓词逻辑、产生式系统和框架表示,是符号 AI 的基础。
  • 第3章《确定性推理方法》:覆盖推理方向、冲突消解、子句集转换、鲁滨逊归结和归结反演,适合沉淀自动推理卡片。
  • 第4章《智能算法及其应用》:围绕遗传算法、粒子群和蚁群算法讨论随机搜索与全局优化,具备工程迁移价值。
  • 第5章《机器学习》:包含特征工程、模型评估、泛化、监督学习和无监督学习,是现代 AI 实践的核心底座。
  • 第6章《神经网络》:从神经元、BP、CNN、RNN 到 GAN,解释现代深度模型的基础构件。
  • 第7章《深度学习》:集中讲残差网络、循环结构、门控单元、LSTM 和注意力机制,适合形成模型结构卡片。
  • 第8章《强化学习》:以马尔可夫过程、价值学习、策略学习、深度强化学习和模仿学习构成序贯决策框架。
  • 第9章《联邦学习》:围绕数据孤岛、隐私泄露、激励机制和联邦学习类型,兼具技术架构和数据治理价值。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 为规则系统设定冲突消解表 决策实践 done 02 一份规则优先级与例外处理表
002 用留出样本区分拟合与泛化 真实任务 done 05 一份训练/评测结果对照表
003 为跨来源材料写最小数据协议 真实任务 done 09 一份用途、字段与访问边界清单

未采用的候选:直接使用书中列举的联邦学习算法或历史案例作为当前方案;它们需要特定数据、基础设施和合规评估,超出读书卡片处理的安全范围。

非正文排除

spine项 类型 排除理由
titlepage.xhtml 封面页 书籍封面,无实质正文
EPUB/xhtml/cover.xhtml 封面页 封面,无实质正文
EPUB/xhtml/Copyright.xhtml 版权信息 出版信息,非阅读正文;已用于书籍元数据

待关联术语

术语名 出现章节 一句话语境
SAT、SMT 1 自动定理证明方法的名称,本节未展开算法。
PROLOG 1 人工智能发展简史中提及的语言名称。
控制论 1 早期研究成果中提及的领域名称。
麦卡洛奇-皮茨神经元 1 早期人工神经元模型,本节未展开模型机制。
吴氏方法 1 几何定理的机器证明方法,本节未展开步骤。
DENDRAL 1 专家系统发展史中提及的系统名称。
遗传算法 1 列为组合优化方法,后续章节展开。
Hopfield 神经网络 1 神经网络发展史中提及的网络模型。
QA3、STRIPS、FOL 系统 2 作为谓词逻辑应用系统列举,本节未展开实现。
RETE 2 规则触发条件的快速匹配算法,本节未展开机制。
RC++、PROSPECTOR、Alkins 2 规则系统相关实例,本节仅列举用途。
ISomap、局部线性嵌入、拉普拉斯特征映射、t-SNE、迁移成分分析 5 降维方法名称,本节未展开具体机制。
McNemar、Friedman、Nemenyi 检验 5 性能比较时列出的检验方法,本节未展开。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
思想法则 书 1 布尔代数历史介绍中提及。
数学原理 书 1 逻辑理论家证明书中部分定理。
计算机与人脑 书 1 历史介绍中提及的未完成讲稿。
感知器 书 1 神经网络发展史中提及的著作。
神经活动内在思想的逻辑演算 论文 1 原书提及早期人工神经元模型的论文,题名按原书记录。
Adaptation in Natural and Artificial Systems 书 4 Holland 关于遗传算法的著作。
一类遗传自适应系统的行为分析 论文 4 De Jong 的遗传算法研究论文,题名按原书记录。
搜索、优化和机器学习中的遗传算法 书 4 Goldberg 的遗传算法著作。
Long Short-Term Memory 论文 7 LSTM 原始论文,书中期刊名称存在拼写错误。
Deep Learning 书 7 本章概念和体系的延伸阅读。
Neural Networks and Deep Learning 书 7 本章建议的延伸阅读。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践候选筛选:done;保留三项可在本地工作台开展的计划。强化学习在线训练和跨机构联邦部署缺少具体可用环境,暂不成卡;实验结果尚未执行。

整书笔记:阅读笔记。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。