来源书籍

Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)

Skill 版本:v24 经典原理(高信息浓度、高稳定性),按当前规则P4。 1423 张卡片

Antonio Torralba, Phillip Isola, William T. Freeman · MIT Press · 2024-03-19 · ISBN 9780262378666

全书导读

这本书以“怎样从图像推断世界”为共同问题,将物理成像、信号处理、统计学习、几何与语言放进同一知识系统。它重在基础机制和直觉,不是当前工具API或最新排行榜的清单。阅读时要不断区分观测、表示、目标与假设:图像里究竟还保留了什么信息,算法用哪些先验补足丢失内容,得到的输出又能回答什么问题。

此次本地EPUB为Antonio Torralba、Phillip Isola与William T. Freeman合著,MIT Press版权2024,OPF日期2024-03-19;电子ISBN9780262378666,纸本ISBN9780262048972作为不同标识保留。前言、符号页、55章、15分部导言及书后参考文献、索引、丛书目录均已读取,覆盖82项spine。图片、伪代码与内嵌公式逐资源检查;书中示例和已下载外部源码的阅读范围分别记录。

全书可按信号与学习两条路线交织阅读:先从简单世界理解逆问题,再学习相机、优化、网络和滤波;随后用概率与表示刻画不确定性,最后进入多视图、运动与语义。生成卡片拆开可复用机制,本笔记先独立解释这些部分怎样连接。原文公式存在若干符号、维度和条件不严谨处,已在生成当下的章节记录逐项说明;没有将印刷表达不加判断地转成结论。

全书主线

起点是视觉的欠定性。单张图不是世界本身,它是几何、照明、材质、相机和采样共同作用的结果。简单块世界用强假设把问题变得可解,却也展示外观变化如何破坏一条看似合理的规则链。社会背景进一步提醒,类别定义、数据采集和用途会决定系统对谁、在什么条件下有效。

成像部分从光线、反射、透镜、光圈和颜色解释图像如何形成;线性系统则将模糊、卷积与正则化联系起来。机器学习部分把任务写成假设空间、损失、数据与优化,反向传播只解决复合计算的求导,泛化仍需独立样本和适当评估。神经网络可以作为分布变换器理解,但表达能力不等于训练必成功。

信号处理展示另一条表示路线:傅里叶分解、模糊、导数、时间滤波、采样、插值、滤波器组和金字塔。频率、相位与尺度解释什么信息被保留,混叠解释不可逆的歧义。卷积网络、循环网络与Transformer继续在共享、局部性、状态、注意力和位置编码之间取舍;架构中的不变性、等变性和实际采样边界要分开。

概率模型由自然图像统计和纹理进入图模型、推断、聚类与表示学习,再扩展到生成分布、VAE和条件生成。描述图像的统计、将图像压成特征以及生成新图,是不同目标。高似然、好重建和好下游表示之间没有自动等号,潜变量也未必具有唯一可解释语义。迁移、增强、领域适配与提示进一步依赖训练覆盖及任务边界。

几何部分通过变换、标定、立体、单应、单图测量、深度、SfM和辐射场,把相机模型重新接到图像推断。多个视图增加约束却仍可能保留尺度或射影歧义;可微渲染使像素残差能够训练场,但新视图好看不证明真实几何唯一。运动部分继续区分三维相对速度、二维投影流和亮度光流,局部方程的孔径歧义需要邻域、尺度、先验或学习补足。

语义部分将分类、检测、语义与实例分割按输出能力分开,再通过图文对齐、条件生成、描述和问答连接语言。语言是强大的有损表示,命名成功并不完成三维和行动理解。研究、写作与演讲部分则把提出问题、控制变化、表达证据和保持可信度视为实践能力。最终重访简单世界,比较显式规则与预训练系统,留下的是有条件的能力与新的可检验问题。

flowchart TD
 W[世界与任务] --> I[成像 采样与图像]
 I --> R[信号 特征与概率表示]
 R --> G[几何 运动与语义推断]
 G --> A[应用所需输出与行动]
 H[假设 先验与数据] --> R
 H --> G
 E[实验 失败与评价证据] --> H
 A --> E

前言与阅读路线

前言说明,本书以图像处理和机器学习两种视角建立计算机视觉直觉,面向进入领域的学生,也希望帮助已有经验的实践者。作者最初想覆盖整个领域,后来试图压缩成短章,实际写作又随着研究进展不断调整;这个故事说明材料的选择与重组过程,不是证明某种写作速度法则。

全书按相互依赖的基础组织:从简单视觉系统和社会背景进入成像,再学习优化、网络、滤波、尺度、概率和表示,继而理解分布差异、几何、运动与语言,最后讨论研究表达并重访简单系统。作者强调现代方法与历史基础的连续性,反复从不同视角理解相同问题。

教材不提供全面的最新技术综述,也不深入所有应用;专门应用需要后续资料。相关书覆盖一般视觉、物理、几何、概率、感知和信号处理,作为扩展入口登记而不补写其中未读论证。此次原文与图像已读取,实践计划将在全部正文完成后依据真实学习问题筛选。

进一步阅读:视觉基础连接旧方法与新模型;生成与表示提供互补建模方向;基础教材有明确的覆盖边界。

原书依据 · 3 处

符号与矩阵微积分约定

符号页为跨越图像、信号、概率和神经网络的讨论建立共同约定。粗体区分向量、矩阵和张量;索引与切片指定访问哪部分。图像的列行坐标与矩阵的行列索引顺序不同,神经网络一般通道优先,而Transformer使用token数乘特征维度。把形状和轴语义写明,是后续理解计算的第一步。

概率记法有时省略随机变量与取值的严格区分,但必须由上下文辨别;连续变量的p表示密度而非单点概率。参数θ与数据激活x也都可能是张量,二者区别在于学习和前向计算中的责任。总损失与单样本损失分别记为J和L。

矩阵微积分采用特定布局:标量对向量的导数为行向量,向量对向量的雅可比按输出维数乘输入维数排列,标量对矩阵的导数采用转置布局。作者明确它们是约定,不是另一种记法错误;对照软件时须检查对应关系。维度一词还可能指坐标数量或数组轴数,不能脱离shape解读。

进一步阅读:矩阵索引与图像坐标别混用;张量切片需要先确定轴语义;参数与数据在计算图中职责不同;概率质量与密度不同;雅可比形状取决于导数布局;矩阵梯度采用转置布局;向量维数与张量阶数应区分;矩阵乘积与逐元素乘积不同。

原书依据 · 8 处

视觉的挑战

第一章先区分光的测量与世界的理解。传感器只接收到环境光的一小部分,而观察者想知道物体、材质、空间和行动机会。反射、投影与遮挡造成歧义,错觉则显示感知会主动解释成像原因;因此计算机视觉不是给像素直接贴上现成标签。

视觉理论从不同方向解释这件事。古代入射与发射观点及几何光线模型逐步把眼睛、光与物体关系明确化;Helmholtz强调感知是寻找感觉的可能成因,主动改变视角可揭示稳定结构。格式塔把局部怎样组织成整体作为问题,邻近、相似、闭合、连续性与共同命运影响分组;明度与补全现象说明上下文不仅修饰结果,还影响我们看到什么。

Gibson把身体与真实环境放回视觉研究,环境光阵列随运动提供关于世界和自身的丰富信息,可供性则把对象与可采取行动连接。它和间接推断观点侧重不同,工程上可同时重视更丰富输入与必要模型,而不必把两者当成排他口号。

神经科学提供另一组证据:视网膜已有处理,感受野、中心周围拮抗和方向选择性说明刺激与响应的结构关系。分层、反馈和功能组织启发人工表示,但近似模型不是对生物机制的完整复制。Marr进一步要求分开任务、表示算法和硬件,并以像素、原始草图、二维半与三维结构展示信息逐级显式化。

学习式视觉用数据寻找映射,仍需定义输入、输出和任务。数据、计算、表示与优化一起影响可用性;共享基准使比较更明确,也保留特定任务范围。全章历史是理解基础的路线,不是对当前能力和未来周期的预测,后续将以简单视觉系统把这些问题具体化。

进一步阅读:视觉是从光推断世界属性;视觉任务由观察者需求限定;环境光包含多次表面相互作用;全光函数描述空间中的光;遮挡使可见信息不足以定解;视觉错觉暴露场景解释机制;入射说与发射说体现模型竞争;几何光线模型支持相似测量;视网膜成像与感知解释不同;知觉推断选择输入的可能成因;主动观察帮助识别稳定结构;整体知觉包含局部之外的关系;邻近与相似共同影响分组;闭合与连续性支持形状解释;共同命运以变化一致性分组;明度知觉依赖上下文分组;无模态补全推断遮挡后整体;模态补全产生可见错觉轮廓;生态视觉把身体放回环境;环境光阵列随行动提供信息;可供性连接物体与行动机会;直接知觉与间接推断观点不同;视网膜先处理再向脑传输;感受野定义刺激影响范围;中心周围拮抗强调局部对比;方向选择性区别于光点选择;视觉通路同时包含分层与反馈;皮层列组织相近功能偏好;生物启发模型保留近似边界;Marr分层区分任务算法实现;表示让某些信息更容易访问;二维半表示仍以观察者为中心;视觉表示可逐级显式化;学习改变寻找映射的方式;架构数据与计算共同影响学习;基准使比较可共享也有限定;视觉研究横跨多个学科;从输入到解释的层次关系。

原书依据 · 38 处

分部导言:基础

第一部分把问题定义、观察者与社会影响放在技术学习起点。第二章用一个简单世界暴露数学和推断需要,第三章从观察者角度重新看图像,第四章讨论社会后果。这些内容不是热门模型之前的无关铺垫,而是帮助判断后续算法解决什么、对谁有用。

进一步阅读:。

一个简单视觉系统

第二章把视觉具体化为从一张彩色积木图像恢复可见三维位置。为使问题可解,作者限制物体面为水平或竖直、支撑在白地上,并使用近似正交投影。x=X直接给出一个坐标,y却混合高度与深度,揭示单幅图像缺少一个自由度;后面的任务就是找到足够且合适的额外约束。

强度变化首先生成边缘候选。梯度幅度和方向描述变化,却不能独自区分物界、方向变化、色彩和阴影。图地分割利用特定颜色条件,边界归属说明谁拥有轮廓,接触边提供地面高度锚点。一般视点假设让某些图像结构可被解释为非偶然世界结构,但竖线与共端点仍可能由特殊对齐产生。

推断把这些解释写成高度场条件:地面与接触点高度为零,竖边给出高度变化率,水平边沿切向高度不变,平面内部二阶导数近似为零。离散化后每项约束只连接少量像素,向量化为稀疏线性系统;最小二乘在不完全一致时寻求折中。公式的角度、差分符号与矩阵秩条件必须保持清楚,求到数值解不是得到真实世界的证明。

最后通过新视点渲染检查几何,并故意违反假设观察域外行为。不可能图形会暴露互相冲突的条件,偶然域外成功也不能证明可靠泛化。恢复可见表面仍不等于认识对象或补出背面;要提出更丰富预测,需要对象模型并继续连接回可验证观察。

进一步阅读:简单世界让推断假设可见;正交投影忽略深度带来的缩放;投影方程揭示丢失的自由度;重建目标必须先明确;像素表示不直接显露几何;边缘成因不同不能等同物界;梯度描述最大强度变化方向;离散图像用差分近似导数;梯度角与边缘切向相差直角;图地分割规则依赖简单环境;遮挡边界需要判断归属;接触边与深度断裂应区分;扫描边界分类只是特化启发式;非偶然性质需要一般视点;图像竖线未必来自世界竖线;边缘方向转成高度导数约束;平面约束把边界信息传向内部;二阶差分的符号需要一致;像素未知量可组装线性系统;最小二乘协调相互冲突约束;超定不自动保证唯一解;新视点渲染检验重建一致性;域外成功不等于假设无关;三维表面不等于对象级理解;模型识别能提出可验证的预测;简单视觉系统以约束汇合证据。

原书依据 · 26 处

观察图像

第三章将“看”变为可追问的科学活动。低分辨率笔尖的意义来自整体上下文,街景中看似自然的局部却可能包含错误椅腿;持续观察会改变注意与理解,第一眼的完整感不能作为逐处正确的证据。大照片包含许多局部图像,也给图块级算法提供了观察对象。

绘画把注意力从对象名称转向外观形成:什么阴影和反射能让平面颜料被看成草莓。自然场景也藏着成像实验,树叶间的小孔可以投出太阳轮廓,线条的消失点布局改变平面方向感,运动曝光使近远物体产生不同模糊。每个现象把视觉体验连接到可研究的输入机制,而非只提一个抽象识别任务。

这些线索仍有局限。复杂图像中存在轮廓巧合,一般视点不能理解为永不意外;阴影和绳索可互相矛盾,支持关系要综合判断。雨滴里的多视图引出光场相机,图像投影的缺失信息则提醒观察与推断不能混同。湿沙、天空与材料外观等问题在本章主要用于提问,没有提供物理答案,本次保留为待学习问题,不补造机制。

进一步阅读:低分辨率识别依赖全局上下文;主观理解感可能掩盖局部矛盾;单幅图像包含多尺度局部样本;绘画关注外观如何形成;树叶间小孔可投出太阳像;消失点布局影响平面方向感;运动模糊结合曝光与相对运动;自然图像中偶然对齐不能忽略;接触判断需要协调多种线索;光场采样保留多观察方向;图像是受限投影而非全部现实。

原书依据 · 11 处

计算机视觉与社会

第四章要求把社会影响放在技术开发的起点。视觉算法能提供便利,也会把识别与分类错误转化为伤害;评价不能只看平均精度。人脸检测、身份分析与外观属性测量是不同任务,需要在明确阈值和数据条件下比较群体误报与漏报。

数据集只是世界的一种切片,收集与标签会遗漏或放大差异。合成配对数据、分布约束和反事实探针尝试减少捷径或分析属性敏感性,但每种方法都有前提:生成属性是否真正独立可控、训练分布是否值得保持、公平指标是否回答了实际问题。不能因一个测试集指标改善就宣布完成公平。

隐私另有专门约束。删除姓名不保证无法重新关联,差分隐私用输出分布随单个参与者变化的有限幅度提供保护。随机回答例使敏感真值与回答不再一一对应,但总体比例必须校正;保护并非绝无推断和伤害,精度也有代价。

伦理范围仍大于性能与隐私指标。即使各群体表现相同,监控、身份分类或自动决策仍可能不被接受;人盲信机器还会让纠错更难。书中关于同意、用途、权利和风险分配的问题用于引导讨论,没有统一结论,本次不以历史案例和假设收益替代现实判断。

进一步阅读:视觉系统错误可转化为现实伤害;公平评价必须分开人群与错误;人脸检测与分析任务不同;数据集只是世界的一种切片;表面相关可能放大社会偏差;合成配对样本试图打破捷径;公平目标决定约束是否适合;反事实探针依赖属性控制质量;匿名化可能被外部信息关联打破;差分隐私限制参与导致的变化;随机回答需要校正总体比例;噪声保护与统计精度有取舍;消除性能差异不能穷尽伦理;自动化偏见会加重纠错困难;影像标签不等同自我身份;伦理问题需要公开界定取舍。

原书依据 · 16 处

分部导言:图像形成

第二部分研究光如何被装置变成图像:针孔建立方向与位置的对应,透镜改进通光与成像,线性系统观点把相机扩展为可计算的编码测量,颜色则连接光谱和感知。后续几何章节将在这些成像假设上继续建立标定与三维推断。ℓ在不同段落可指图像或其它光学量,阅读方程需结合定义。

进一步阅读:。

成像

第五章从光与表面相互作用进入成像。几何光线近似用方向和强度描述光;材质反射决定从入射方向到观察方向分配多少光。朗伯模型把漫反射简化为入射方向与法向的关系,Phong再用高光项近似视角相关成分。真实外观通常比这些模型丰富,公式必须保留方向、受照范围和近似假设。

成像的关键是组织方向。普通漫反射墙面混合许多方向,小孔和遮光腔则让感光位置主要对应某条方向,于是形成倒像。孔越大在几何上越亮也越模糊;环境中的窗户和遮挡也可能偶然编码微弱图像。光学装置不只是孔径,投影面、杂散光控制和记录方式共同决定可用观察。

透视几何可用虚拟像面简化符号,由相似三角形得到x=fX/Z与y=fY/Z。像点确定的是射线,深度仍未知;转换到像素还要主点、尺度与轴方向。正交投影把深度缩放视为固定常量,在有限条件下近似远距离、小相对深度变化的情形。吸管相机通过角度筛选提供直观近似,后续透镜和线性系统将进一步拓展成像方式。

进一步阅读:几何光线是成像的一种近似;表面反射连接入射与观察方向;朗伯模型将漫反射与视角分开;Phong模型用高光项近似镜面;反射方向由法向对称得到;固定场景下光照贡献可叠加;普通墙面混合了多个入射方向;针孔将方向对应到成像位置;孔径大小影响通光与几何模糊;遮光与观看装置也属于相机;环境遮挡也能形成偶然相机;虚拟像面简化倒像符号;透视投影按深度缩放;像素坐标还需要尺度与主点;正交模型是有条件的透视近似;吸管相机用方向筛选形成近似。

原书依据 · 16 处

透镜

第六章解释透镜怎样在针孔取舍之外收集更多光。折射由介质折射率和相对法向的角度决定;借助近轴小角度与薄片厚度近似,可以推导表面斜率应如何随离轴距离变化。由此得到共轭物像距离1/a+1/b=1/f,以及曲率、折射率与焦距的关系。它们都是有条件的几何模型,不覆盖全部真实光学误差。

共轭点、平行光和中心直行光线提供光路绘制规则。透镜增加通光却仍按透视几何形成图像;按物距a、像距b定义,横向像物尺寸比应为b/a,原书倒写需要纠正。物距变化时聚焦点移动,固定传感器截到离焦光束便出现混淆圆。

景深由允许模糊容差定义,并不是整个距离段都精确合焦。较大的f数对应较小孔径,通常扩大可接受景深但减少通光。本章近似景深公式还依赖距离、焦距和容差的相对大小,不能只看孔径趋势。凹透镜以虚焦点描述发散,组合凸物镜和凹目镜可形成伽利略式望远镜;角放大率与横向成像放大率是不同量。

原书实验图帮助理解光路,本次只阅读、核对图与推导,没有搭建望远镜或开展激光实验。真实装置的材料、光轴、像差和观察方式仍需另外验证。

进一步阅读:透镜汇聚光线改善通光模糊取舍;折射角由介质与法向决定;近轴与薄透镜是不同近似;聚焦要求表面斜率随高度变化;薄透镜方程连接物距像距焦距;曲率与材料共同决定焦距;共轭点表达成像的双向对应;中心光线给出透视几何;横向放大率不是物距除像距;离焦把点扩成混淆圆;景深以允许模糊定义范围;光圈数大表示孔径相对更小;景深近似需控制距离与容差;凹透镜的虚焦点不是实交点;伽利略望远镜匹配实虚焦点;角放大率与横向放大率不同。

原书依据 · 16 处

作为线性系统的相机

第七章用线性代数统一传统和非传统相机。把场景光强离散为ℓw,传感器读数为ℓs,成像矩阵A说明每个测量混合了哪些输入。固定深度的一维世界使关系容易画清;更复杂场景则需扩展变量和几何。针孔在适当对应下近似单位映射,大孔把局部相加,而边缘和遮挡斑产生看似不像图像的编码信号。

重建需要解逆问题。观测噪声与病态A使直接求逆容易放大误差,二次正则化加入小范数偏好,以λ调节拟合与收缩。它改变了解而不是免费消除噪声;即使A为单位阵,λ非零时也会缩小结果。边缘相机累积光强,反演近似差分;遮挡斑则从总光中留下互补缺口,全一矩阵不能误认成单位阵。

转角相机把这些思路用于真实几何:隐藏目标通过地面反射造成微弱亮度变化,角向累积关系可用相邻扇区差分与正则化反演。实验先移除背景并主要提取运动变化,垂直方向被积分,输出是一维角度—时间信号。它展示计算与光学联合设计的可能,而非对任意墙角都能恢复完整场景的保证。

进一步阅读:相机测量不必直接像一张图;线性成像矩阵表示光的混合;平面一维模型限定未知量;针孔单位矩阵依赖对应与标度;直接反演可能放大噪声;正则化平衡数据与解的偏好;正则化逆需按实际公式计算;边缘相机以累积测量编码场景;遮挡斑相机记录总光的缺口;转角成像利用地面微弱光变;背景去除只保留变化部分;角向差分恢复累积光贡献。

原书依据 · 12 处

颜色

第八章把光的物理描述与颜色感知分开。棱镜和光栅用不同机制分离波长,光谱记录各波长的强度;表面反射把照明与反射谱逐波长相乘。看到颜色时已经混入材料、照明、几何和上下文,因此恢复物体颜色需要额外假设。连衣裙例不是像素自己改变,而是观察者对照明的解释不同。

三类视锥对高维光谱做不同的加权投影,使颜色测量可在三维响应空间中表达,也造成同色异谱:不同光谱可能看起来相同。颜色匹配希望再现响应,不必复制光谱;但固定真实原色的非负组合有色域限制,不能数学上可线性表达就保证物理上能显示。

线性代数明确再现系统的职责。C测量,M换成原色控制,P合成显示光谱;当测量与观察者张成相同响应子空间,并且CP可逆时,M=(CP)⁻¹给出模型内匹配。CIE XYZ提供标准测量坐标,xy归一化去掉整体强度,但并非三盏真实原色灯的直接配方。任意三个相机通道或非线性颜色空间也不能未经检查套同一矩阵。

颜色还与空间采样相互作用。Lab例说明,明暗结构模糊常更影响清晰感,部分色度模糊较不明显,这启发感知压缩。需要区分L*明度、物理亮度与具体压缩标准,不能把示例当作所有图像的无损保证。

进一步阅读:光谱与颜色外观不是同一个量;色散与衍射都可分离波长;三宽谱带只是颜色教学近似;反射光谱混合照明与材质;颜色恒常性面对乘积分解歧义;三类视锥把光谱投成三个响应;色觉采样与空间分辨率相关;配色目标是响应匹配非光谱复制;同色异谱来自低维投影;色度测量需保留观察者子空间;颜色换基只适用于相容线性空间;显示再现需要测量混合与原色;精确匹配条件仍有色域限制;色域受真实原色非负组合限制;CIE三刺激值可测但非三盏灯;色度归一化舍弃强度尺度;亮度与色度可分配不同采样率;Lab明度不是物理亮度本身;颜色再现的矩阵职责链。

原书依据 · 19 处

分部导言:学习基础

第三部分由学习问题的三项组成开始,依次讨论优化、泛化、神经网络、概率解释和反向传播。它将前面成像与颜色的输入表示,连接到从数据学习映射的统一框架;本导言起路线说明作用,具体机制分别在后续章节成卡。

进一步阅读:。

学习导论

学习可理解为产生算法的算法:训练从已见实例选择映射,测试处理未见实例。监督学习提供配对目标;无监督学习虽无逐样本标签,仍有数据与表示目标;强化学习用奖励评价策略,不能将在线收集经验误作排除离线数据的定义。有限示例通常不能唯一确定规律,不可计算目标也不会因有样本就变成可普遍精确求解。

目标、假设空间和优化器构成学习问题的骨架,而参数化会改变同一函数集合的优化行为。经验风险最小化关注训练平均损失,并非直接证明总体风险最优。给定合适噪声模型,最大似然可解释平方损失;加入先验则形成最大后验,选择一个众数仍不等于保留完整不确定性。

最小二乘以设计矩阵表达仿射拟合,通过正规方程求解。X列满秩才保证逆矩阵公式与唯一参数;一般零梯度判据还需可微、内点和凸性等条件。程序归纳把候选扩展为程序,增加表达范围也增加搜索与过拟合问题。

分类用独热目标和概率向量区分标签与预测。概率单纯形需要非负与和为1,softmax将分数归一化,交叉熵度量真实类别的负对数概率而非简单概率差。输出层尚未规定完整假设空间或优化器。元学习再加一层跨任务选择学习器的过程,需要在未见任务上评价。

进一步阅读:学习算法产生预测算法;监督学习从配对样本拟合映射;可计算性限制学习的精确目标;无监督学习仍有数据和目标;强化学习依奖励评价行为;学习问题需要三项明确选择;损失与目标须注明优化方向;相同函数空间可有不同参数化;经验风险只度量训练样本平均;似然解释依赖明确噪声模型;最大后验把先验加入拟合;仿射回归用设计矩阵统一表达;正规方程求解需区分秩条件;零梯度不是普遍最优判据;程序归纳扩大候选也扩大搜索;独热编码表达类别而非顺序;零一损失与可微替代各有角色;概率单纯形要求非负且和为一;柔最大从分数构造概率;交叉熵惩罚真类的低概率;输出层不足以定义完整分类器;元学习在任务层学习学习器;学习与元学习的两层输出。

原书依据 · 23 处

基于梯度的学习算法

优化是在明确损失与参数化后寻找较好参数的过程。零阶方法查询函数值,一阶方法使用梯度,二阶方法进一步利用曲率。基本梯度下降沿负梯度移动,学习率决定尺度,步数决定运行长度;适当局部信息不保证任意步长均下降,也不保证非凸问题的全局最优。

学习率调度让不同训练阶段采用不同尺度,指数、阶梯和线性衰减各有时间参数。线性与余弦调度依赖总步数,因此比较训练长度时可能同时改变整条轨迹。动量保留历史方向,有助持续下降,也会越过最优并引起振荡;首次达到低损失与最终稳定不是一回事。

真正需要的是有用下降信号,而不是抽象地要求处处可微。平坦区、爆炸梯度、不连续与多个低点带来不同困难。替代损失改变搜索地形,演化策略通过扰动估计方向,裁剪限制过大更新;这些机制各有适用条件,不能代替对原始目标的检查。

随机梯度用小批量近似全量平均梯度,以每步计算与估计噪声交换。目标是样本平均时批内也应除以批大小,原书对应公式的1/N需辨正。噪声有时可改善探索并形成隐式偏好,但最小范数与泛化效果须保留模型和初始化条件。

进一步阅读:优化器用局部信息迭代参数;梯度下降沿负梯度更新;学习率与步数是不同控制量;学习率衰减需注明时间尺度;比较训练长度须控制调度差异;动量累积历史更新方向;动量也可能越过低点并振荡;可微性不等于有用下降信号;梯度消失与爆炸阻碍不同;初始化影响非凸优化终点;替代损失改变可利用的地形;演化策略以扰动估计搜索方向;扰动采样不是保证每步改善;逐元素裁剪不同于范数裁剪;小批量梯度用批大小归一化;批大小平衡估计噪声与成本;随机梯度的噪声既可助也可扰;梯度优化的选择与诊断。

原书依据 · 18 处

泛化问题

学习与训练优化的差别在于未见数据。欠拟合意味着训练本身拟合不足,过拟合则是训练优势没有延伸到新样本。多项式例在固定基函数上做线性回归,随着阶数增加,表达集合扩大,也可能开始追随训练噪声。插值并非过拟合的充分判据,秩亏与数值不稳定还会让最终选择依赖优化实现。

评估要先确认指标。本章把经验风险叫approximation error,和常见逼近理论术语不同;泛化风险是新样本损失期望,验证集只是有限估计。图中的阈值错误率又不同于平方损失,所以曲线不能直接套用另一指标的单调性。经典U形有解释作用,却不能用参数数量单独预测深度模型泛化。

正则化在拟合之外加入软偏好。L1与平方L2的稀疏性效果不同,范数与范数平方也不可混称;最大后验解释需要对齐负对数与样本平均的尺度。奥卡姆剃刀是带先验的选择原则,不证明简单规则必然真实。过强正则可能压制数据提供的信号。

数据、先验和假设空间共同限制搜索。数据增加兼容证据,先验表达事前偏好,结构决定不可越过的表达边界。更多代表性信息有助识别,但不保证解决所有歧义;缩小空间可加快搜索,也可能把真关系排除。因此三种工具可以补充,不能无条件彼此替代。

进一步阅读:学习关注未见数据上的表现;欠拟合与过拟合需分别诊断;基函数回归对参数仍是线性;特征矩阵保留样本与维度职责;插值噪声不等于恢复规律;多组最优参数暴露隐式选择;训练误差与泛化风险别混名;验证集只能估计目标分布风险;误差曲线先确认实际度量;参数规模不唯一决定泛化;正则项给拟合加入软偏好;岭惩罚须区分范数与平方;一范数与二范数收缩不同;权重衰减与二范数惩罚需条件;正则化的先验解释要对齐符号;奥卡姆偏好不证明简单即真;查表式记忆展示拟合的不足;数据为候选增加兼容约束;先验过强也会压制真实信号;假设空间是不能越过的边界;数据与先验不能完全互换;约束真解搜索的三种来源。

原书依据 · 22 处

神经网络

神经网络从简单感知机开始:仿射加权后经过阈值,得到线性可分边界。多层感知机交替使用仿射变换与非线性,在隐藏空间重组信息,从而表示原始空间中的非线性分类。仿射层连续堆叠仍是仿射函数,非线性承担不可省略的职责。层数名称有歧义,实际结构比“深几层”更可靠。

参数与激活分别描述已学变换和某次输入的表示。训练将数据集汇总进参数,推理通过固定或指定参数转换输入。也可以固定网络优化输入或激活,但这需要另行注明约束。反向传播负责导数计算,优化器负责更新,二者不能合并成一个概念。

万能逼近说明足够宽的合适网络存在逼近连续函数的参数,并未保证高效学习或泛化。ReLU凸起组合给出表达直觉,跳点极限须区分误差意义;深度分离则说明某些函数通过复合可更省单元,而非所有任务越深越好。不同学习规则也可以作用于同一参数化空间。

实现思维围绕张量的轴展开。数据、激活和权重都是数组,但轴含义与矩阵乘法方向不同。批处理共享参数;批归一化还通过统计量耦合样本,层归一化则沿单样本特征处理。标准化、单位长度化及学习后的仿射参数各有不同几何效果。输出层再把内部表示变成概率、强度或其他任务表示,后续决策和编码仍需单独定义。

进一步阅读:感知机把加权输入送入阈值;单感知机的边界是超平面;反向传播求梯度而非选更新;多层感知机交替仿射与非线性;参数与激活承担不同职责;固定网络也能优化输入表示;训练与推理汇总不同尺度数据;深网络是多层函数复合;只有仿射层时加深不增非线性;隐藏表示可形成非线性边界;ReLU保留正区间下降信号;万能逼近是表达存在性结论;ReLU组合可构造局部凸起;宽度与深度改变表达效率;网络架构与学习规则可以分离;赫布规则依局部共同活动调整;张量各轴必须有明确含义;批处理共享参数而非混合样本;逐点激活的范围与梯度不同;批归一化先标准化再仿射;批归一化训练推理统计不同;层归一化沿单样本特征统计;单位范数化与标准化并不相同;归一化层可能耦合批内预测;输出映射要匹配任务表示;温度约定决定概率锐化方向;图像输出的范围不等于编码;并行效率依赖算子与布局;架构归纳偏置需符合任务结构;网络数据流与训练职责。

原书依据 · 30 处

作为分布变换器的神经网络

本章将网络理解为逐层改变数据分布的几何变换。映射图通过连接同一样本在相邻层的位置,展示伸缩、平移和非线性折叠;它区别于训练过程中的参数轨迹。每层激活都有对应分布,但并非都具显式密度,更不能与单样本类别概率混为一谈。

ReLU会将负坐标压到零,使点集在非负锥的边界积累。高维正象限的体积比例可以很小,但实际概率还取决于数据分布,且边界包含各种维度的面。L2归一化等操作又以不同方式压缩信息,因此网络不是始终可逆的空间重排。

分类例让不同类输出靠近不同独热顶点,训练检查点展示参数如何逐渐形成这种映射。目标需要每个输入与标签正确对应,仅匹配输出总体类别比例并不充分;有限softmax趋近顶点与准确argmax也是不同要求。

高维网络只能通过降维取得局部视图。原书CLIP视觉编码器示例联合投影选定层,能观察语义分组的变化,但不能从t-SNE图精确读取全局距离或所有中间过程。表示的价值仍需结合目标、数据与实际任务评估。

进一步阅读:映射图连接同一样本的层间位置;逐层表示也有各自的分布;仿射层与非线性改变几何不同;ReLU在低维边界聚集概率质量;正象限体积比例不是数据概率;分类匹配须保留标签对应关系;软输出靠近顶点不必精确到达;训练检查点与网络深度分开看;降维图只保留表示的部分信息;跨层降维需要说明共同坐标;语义分离图要结合训练目标读。

原书依据 · 11 处

反向传播

反向传播把链式法则组织成可复用的动态计算。不同参数梯度共享后续路径上的导数,逐层从损失往回传递,避免每个参数独立重算。模块只需知道本次前向的输入、参数和上游梯度,就可产生输入梯度与参数贡献。局部雅可比和最终目标梯度不是同一个量,行列布局也要保持一致。

完整流程先前向保存需要的信息,再从标量损失的导数1开始逆序求导。线性层的输入梯度乘W转置,同形权重梯度是上游列梯度与输入转置的外积;逐点激活通过局部导数门控,平方损失则提供误差乘相应尺度。实际计算可直接求向量雅可比积,无需展开大型稀疏矩阵。

在固定工作点,反向网络对上游梯度是线性的,其矩阵却由原权重和前向激活共同决定。不能因此认为所有输入到梯度的映射都线性。批量平均也须按实际计算图解释,存在跨样本统计时不能直接假设逐样本独立。

一般DAG引入拼接和复制后,反传遵循拆分与累加:拼接按原长度切片,分支把路径贡献相加,共享参数汇总每个使用位置。反传也可作用于输入,支持激活最大化等分析,但优化出的模式依赖模型、目标与先验,不能无条件等同自然概念或因果解释。

进一步阅读:计算图把参数也视为模块输入;反向传播复用链式法则公共项;局部雅可比与目标梯度不同;反向模块计算向量雅可比积;前向保存信息再逆序求导;平均损失的梯度也取平均;仿射层把梯度乘回权重转置;权重梯度是误差信号与输入外积;逐点非线性反传就是逐项门控;平方损失的系数决定梯度尺度;反向线性只针对固定工作点;前向激活可参数化反向网络;拼接反传按原长度拆分;复制分支的梯度必须相加;一般有向无环图依赖逆序累加;共享参数汇总所有使用位置;输入也能作为求导与优化对象;激活最大化暴露模型偏好;实现反传先对齐布局和缓存;反向传播的一次求导流程。

原书依据 · 20 处

分部导言:图像处理基础

第四部分从图像作为信号出发,引入线性滤波和傅里叶变换,为后续视觉表示提供工具。记号区分离散方括号、连续圆括号、信号向量与频域大写系数;卷积与相关使用不同符号。导言本身用于导航,实质机制分别在15和16章保留。

进一步阅读:。

线性图像滤波

图像处理先将图像视为信号:连续测量采样为离散索引,像素数组仍需要明确轴序与幅值编码。均值或直流描述平均水平,能量描述平方模累加;像素距离适合数值比较,却未必反映语义差异。有限记录、离散时间和量化也是不同选择。

线性系统满足叠加和齐次,可由一般权重矩阵描述。进一步要求输入平移时输出同移,权重便只依赖相对偏移,形成卷积。传统LTI的“不变”指系统规则不随位置改变,而输出性质是等变。固定旋转虽可线性,却不具有这种同位移关系。小核还提供局部连接和权重共享。

卷积滑动前反转核,相关则按本章实值约定保持模板方向。中心对称时两者相同,自由学习核可通过重参数化吸收反转,固定物理核却不能忽略。冲激是恒等核,平移冲激产生平移副本;交换与结合等代数性质需连同边界、截断和求和条件一起考虑。

有限数组的边界扩展是在猜测画面外内容,零、循环、镜像和重复各有代价。同尺寸填充量应按核半径计算,循环卷积则采用周期回绕模型。连续Dirac冲激是分布,不是普通有限高度函数。

模板匹配利用滑动相关,中心化与范数归一化可减少亮度和对比度的影响,但局部极大与阈值仍需定义,外观和几何变化也不自动解决。冲激响应还可用于识别固定LTI系统,房间回声例以多个延迟副本解释卷积,同时保留环境和测量条件。

进一步阅读:采样将连续自变量变成索引;图像坐标与数组轴需先对齐;直流分量描述平均水平;信号能量是平方模累加;像素距离不等于语义差异;线性系统满足叠加与齐次;一般线性滤波允许位置专属权重;平移等变使输出随输入同移;卷积权重只依相对位置;卷积滑动内积前需反转核;局部卷积对应重复的稀疏连接;卷积交换结合律须配边界协议;卷积的位移与支撑可推导;单位冲激是卷积的恒等核;均值核保直流但会受边界影响;固定旋转不等于平移卷积;边界扩展表达未观测区域假设;同尺寸填充量由核半径决定;循环卷积把索引按周期回绕;连续冲激是分布而非有限峰值;相关与卷积相差核中心反转;固定核方向与学习核区别对待;原始相关偏爱高亮高能量区域;归一化相关比较中心化方向;标准差归一化要核对样本数;模板定位需要局部极大与阈值;冲激响应可表征固定LTI系统;房间回声是延迟副本叠加;线性滤波的建模判断链。

原书依据 · 29 处

傅里叶分析

傅里叶分析提供比“清晰与模糊”更精确的语言:把信号写成不同频率复指数的组合。正弦余弦级数还规定区间外的延拓,离散波的周期依赖有理频率。二维频率要与图像尺寸、像素间距及条纹法向对应,不能只看编号大小。

有限DFT是完整正交换基,保留全部复系数即可逆;FFT只改变计算效率。正向负指数求和、逆向正指数除样本数的约定决定全部系数,原书几处缺失尺度不能混用。居中显示需取恰好一周期索引,实图编辑还要保留共轭对称。最大模系数截断对平方误差有最优性,但不直接等同感知最优。

冲激、格点波和矩形窗提供基本变换对,矩形频谱的旁瓣提示空间与频率集中度的取舍。Parseval关系在保留尺度后连接两域能量。圆周卷积成为频谱逐点乘积,空间乘法则成为带比例的频谱卷积;固定LTI算子以复指数为特征函数,这一限定比单说线性重要。

循环位移改变相位而不改模,真实相机移动因边界与遮挡通常只近似满足。频谱相除可在理想条件下估位移,但小分母会放大噪声。调制实现频移,符号和半幅副本也要按定义推导。连续时间、无限离散与有限离散的变换各有不同积分、求和及周期。

幅度和相位对不同图像的作用不同:相位对许多轮廓重要,幅度对周期纹理有价值。自然图像谱衰减是统计近似,不是每图精确公式。传递函数再以增益与相移描述低通、带通和高通,频率抑制并非语义对象删除。正弦探测启发对比敏感度实验,但人类视觉非线性且依赖观察条件。最后,单个全局频率系数不显式定位局部结构,完整复谱仍保留可重建的位置,后续需寻找兼顾空间与频率的表示。

进一步阅读:傅里叶表示把像素换成频率系数;正弦余弦展开规定不同延拓;离散正弦周期取决于有理频率;离散频率须结合长度和采样间隔;二维频率向量指向条纹法向;复指数统一正弦与余弦;DFT基正交保证系数唯一;正逆DFT必须配对归一化;DFT周期索引不能重复端点;傅里叶矩阵逆含尺度因子;快速变换改变算法不改定义;复谱幅度相位共同决定重建;实图频谱满足共轭对称;最大系数保留适合平方误差目标;冲激与常数在两域互换;格点正弦频谱在成对频点聚集;矩形窗的频谱具有旁瓣;可分离图像分成两个一维变换;能量守恒需带变换尺度;圆周卷积变成频谱逐点乘积;复指数是平移不变算子的特征函数;逐点乘法在频域变成卷积;循环位移只改变频谱相位;频谱相除估位移受零点影响;调制把频谱搬到新位置;变换类型由时域索引性质决定;相位组织边缘幅度保留纹理;自然图像谱衰减只是统计近似;周期与方向可由谱峰辨认;传递函数记录增益与相移;低通带通高通选择不同尺度;周期去除会影响同频其他结构;正弦探测可估计线性频率响应;对比敏感度依赖观察条件;全局傅里叶基缺少局部索引;空域与频域操作对应关系。

原书依据 · 36 处

分部导言:线性滤波器

第五部分依次比较低通模糊、带通导数与时空滤波。它把信号处理工具落实为可解释的视觉算子,并连接后续采样、尺度表示与运动估计。偏导下标和时空信号记号沿用前面约定,具体机制留在17—19章。

进一步阅读:。

模糊滤波器

模糊滤波通过抑制快速变化实现降噪和尺度调整,同时损失真实细节。盒核最简单,但单位盒先是求和,归一化后才是均值;方向核可只沿一轴平滑。其频率响应含旁瓣,交替高频不会被三抽头均值完全消除,重复盒核也会变成三角或梯形,而非仍保持盒形。

连续高斯用σ控制尺度,空间越宽频域越窄,卷积后方差相加。可分离结构降低直接计算成本,热扩散与中心极限定理提供进一步理解。但实际采样、截断和归一化会改变离散矩与响应,不能把连续结论全数直接移植,尤其不能假定离散高斯级联逐值等于标称方差相加后的采样核。

二项核在离散域提供另一条路线:反复卷积[1,1]产生Pascal系数,归一化后的方差为阶数的四分之一,完整卷积精确保持族内闭包。中心化[1,2,1]/4响应单调并在最高频点归零,二维外积可消除理想棋盘格噪声。不过消除一个最高频点不等于覆盖全部抗混叠要求,选择滤波器还应结合目标采样率、边界与细节损失。

进一步阅读:模糊降噪也会丢失真实细节;盒核先是求和归一化后才平均;方向盒核只沿指定轴平滑;盒滤波频率衰减并非单调;偶数长度对齐引入半样本偏移;盒核重复卷积不保持盒形;连续高斯尺度由标准差控制;离散高斯必须重新核对增益;可分离高斯减少核乘法次数;高斯两域宽度变化相反;高斯复合时相加的是方差;高斯极限需保留概率尺度条件;采样高斯不保精确卷积闭包;二项核由重复两抽头卷积构成;二项核卷积闭包精确保留;三抽头二项核在奈奎斯特点归零;最高频归零不等于理想抗混叠;二维二项核用外积构造。

原书依据 · 18 处

图像导数

本章把导数从边缘检测工具推进为可编辑、可重建的图像表示。离散化首先引入位置与频率上的选择:两点差分存在半点偏移,中心差分在奈奎斯特处存在盲点,二维分量还必须对齐。相邻有效差分只确定相对亮度;零边界提供锚点,伪逆则选择零均值解。对梯度做编辑后,重建要处理约束与不可积性。高斯导数把平滑和求导合并,使噪声鲁棒性与分辨率成为同一尺度选择;高阶与混合导数保留连续高斯的代数结构,二项式与 Sobel 是有限格点上的近似。方向导数可由两轴响应合成,拉普拉斯则由二阶偏导相加获得连续旋转不变的标量变化度量。视觉滤波与锐化说明同一组算子既能改变像素,也能解释部分知觉。Retinex 最后展示导数域先验的力量和边界:平滑照明、突变反射率的假设使分解可计算,但不会消除单图成像的歧义。

进一步阅读:导数表示局部变化;采样使导数变近似;两点差分的半点位置;中心差分的频率盲点;差分不是理想高通;罗伯茨交叉对齐;边界决定差分可逆性;有效差分丢失常数;伪逆不必是卷积;梯度域编辑需重建;修改梯度可能不可积;差分会放大独立噪声;高斯导数合并两步;高斯导数的正负两瓣;导数尺度改变所见结构;高阶高斯导数的构造;混合导数保持可分离;导数卷积阶数相加;二项式导数的离散替代;索贝尔组合平滑与求导;梯度与边缘方向不同;方向导数由两轴合成;拉普拉斯是二阶之和;高斯拉普拉斯抑制噪声;五点拉普拉斯的支撑;二阶响应区分线性趋势;零交叉轮廓也有边界条件;视觉滤波模型保留直流;瓦萨雷利错觉的局部解释;锐化来自原图减模糊;反复锐化也放大伪影;亮度并不等于反射率;雷蒂内克先验限制分解;雷蒂内克的重建链;反射率分解存在尺度歧义;小梯度也能累积成大变化;本征图像恢复物理原因。

原书依据 · 37 处

时间滤波器

本章把空间卷积扩展到视频,首先强调时间方向存在运动连续性与可用性约束。时空切片将匀速运动显成倾斜轨迹,亮度恒常模型又把该倾角转成频谱平面的约束。对滤波器而言,空间频率选择之外还必须说明因果性;离线视频能利用未来帧,实时处理则须付出延迟或采用因果近似。递归滤波把无限历史压缩成状态,而其稳定性取决于冲激响应的绝对可和性。时空高斯提供减噪基线,也揭示时间平均造成运动模糊;对核作运动剪切可沿目标轨迹聚合。最后,亮度恒常的链式法则导出空间与时间导数的线性关系,构造出消去指定速度的零化滤波器。它依赖局部模型并存在退化零响应,尚不是完整的速度估计算法。

进一步阅读:视频的时间轴具有结构;时空切片显露运动轨迹;匀速平移模型的假设;遮挡需要随动掩膜;匀速运动约束频谱平面;运动频谱倾斜不是旋转;因果性限制未来依赖;离线滤波允许未来帧;递归实现不必存无限历史;稳定性要求绝对可和;时空高斯须分开设尺度;时间平均使运动物体模糊;运动匹配模糊沿轨迹平均;时间差分检测变化;时间高斯导数估计变化率;亮度恒常产生运动方程;零化滤波器抵消目标速度;多速度局部零化有边界。

原书依据 · 18 处

分部导言:采样与多尺度表示

本分部把改变图像尺寸视为需要处理信息变换的操作:连续采样决定数字化能保存什么,重采样决定尺寸变化时保留什么,滤波器组与金字塔则组织多尺度信息。分部导言提供章节导航,没有另立知识命题,相关机制分别归入20–23章。

进一步阅读:。

图像采样与混叠

本章用频率混淆解释为什么样本数看似足够,仍可能重建出错误纹理。连续信号乘冲激列后,频谱成为周期副本;副本间距由采样周期的倒数控制,带限与奈奎斯特条件使这些副本可以分开。理想重建保留中心基带,时域表现为全局 sinc 插值,局部箱形、三角形和截窗核则用近似换取成本。二维推广需要同时考虑晶格及倒晶格,最优排列与预期频谱形状相连,而不只由像素数决定。抗混叠必须发生在采样前,主动移除新网格无法表达的高频,避免其污染低频。视频中时间欠采样与滚动快门进一步表明,采集时间也属于几何的一部分。最后,多通道与先验可能补充重建信息,但不能把凭空预测的细节与有观测约束的恢复混为一谈。

进一步阅读:采样选择信息与成本;相同样本对应不同波形;二维混叠会改变方向;带限是重建的关键前提;奈奎斯特条件要统一单位;冲激列连接两种表示;冲激抽样不能丢掉冲激;离散时间频率需缩放;采样让频谱周期复制;频谱副本重叠后难分离;理想重建选取基带;辛克插值通过原样本;理想辛克具有无限支撑;带限与时限不能兼得;二维辛克取决于频带形状;最近邻对应箱形重建;线性插值对应三角核;局部辛克需要明确窗口;采样晶格由基矩阵决定;倒晶格需要逆转置;六角采样优势有前提;抗混叠必须先于采样;抗混叠的箱形位于频域;时间欠采样会反转运动;滚动快门使行时间不同;补充观测可利用混叠。

原书依据 · 26 处

图像下采样与上采样

本章把连续采样理论落实到有限像素数组的尺寸变化。步长卷积的玩具案例说明,重采样不仅影响观感,还会改变下游特征。抽取是选择子网格的降维线性映射;其频域形式把多段原谱加到同一输出频率,矩阵形式则直观显示信息怎样混合。下采样因此先低通再抽取,但理想截止、有限支撑、振铃和模糊之间需要取舍。短二项式核便宜,却只近似压制别名;多级缩小时,每一级仍需配套滤波。上采样则按相反顺序工作:先插零扩展,再通过最近邻或线性等核插值。扩展是抽取的转置,不是逆;插值增加网格密度,也不等于恢复缺失细节。边界、样本对齐及核增益共同定义实际算子,尤其不能把相同形状的上下采样核混用归一化。

进一步阅读:步长卷积仍需抗混叠;抽取相位影响输出;抽取与下采样须区分;抽取是降维线性映射;下采样折叠多个频谱;保留原尺寸的抽样模型;矩阵形式看见频率混合;截止频率随倍率下降;理想截止带来全局核;加窗在成本和波纹间取舍;汉明窗缓和截断旁瓣;二项式低通不是硬截止;锐利频带可能造成光晕;保留位置即可计算卷积;下采样矩阵包含边界;多级缩小每级都需滤波;上采样不等于超分辨率;最近邻须定义坐标与并列;双线性使用四邻点;插零扩展是抽取的转置;扩展与插值分两步;插值三角核必须对称;上下采样核的增益不同;插零会产生频谱镜像;重复边界影响最后样本;重采样伪影会贯穿网络。

原书依据 · 26 处

滤波器组

本章把单个滤波器推进为多通道表示:高斯窗调制频率形成Gabor,使方向与频率信息同时具有空间定位。正交配对再经平方和,把对比极性与部分局部相位变化从响应中消除,而局部相位保留位置与结构差异。这样的不变性都有条件:幅度仍随对比度强弱变化,近似Hilbert配对与结构交叉项也会影响结果。滤波器组通过多尺度多方向覆盖频域;可转向理论则利用有限角谐波,让任意方向响应由少量基卷积合成。一阶、二阶以及奇偶配对所需基数不同,转向精确与配对近似必须分开判断。方向能量可显示局部组织,但平方带来的交叉项破坏线性叠加,需要空间平滑作折中。视频部分最终将频率选择组合成速度选择:单个时空频率团不足以辨速,多路响应沿候选运动平面聚合才提供更完整证据。

进一步阅读:窗口使频率分析局部化;复伽博核分离两种相位;空间局部性牺牲频率精度;复滤波频谱呈单个主瓣;余弦伽博并非零均值;希尔伯特变换移动相位;解析信号去除负频率;伽博正交对只是近似;局部能量平方后相加;能量不变于对比极性;冲激幅度恢复滤波包络;局部相位保留结构信息;能量低频性需要条件;滤波器组覆盖不同频带;恒定相对带宽需反向缩放;伽博变换是加窗傅里叶;可转向依赖有限角基;一阶二阶转向基数不同;增益图允许逐点转向;角向谐波决定精确转向;多项式径向窗提供有限基;采样保留同点线性组合;转向基不唯一可选可分离;正交近似和转向是两件事;七路基响应组成方向能量;能量不服从线性叠加;时空伽博不能唯一辨速;速度选择由频率平面聚合;运动能量网络分层计算;手工表示展示机制边界。

原书依据 · 30 处

图像金字塔

本章围绕“同一物体在不同尺寸下出现”组织多尺度表示。固定小模板配合图像金字塔比逐步放大模板更节省计算,但尺度覆盖本身不是精确尺度不变。线性变换的分析/合成关系先区分系数数量、完整性和自重建条件,为三类金字塔提供共同语言。Gaussian递归生成更粗的低通版本,保留原图层因而完整但冗余;Laplacian存每层相对粗层预测的残差,靠保留最粗低通层并逆序加回实现重建。多尺度融合利用这种可编辑的细节与色调分解,在各尺度使用相应的平滑掩膜,但仍需图像几何对齐。Steerable金字塔进一步分方向组织频带,以协调设计的滤波器组与抗混叠获得可重建的多尺度表示。矩阵可视化最后把局部支持、频带组织和冗余成本联系起来;表示更丰富、可逆或紧凑,是不同性质而非同一个优劣排序。

进一步阅读:图像金字塔复用固定模板;尺度倍率须区分边长面积;三类金字塔分解不同;过采样不保证完整;分析与合成需要左逆;自逆重建依赖紧框架;镜像滤波压缩成独立系数;高斯金字塔递归减分辨率;原图层让高斯表示完整;递归矩阵需连乘;拉普拉斯层存预测残差;扩展增益随维度补偿;保留最粗残差才能重建;残差重建不要求理想滤波;残差金字塔的编解码链;硬掩膜融合会形成接缝;融合掩膜使用高斯金字塔;多尺度融合不能代替对齐;可转向金字塔分解尺度方向;完美重建要求频谱覆盖;抗混叠支持平移稳定性;过完备表示便于局部编辑;矩阵图揭示局部与冗余。

原书依据 · 23 处

分部导言:视觉神经架构

本分部将视觉神经网络放回信号处理框架:卷积网络学习局部滤波,循环网络把状态沿时间传递,Transformer以向量token组织交互。符号从图像ℓ推广为任意形状输入x;卷积特征通常通道在前,token矩阵则按N×d排列。图中圆表示标量,方块表示多维激活,长方形特指token。这些是阅读约定而非新的知识卡命题。

进一步阅读:。

卷积神经网络

本章把前面手工滤波器、重采样与金字塔发展成学习式视觉系统。CNN以共享参数处理局部邻域,通道数决定学习多少类局部响应,步长与空洞则分别改变输出采样和核的支持位置。这样的效率约束伴随频谱风险:学习不保证消除抽取别名,空洞核也可能让低通出现多通带。空间可分离和SVD提供另一类低参数策略,必须与稀疏支撑区分。池化、归一化和逐点激活进一步改变不变性与信息组织,分类头汇聚空间,密集预测头则保留空间类别分布。水平/竖直线实验强调高同分布准确率不能替代机制分析:核频谱揭示候选捷径,调制测试使其失效,新增反例后仍需独立验证。特征图与感受野把表示内容和计算支撑分开;全卷积栈可解释为共享的非线性滑窗,但等变仍受边界和采样限制。编码解码器、U-Net拼接与ResNet残差加法最后展示不同信息路线,架构选择要围绕上下文、细节和计算预算进行。

进一步阅读:卷积网络共享局部处理;密集预测保留空间结构;相关与卷积需匹配权重;卷积带偏置是仿射层;多输入通道先滤波再求和;卷积参数数由通道决定;张量轴顺序必须写清;步长降低输出采样密度;学习不能保证消除别名;空洞卷积扩大核跨度;插空洞改变频率通带;级联空洞核增加表达范围;稀疏参数不等于低矩阵秩;可分离核降低空间计算;奇异值分解近似非分离核;插零加卷积不是逆卷积;均值池化仍是线性;局部池化只有限度容忍位移;跨通道池化需有对应语义;全局池化压缩空间位置;局部归一化规定比较邻域;分类头组合空间与通道;示意代码先核对接口语义;同分布高分不等于理解概念;查看核频谱产生可检验假设;域外测试要围绕机制构造;调制可暴露频率捷径;补充反例后仍需重新验证;特征图不必是照片;深层语义是经验趋势;主成分颜色不是固定语义;感受野区分支撑与影响;感受野与步距要分开递推;逐像素预测移除全局汇聚;全卷积栈是非线性滑窗;没有非线性可合并卷积;平移等变来自共享规则;编码解码器不保证互逆;联合编码解码压缩上下文;优网跳连传递高分辨率细节;残差网络加法与拼接不同;残差恒等路径不自动跳算;三类连接决定信息路线。

原书依据 · 43 处

循环神经网络

本章用视频中早先清晰、后来昏暗的观测说明为什么局部无状态处理需要记忆。循环层通过状态更新与读出让历史影响当前,时间步可以表示任何顺序计算。卷起图与有限展开图描述同一套共享参数,展开后的BPTT沿普通链式法则求导;截断降低成本,却切断跨窗口的学习归因。长期依赖难点来自状态雅可比的连乘,而不只是递归图看起来复杂。堆叠循环层增加每步深度,不能替代跨时间状态管理。LSTM进一步将持久细胞状态、候选写入、遗忘和输出读出分开,以加性通路提供较易保留信息的路径,但软门和有限状态都不保证永久记忆。最后要区分权重不变的状态适应与参数训练,反馈让调整成为可能,是否变得更好仍需检验。

进一步阅读:循环状态传递过去信息;时间步表示顺序计算;递归分开状态更新与读出;简单循环层共享时间参数;卷起与展开是同一递归;潜在长记忆不是无限存储;时间反传复用普通链式法则;截断反传改变学习依赖;共享参数梯度需要累加;长雅可比链导致梯度失衡;堆叠深度与时间长度不同;递归伪代码需补初态索引;长短期记忆分开细胞与隐藏态;遗忘门控制旧状态保留率;输入门与候选内容分工;输出门控制记忆读出;加性细胞通路缓解消失;门控状态更新的路线;状态适应不同于参数更新。

原书依据 · 19 处

Transformer

本章从局部卷积难以直接交换远距离信息的问题出发,把视觉输入改写为词元矩阵,并区分位置间汇集与词元内部特征变换。注意力用查询键匹配生成依赖内容的权重,再对值向量求加权和;多头并行提供多个汇集子空间,输出投影、逐词元网络、归一化和残差把它们组成可堆叠模块。这种结构的参数共享不能消除全局匹配的平方成本,示意性的颜色或计数故事也不能替代对归一化及输出维度的核验。没有位置或顺序限制时,模块对词元置换保持等变;图像分块、绝对位置和因果掩码则分别改变这一对称性。自回归任务尤其需要区分训练并行与生成顺序,并检查查询、值、残差和目标对齐的所有泄漏路径。最后,1×1卷积与图消息汇集提供理解局部映射和动态连接的两种视角,但不应把结构共享、稀疏、低秩与线性混为一谈。

进一步阅读:注意力提供远距离交互;共享投影控制参数规模;词元是向量化的信息单位;图像分块后投影成词元;两种混合沿不同轴进行;位置混合共享坐标权重;逐词元网络复用同一函数;动态权重使整体非线性;归一化汇集不同于计数;查询键值承担不同角色;查询键维度必须匹配;点积分数经缩放再归一;注意力输出必须加权求和;交叉注意力分开信息来源;自注意力从同组词元取值;注意力矩阵按查询行归一;权重非负不限制输出符号;学习到的关联不保证解释;双线性匹配不是距离度量;多头并行学习不同汇集;拼接多头后恢复特征维;预归一化块保留残差通路;层归一化作用于词元特征;块输出还需要任务读出;注意力伪代码要校准轴;无位置编码保持置换等变;置换对称可由矩阵推导;分块限制像素平移等变;逐词元投影对应一点卷积;全局注意力承担平方成本;因果掩码应作用于分数;三角权重不自动阻止泄漏;训练并行不等于生成并行;因果约束必须跨层成立;位置编码引入空间顺序;多尺度正弦描述坐标;学习位置编码需要检验外推;结构稀疏不等同低秩;注意力可看作图上消息汇集;视觉注意力块的数据路线。

原书依据 · 40 处

分部导言:图像概率模型

这一部分用逐步增加约束的概率模型解释图像规律:先从独立像素、频谱及滤波响应出发,再研究纹理的局部条件分布,最后用图模型表达模块化统计依赖。合成与去噪是检验这些假设的两条路线;模型能改善某类恢复任务,不代表已经刻画完整自然图像分布。

进一步阅读:。

统计图像模型

本章把图像建模看作逐步排除不自然排列的过程。独立像素模型拟合颜色直方图,却抛弃布局;落叶过程用遮挡引入区域边界,二阶相关及频谱再刻画位置间的变化尺度。高斯模型在均值协方差约束下给出清楚的概率框架,并导出频域维纳收缩,但随机相位实验也显示,仅有能量谱无法重建一般对象。自然图像局部带通响应的尖峰厚尾促使模型转向滤波响应分布;补洞的单变量例子把幂次选择与平滑或保边偏好直接联系起来,拉普拉斯先验则导出系数软阈值。进一步,MRF用条件独立描述局部依赖,非局部均值利用重复邻域汇集远处观测。整个递进说明低层统计虽有实用价值,仍不足以构成完整逼真的图像生成模型;概率归一化、噪声尺度及边界假设必须与算法一起交代。

进一步阅读:自然图像占据特殊分布;噪声与纹理需要生成假设;采样能暴露模型遗漏;独立像素模型丢失布局;直方图要归一成概率;直方图匹配保留强度次序;相邻像素相关揭示结构;落叶模型用遮挡生成边界;自相关与功率谱相联系;幅度幂律不同于功率幂律;高斯模型表达二阶约束;周期平稳使傅里叶解耦;随机相位保留频谱结构;颜色去相关不等于独立;频谱相同仍可失去对象;后验结合观测与图像先验;高斯先验导出维纳收缩;去噪残差可以揭示失真;带通响应表现尖峰厚尾;线性高斯封闭形成检验;广义拉普拉斯调节尾形;滤波边缘乘积需要归一;先验最优不等于典型图像;差分幂次决定补洞偏好;拉普拉斯先验产生软阈值;子带噪声方差随滤波改变;马尔可夫性是条件独立;非局部均值比较邻域;相似度带宽与块大小分开;先验有效不代表生成逼真。

原书依据 · 30 处

纹理

本章把纹理看作相似元素的集合统计,并用瞬认、拥挤和前注意区分说明,视觉并不总是逐一保持元素身份。纹理合成于是成为表征检验:从参考图抽取信息,再观察仅凭这些信息能否产生同类质感。Heeger–Bergen方法保存多尺度多方向响应直方图,在图像域与子带域交替匹配;它可从噪声形成结构,却容易遗漏跨尺度、长程和大型元素关系,继续迭代也未必更好。Efros–Leung转而保存参考图,通过已知邻域检索并随机复制中心值,取得更丰富局部约束;邻域大小同时控制结构完整性、候选稀少和内容重复。两条路线分别连接到迭代统计约束与条件顺序生成,也为理解深度生成提供入口,但不能把这些概念类比直接当作算法等价。最终判断仍取决于目标结构、样本多样性以及人类认为相关的纹理差异。

进一步阅读:纹理表征关注集合统计;裁剪样本不等于理解表征;少量瞬认与逐项计数不同;拥挤影响特征绑定;纹理区分依赖所保留特征;分析和合成检验同一表示;子带直方图压缩纹理信息;变换覆盖与混叠影响合成;双域匹配交替施加约束;单调映射调整响应分布;迭代次数不是质量保证;独立子带统计遗漏联合关系;参数纹理模型依赖选定统计;邻域匹配形成条件采样;部分邻域匹配要管理掩码;保留样本不保证学到分布;邻域大小决定结构视野;保结构与避免复制需要权衡;顺序纹理合成关联自回归;迭代纹理合成不等于扩散;统计匹配可以学习特征;感知相似需要独立检验。

原书依据 · 22 处

概率图模型

本章用图结构把复杂联合分布拆成局部因子,先区分无向图的条件分隔与有向无环图的条件概率分解,再说明观测如何转成局部证据。推断并不是直接选一个看似合理的标签:后验边缘保留各种解释,点估计还需由错误代价决定。链和树的关键优势是求和可沿分解重新排列,消息缓存发送侧子树对收件状态的支持,避免全局枚举。叶向根、再根向叶的两趟传播使全部节点共享这些中间计算,归一化后得到精确边缘。立体扫描线示例进一步展示局部匹配证据与平滑势如何共同影响视差。转向有环图时,局部更新仍可能实用,却失去一般收敛及精确保证;树宽、Bethe近似与联合MAP的不同目标必须分别理解。最后,神经计算图与概率图可互相结合,但节点、边和消息的语义不能仅凭形似混同。

进一步阅读:概率图表达分布结构;无边不等于边缘独立;有边允许依赖而非强制;极大团不等于最大团;正分布连接独立与团分解;固定观测将证据纳入局部势;网格图描述空间邻接;有向分解需要无环结构;点估计取决于错误代价;连续精确命中不能照搬零一损失;平方损失选择后验均值;高斯均值和众数重合;边缘化汇总其余状态;局部求和避免全局枚举;消息是收件节点的函数;树上消息汇集后消去发送态;排除回信避免重复计入;消息乘积要再归一;两趟遍历得到全部边缘;消息缩放改善数值稳定;观测消息选取对应状态;弱相容边稀释远处证据;立体匹配分开证据与连续性;相同标签偏好不禁止边界;离散视差精度受分箱限制;图的树宽影响精确代价;有环消息传递属于近似;固定点不保证全局最优;最大积保留最优数值;逐点最优不等于联合最优;计算图与概率图含义不同;树上边缘推断的数据路线。

原书依据 · 32 处

分部导言:生成与表示学习

这一部分把从图像到表示的编码与从表示到图像的生成放在同一框架下研究。先考察表示目标与知觉分组,再建立生成、潜在表示及条件生成模型;二者相互约束,但一般不能假设压缩编码都有精确可逆的生成映射。

进一步阅读:。

表示学习

本章把表示学习的关键放在目标设计:表示是否好,取决于它怎样帮助之后的任务。压缩需与信息保留配合,否则常量编码就足够;预测则通过目标决定哪些信息值得留下。自动编码器以受限瓶颈和重建损失训练编解码,线性平方情形联系PCA,但重建不独自决定潜在距离是否适合分类。预任务可使用人工标签,也可从数据的空间、通道或时间视图中构造自监督,部分实例会出现物体选择性,却不能据此泛化为所有网络自动理解对象。离散压缩引出k均值,把分配和码本交替优化;对比方法则通过正对不变性和负对区分来塑造几何。间隔、InfoNCE、单位球面上的对齐及均匀性提供不同的操作目标,但配对、增强、有限样本和理论条件仍决定实际行为。贯穿本章的结论是:训练损失规定取舍,表示质量必须回到具体任务和独立评估中确认。

进一步阅读:好表示取决于后续任务;压缩要配合信息保留目标;干扰因素由任务定义;描述长度原则需要完整代价;预测目标规定保留信息;自动编码同时训练编解码;重建损失决定保真偏好;线性自动编码联系主成分;重建好不保证任务距离好;不同网络层保留不同相似性;表示评估要隔开查询与参考;预任务服务于编码器训练;预测编码与预测学习不同;标签预任务仍可使用监督;隐层物体选择性不是完整检测;自监督从数据构造目标;缺失值任务涵盖多种轴;抽象预任务也可能学捷径;向量量化用离散代码概括;聚类同时学习分配与码本;交替优化两组聚类变量;簇均值除以簇内样本数;聚类几何由特征尺度决定;硬聚类不自带概率语义;对齐目标可能坍缩;正负配对定义表示差异;共现视图可以使用不同编码器;三元组约束相对距离;成对间隔损失要看符号;信息对比视为候选分类;归一化限制向量尺度投机;对齐与均匀分布互相牵制;增强选择改变嵌入偏好;架构等变不等于严格不变;表示目标之间需要权衡。

原书依据 · 35 处

知觉分组

本章将表示学习收束到一个具体问题:怎样把视觉基元组织成轮廓、表面、物体及关系,以支持后续推理。语言能帮助说明这种结构的用途,却不能穷尽无名但连贯的视觉组。分割先要确定目标粒度,再选择特征与分组规则;颜色k均值展示了简单特征在合适场景中的作用,也暴露它不保证语义和空间连通的限制。亲和度方法进一步把同组线索转成嵌入,再用简单聚类读出,密集自监督特征提供一种实现入口,但图像级共现并不是精确对象标签。区域与边界是互补组织方式,边缘物理来源仍需区分;层表示则保留前后顺序,在缺少准确距离时也能支持行为。神经隐层可能学到相关结构,但是否成为可靠对象与关系表示,仍应通过明确的读出任务验证。

进一步阅读:知觉分组建立中层结构;可命名性不是分组前提;分割粒度需要任务规定;像素特征决定聚类含义;颜色分组不保证空间连通;颜色聚类成功依赖图像条件;亲和度与距离方向相反;学习嵌入再执行简单聚类;共现线索不等于对象同一;密集特征聚类需要空间对齐;不同自监督方法机制不同;边界与区域提供互补表示;遮挡轮廓提供深度线索;分层视差近似空间深度;顺序深度不同于度量深度;隐层涌现不等于显式分组;离散分组连接连续表示。

原书依据 · 17 处

生成模型

本章把生成解释为构造数据分布,随机输入使一个条件对应许多可能图像。手写河流程序展示了基本机制,而从数据学习则引出泛化与分布匹配:记住训练集或反复生成高分样本都不足够。密度模型显式评分,通过正向KL联系最大似然;能量模型将归一化难点留在配分函数,用相对能量和输入梯度支持推断,其训练梯度同时需要数据正相与模型负相。简单高斯给出可解析的学习例子,自回归再利用链式分解,把高维联合建模拆成条件分类并顺序抽样。扩散使用可定义的前向损坏提供反向学习信号,但均方去噪并非精确逆,完整生成还依赖采样动力学。GAN转而用学习到的判别反馈训练一次前向生成,将逐样本优化摊销到共享映射。比较这些模型时,应分别考察评分、采样、控制、速度、多样性及泛化,避免将一种能力当成所有能力的保证。

进一步阅读:随机输入表达生成多样性;潜在坐标不保证语义解耦;生成噪声提供变化来源;无条件生成仍受训练分布约束;程序生成由随机决策驱动;分布匹配超过单项统计;记住训练集不等于泛化;采样与寻找众数不同;生成器与密度函数各有接口;最大似然联系正向散度;散度方向决定所需信息;密度归一化不等于点概率;能量需要有限配分函数;能量差提供相对密度;输入梯度不需要配分函数;低密度不是可靠异常真值;归一化密度不是诊断概率;能量似然梯度含正负两相;截断对比散度带来采样偏差;梯度为零不证明分布相同;采样能否可控要单独评估;高斯归一常数随方差变化;高斯极大似然用总体分母;平方回归隐含条件噪声假设;分类条件分布逐步组成图像;链式分解不要求条件项独立;像素顺序改变模型归纳偏好;自回归似然是条件项之和;重叠前缀允许复用计算;逐步取众数不同于祖先抽样;自回归随机性也可视为隐变量;前向扩散衰减信号并加噪;噪声级别是去噪条件;前向过程提供监督样本;均方去噪不能唯一逆转噪声;预测噪声需配套缩放公式;扩散生成需定义完整采样器;对抗生成学习可区分差异;判别分数语义必须一致;交替更新形成变化中的目标;判别器不是数据密度函数;生成器摊销逐样本优化;生成能力需要多个维度判断。

原书依据 · 43 处

生成建模与表示学习

本章把编码与生成放在同一概率框架中,说明潜变量既是生成控制量,也可能成为有用表示,但一般不具有唯一可逆或完整因果语义。普通自动编码器虽能重建,潜空间分布却未必适合任意随机采样;VAE为先验和条件解码分布建立模型,并以连续混合的边缘似然解释观测。直接先验抽样常浪费计算,重要性提议引出后验,而变分编码器又把复杂后验近似成可计算的条件分布。ELBO通过Jensen不等式及后验KL差距连接到真实对数似然,使编解码共享可估计目标。高斯情形进一步拆成重建似然和解析KL,重参数化让随机潜样本保留参数梯度路径。这个结构带来表示与生成两种用途,也带来信息保留、先验匹配、推断误差及后验坍缩的取舍。河流与GAN潜遍历展示可能的语义方向,但统计独立和局部可控并不等于真正的语义解耦或真实生成原因识别。

进一步阅读:编码与生成可以共同学习;反向传播不是函数反演;潜变量完备依赖生成假设;已知潜先验支持从头生成;边缘似然汇总潜在解释;普通重建未规定潜先验;高斯解码器构成连续混合;混合权重是概率测度;先验蒙特卡洛容易浪费样本;密度无偏不推出对数无偏;重要性权重补偿抽样偏好;后验是理想重要性提议;简单条件不保证简单后验;变分编码器输出分布参数;摊销推断复用观测到后验映射;证据下界由后验差距决定;编码与生成可共享下界目标;下界分开重建与先验约束;单样本目标不是精确似然;高斯先验的散度可解析;高斯重建须保留尺度项;重参数化保留可导路径;方差参数化需要保证正值;重建与潜约束需要平衡;条件后验与聚合分布不同;统计独立不等于语义解耦;潜变量遍历检验局部控制;发现的因素未必是真实机制;生成潜空间不自带反演器;表示用途决定保留哪一端;变分编码训练的数据路线。

原书依据 · 31 处

条件生成模型

本章以上色说明预测中两个不同困难:多种合理答案使单一条件均值可能不逼真,逐像素分布又无法单独协调整件物体的共同选择。联合量化遭遇指数类别数,结构化条件生成因此成为表达多峰与输出关联的一条路线。条件GAN让判别器同时检查外观与输入关系,cVAE用条件后验训练潜解释,自回归与扩散则在各步预测中持续读取条件。统一框架并不消除概率、条件泄漏、生成速度与多样性的具体差异。图像翻译进一步展示确定性U-Net与学习到的局部判别损失如何结合,PatchGAN感受野规定可看见的错误尺度,而逐点损失提供配对约束。没有配对时,仅匹配目标域外观无法确定正确对应;循环一致增加信息保留及近似可逆偏好,却仍允许语义错误的可逆映射。选择模型要回到条件信息、任务可逆性、局部与全局结构,以及是否需要同一输入下的多种输出。

进一步阅读:多解预测需要区分决策与分布;条件均值可能落在低密度区;预测方差仍可能遗漏多峰;条件混合参数需满足约束;分类分布表达力受离散空间限制;联合量化类别数指数增长;色域与数字精度需要指定;条件独立不同于无条件独立;平方损失不证明真实输出独立;逐点决策可能破坏整体一致;共享潜变量协调多个输出;摊销推断并非总是一次前向;条件判别器检查输入输出关系;对抗条件分布一致需要理想条件;条件先验可依赖输入;条件变分编码器训练看见目标;潜变量解释依赖观察范围;条件前缀保留输出自回归;条件扩散持续读取条件信号;添加条件不保证模型服从条件;图像翻译统一多种输出任务;无随机生成器只给条件单解;对抗损失与逐点损失分工;判别器感受野决定可见错误;平均块分数不等于平均块损失;重叠图块不是独立新样本;无配对训练仍需领域归属;匹配边缘分布不能确定映射;循环一致鼓励保留可逆信息;循环一致仍有配对歧义;不可逆任务不适合强迫逐点循环。

原书依据 · 31 处

分部导言:学习式视觉的挑战

第十部把讨论从模型内部转到模型面对的数据环境:先看偏差和分布漂移如何使泛化失效,再讨论增强与迁移适配。这里的关键是先定义部署参照,再选择补救措施。

进一步阅读:。

数据偏差与分布漂移

本章从上色系统在历史照片上失败说明,代码正确与同分布测试优秀并不能排除部署失败。图像内容与成像风格都可能改变;狗嘴与粉红舌头的共现还展示了模型如何采用数据捷径。回归图把这个问题转为局部拟合与域外预测:训练区内的约束不足以确定区外行为。

二域玩具实验使用共享二次函数和不同高斯输入,交叉域误差矩阵揭示迁移方向不对称,学习曲线则衡量同一目标测试分布下扩数是否有效。书中的十倍样本结论依赖这一实验。数据集身份游戏、历史汽车样本价值表进一步说明来源的统计指纹与样本价值的目标依赖性,不能推出固定的跨任务数据价格。

偏差沿采集链逐步形成:拍摄者偏好典型视角,搜索和采集协议偏向特定场景,标注选择与语言规范再筛一次,社会群体的覆盖与标签假设也进入模型。测试集又反过来决定算法选择,因而评估偏差会把整个优化过程导向错误目标。所有偏差讨论都需要写清相对哪个世界切片。

最后的对抗输入把自然漂移推进到对手选择的最坏情形。按目标类交叉熵定义,定向攻击应最小化目标损失;原式取最大值与文字意图冲突。梯度访问与公开查询需分开,小范数与不可察觉也不能画等号。平均风险不能控制任意最坏错误,后续增强与迁移学习需要明确所覆盖的变化及其边界。

进一步阅读:未来分布未必同过去;上色失败来自域差异;舌头共现变成捷径;域外拟合可以任意差;时间本身可以改变域;用交叉域误差矩阵;样本价值依赖测试域;学习曲线检验扩数效果;数据偏差必须有参照;数据集身份也能被识别;跨数据样本价值不对称;典型视角造成摄影偏差;容易识别不等于代表性;视频也有拍摄者偏好;搜索结果继承采集偏差;标注选择会叠加偏差;社会偏差横跨图与标签;测试偏差会扭曲模型选择;对抗漂移由对手选择;定向扰动应最小化目标损失;公开查询不等于梯度访问;平均风险不约束最坏情形;偏差治理需要两条路径。

原书依据 · 23 处

鲁棒性与通用性训练

本章以扩大训练分布为统一思路。普通增强通过采样变换生成副本,但“标签不动”有明确条件:任务必须对变换不变。分割等结构化任务则要求输入与标签同步几何变换,满足等变关系。域随机化将相同思路放到模拟器参数上,而非仅处理既有像素。

手工变换难表达姿态等复杂变化时,可利用编码器与生成器,在潜空间加入扰动再解码。算法虽然沿用标签,却没有证明标签一定正确,潜空间的小距离也未必等于小语义变化。同数据训练生成器再增强,可以理解成新学习算法,可能起正则化作用,但没有新观测;外部预训练生成器则引入外部先验。

随机增强按变换分布平均损失;对抗训练在指定集合内先取最坏损失,再由外层学习降低它。扰动球中的半径与范数决定范围,近似求解不构成所有攻击下的保障。最后,多任务训练可把上色与补全统一成数据填补,借此共享不同任务数据。更多数据、任务和条件有助于通用性,但覆盖质量与实际评估仍决定这些变化是否相关。

进一步阅读:增强扩展的是变换覆盖;保留标签需要不变性;结构化标签要同步变换;域随机化改变仿真参数;二维重叠不能证明同分布;增强不保证精确不变;潜空间扰动用于生成增强;为生成器学习近似逆映射;生成增强保标签需验证;自举增强没有新增观测;外部生成器带来先验;随机增强优化平均变换风险;对抗训练优化内层最坏值;扰动球定义鲁棒范围;多任务共享需要统一接口;规模不替代覆盖质量。

原书依据 · 16 处

迁移学习与适配

迁移学习把知识获取与新任务适配分开,解释为何预训练模型能在少量目标样本上学习:少的是新任务样本,并非系统的全部知识来源。微调用旧权重初始化,但输入输出不兼容时需替换接口。更一般地,计算图中每个模块都可以单独选择冻结、微调或从零训练;低秩更新限制可训练自由度,线性探针则读取固定表示中的信息。

教师学习迁移的是行为或中间表征。分类蒸馏以教师的完整概率分布为软标签,包含类别间的相似信号,同时继承教师的局限。提示将适配变量移到像素、特征或 token;可以冻结主模型,只训练提示。人类可解释的文本或笔画提示还依赖模型此前学会使用这些条件,不是任意模型都天然理解它们。

域适配把两域输入变得相似;算法 37.2 的流程是先训练源分类器,再训练目标到源的翻译器,最后组合推理。输入分布对齐不能保证类别语义保持,循环约束也不解决所有歧义。生成数据则转移生成器所学先验,样本数量和可控性并不自动保证质量。

全章最终将方法重排为组件选择:先训练什么,适配改什么,推理用什么。损失、优化器甚至学习程序都可以成为迁移对象。序列模型处理样例形成隐藏状态,再回答查询,展示了不更新权重的上下文学习;这依赖状态、顺序与查询协议,并不保证所有序列模型自动成为好的学习器。

进一步阅读:少样本依赖已有知识;零样本需要说明适配边界;预训练是知识获取阶段;微调以旧参数作为起点;新任务接口可能需要替换;迁移可按模块分别选择;冻结参数与固定行为有别;低秩更新限制适配自由度;线性探针测可线性读出性;教师知识可来自不同位置;蒸馏学习软类别分布;软标签包含类别相似信息;提示通过输入改变行为;学习提示优化共享输入参数;图注优先辨清提示任务;提示token经注意力作用;可提示系统也需要训练;域适配需保持任务语义;无监督域适配不使用目标标签;无配对翻译不能保证类对齐;合成数据迁移生成先验;损失与优化器也能迁移;以组件清单比较迁移方法;上下文学习改变状态而非权重;序列学习需说明顺序与重置。

原书依据 · 25 处

分部导言:理解几何

第十一部以三维世界如何投影到二维图像为起点:坐标与变换提供语言,相机模型说明成像,再通过立体、单应与单图线索讨论几何恢复。逆投影存在信息缺失,后续方法各自增加假设与观测。

进一步阅读:。

图像与几何表示

本章先区分数组、显式点集与坐标函数三种图像表示。表示并不只是存储格式:它决定几何和邻域是否显式,决定旋转究竟是在移动点、处理强度还是查询函数。最终显示仍需规则网格采样。

齐次坐标把有限点放到比例等价类中,最后一项非零时才可去齐次化;无穷远点则以零末项统一表达。额外维度把平移纳入矩阵乘法,使旋转、缩放与平移能够复合。列向量的矩阵右侧先作用,绕任意中心变换要先移到原点再移回。二维刚性、相似、仿射与射影变换按保留长度、角度、平行关系逐步放宽,涉及群时必须可逆。

点与线的关联写成内积为零,两点叉积得连线,两线叉积得交点,有限与无穷远共用代数结构。重合点或重合线会产生零叉积,法向量只有归一化后才能直接用于距离,不能机械套公式。

几何变换坐标后还要重新取样。简单前向投点会发生碰撞与空洞;逆向采样逐个目标像素寻找源位置,但不代替抗混叠。缩小时需要滤波与足迹尺度,MIP金字塔可提高效率。隐式神经图像仍受同样采样约束,连续查询既不保证真实细节,也不保证图外内容正确。最后,图像对齐把问题反过来,估计变换而非应用给定变换。

进一步阅读:图像表示决定显式结构;点集平移只改坐标;齐次坐标按比例等价;去齐次化要求末项非零;理想点表示无穷远方向;齐次点相加依赖代表选择;平移可以统一成矩阵乘法;平移复合对应位移相加;缩放的面积因子取绝对值;旋转方向取决于坐标约定;旋转由正交性保持距离;小角近似不是精确错切;错切参数按矩阵位置理解;复合矩阵右侧先作用;绕任意中心旋转需夹平移;变换族按保持性质区分;仿射矩阵有六个自由度;射影变换有八个自由度;显式坐标改变卷积的含义;变换点集后仍需重采样;齐次线向量编码关联关系;线法向归一化才有距离;两点叉积给出连线;两线叉积统一有限与无穷交点;行列式检验共线与共点;三维平面用四维向量表达;前向投点容易留空洞;逆向采样逐个覆盖目标格;缩小时插值仍需抗混叠;多级纹理按足迹选择尺度;隐式图像学习坐标到颜色;隐式重采样也走逆变换;图像对齐反求变换参数。

原书依据 · 33 处

相机建模与标定

本章用“世界坐标→相机坐标→像素”串起成像与标定。齐次表示让投影写成矩阵乘法,像素仍需除深度。内参将物理焦距变成像素尺度,处理主点、两轴尺度和偏斜,畸变则需额外映射。已知内参的像素反投影得到射线,未知深度仍没有消失。

外参需要特别区分相机中心T与矩阵平移列t:P_C=R(P_W−T),所以t=−RT。完整透视矩阵M=K[R|−RT]按比例定义。水平与俯仰相机的例子展示地平线如何约束方向;同高物体投在同一行有平面、横滚和坐标约定条件。三维旋转顺序和模型简化也必须写清。

DLT把3D–2D对应关系变成齐次线性系统,一般相机有11自由度,至少六对且几何非退化,噪声下用更多对应并加单位范数约束求最小奇异向量。代数残差没有直接像素意义,因而常用于初始化。随后分解M提取中心、上三角内参与旋转,修正符号和尺度,再以重投影损失优化,并保持旋转合法。

平面板多姿态方法通过多视图共享内参提供额外约束,不能与单张共面DLT混淆。办公室例从手工场景尺寸恢复相机高度,但必须把数值误差、坐标翻转和轴向可视化纳入解释。书中还有若干宽高、角度和符号矛盾;保留机制而不复用错误数值,是实现可靠标定的前提。

进一步阅读:先换相机坐标再投影;齐次线性不消除透视除法;正交投影忽略深度缩放;像素焦距连接物理与图像尺度;主点不必等于图像中心;内参包含两轴尺度与偏斜;内参符号取决于坐标定义;像素反投影得到射线;世界射线需反向旋转;尺寸测焦距只是粗检查;标定要同时解释畸变;相机中心不等于外参平移列;位姿与坐标变换互为逆;完整相机矩阵按比例定义;同高点投到地平线需条件;俯仰地平线能约束焦距;俯仰计算保留正负号;旋转复合需固定轴的约定;简化相机等式依赖额外假设;DLT由对应点构造齐次约束;相机DLT通常至少六对;DLT必须排除零解;代数残差不是像素距离;用已知投影检查展平顺序;从投影矩阵提取相机中心;上三角正交分解恢复内外参;分解符号必须成对修正;多姿态平面标定约束内参;重投影损失回到图像空间;非线性标定要保持参数合法;零基索引翻转注意边界;低残差不独证参数可信;相机朝向由逆旋转读出;夹角公式不能忽略反余弦值;相片几何可透露拍摄条件。

原书依据 · 35 处

立体视觉

本章把立体视觉拆为几何与对应:双目视差先要找对,再能通过相机模型恢复深度。已知高度测距与两点三角测量给出尺度和条件数的直觉;随机点立体图则证明视差不必依赖可识别对象。标准校正双目满足Z=f_xB/δ,远距离的小视差使深度误差放大。

匹配困难来自无纹理、重复强度、反射与遮挡。结构张量的最小特征值描述局部可定位性,方向直方图描述局部结构,但检测和描述不保证双图一一对应。稀疏到稠密还需表面关系,链树精确推断与SGM多路径近似的适用范围不同。

任意相机姿态下,一个像点反投影的射线在另一图形成极线。极平面、极线与极点用E或F编码:归一化坐标用E=[T]_×R,像素用F=K2^(−T)EK1^−1。非零基线下E秩2且两奇异值相等,F只要求秩2;极点由左右零空间得到,噪声时应求SVD。E分解恢复相对姿态方向,仍缺绝对基线尺度。

校正让极线同行,之后共享特征与代价体可保存候选视差,再由空间聚合估计结果。平面在校正视差空间具有仿射结构,可用于正则化。最后转深度与点云不能漏焦距基线,也不能混淆相机与世界坐标。评测需要有效区域、遮挡和域条件;增加网络或视角都不自动消除几何歧义。

进一步阅读:立体视觉分匹配与三角测量;已知高度提供单视角尺度;三角测量依赖足够基线;随机点立体图隔离视差线索;双色立体图需正确分眼;双针孔间距影响融合;视差反深度关系有几何前提;视差依赖相机配置;远处深度对视差误差更敏感;同亮度像素不是可靠对应;视差空间图展示匹配歧义;角点在各方向都易定位;最小特征值判据与Harris有;两图独立检测不保证重复;方向直方图描述局部结构;视差插值需要表面先验;半全局匹配是多路径近似;极线将搜索降到一维;极平面由基线与场景点确定;极点是另一相机中心的像;本质矩阵表达归一化几何;本质矩阵五自由度有前提;基础矩阵需左右各自内参;基础矩阵秩约束少一自由度;奇异值投影落实几何约束;分解本质矩阵不恢复绝对尺度;极点由左右奇异向量求取;极线方向须按矩阵侧区分;校正把对应极线放到同行;平面视差在校正条件下仿射;像素视差转深度不能漏尺度;深度反投影先得到相机点;代价体保留多视差假设;三维聚合以算力换一致性;监督视差需要有效区域掩码;立体评估同时关注域与区域。

原书依据 · 36 处

单应性

本章从一般双视图没有统一像素映射,引出单应成立的两种重要条件。H是可逆3×3射影矩阵,保持直线与点线关联;线的变换使用逆转置,而长度、角度、平行通常不保留。相机纯旋转共享投影中心时,对应只取决于射线方向,所以可用K2RK1逆映射,深度却依然不可知。观察同一非退化平面时,也可经平面到两图的映射复合得到单应。

单应估计与相机DLT具有类似结构,但矩阵为2N×9,最低四对且不能退化。单位范数约束排除零解,代数拟合可初始化像素几何误差优化。实际特征包含错配,因此RANSAC反复以最小子集拟合、统计阈值内共识,再用最好内点集重拟合。

采样次数由内点率w与子集大小n决定,而不是外点率。原书11点2外点却写w=.18,导致所举91轮不对应图中条件;概率也只描述至少一次全内点采样,不承诺正确恢复。重复图案、多平面和退化配置仍须检查。

全景把各图映射到统一参考画布,但纯旋转近似、近景视差、曝光与融合分别影响成品。鸟瞰与透视测量同样只对指定平面成立,度量还需尺度参照。学习回归H改变估计器,不改变几何模型的表达边界。

进一步阅读:一般双视图没有统一单应;单应是可逆射影映射;直线通过逆转置变换;纯旋转单应与场景深度无关;旋转消去深度不等于恢复深度;旋转公式需用不同图像点;平面投影可化为三阶矩阵;平面双视图通过复合得到单应;单应约束更强但范围更窄;单应DLT至少四对非退化点;单应齐次最小二乘需归一约束;单应重投影优化需先去齐次;RANSAC先拟合再数共识;最小子集必须避免退化;RANSAC次数取决于内点率;内点率不能用成外点率;阈值与共识最多不保证真实模型;全景先统一到参考坐标;鸟瞰只纠正指定平面;网络回归不改变单应假设。

原书依据 · 20 处

单视图测量

本章展示单图几何信息为何有用,也展示它为何不能无条件反演三维。人类从少量线条形成强烈空间知觉,Ames房间却证明这种解释可被有意布置的场景误导。实际测量从平行、正交、平面和已知尺寸开始,而不是从“看起来像三维”开始。

空间直线的远方向形成消失点,齐次表达v=KRD明确它不受平移影响;同平面方向的消失点共线,构成消失线。两组平行方向可用叉积构造平面消失线,多个线段可用共识方法估计。消失点只约束方向,图像中无穷远与真实场景无穷远不是同一个坐标概念。

交比把四个有序共线点联系起来,在投影下保持。目标物与参考物距离不同,先利用地面消失方向把目标高度转移到参考竖线上,再用竖直消失点和参考高度求比值。瓶子等不接地对象可通过支撑物传播尺度,但误差也会传播。原书的中间点坐标与部分高度变量存在不一致,必须按共线与物理含义检查,而不照抄数值。

一般三维定位先标定透视轴上的非均匀刻度,再借对象的参考面垂足将平面位置与高度搬到各轴。没有垂足、尺寸或足够几何约束,单点仍不可定位。最后,正交消失方向给出v_i^TWv_j=0;三方向求四参数圆锥还需方形像素与零偏斜假设,正定性和Cholesky的矩阵顺序共同决定结果是否能解释为内参。

进一步阅读:单视图测量依赖额外结构;强烈立体知觉不证明真实几何;线性透视特别适合人造环境;空间直线投影有退化情形;消失点由方向而非起点决定;消失点不让投影整条线有界;齐次无穷远点消去平移;平面消失线连接平面方向;地面接触点提供距离约束;两组平行线构造消失线;消失点估计需要方向分组;交比保持的是有序共线关系;交比以距离比例抵消尺度;无穷远交比通过极限简化;像高比不等于真实高度比;用地面方向转移物体高度;参考竖线交比换算高度;测量中间点先检验共线;支撑关系把尺度继续传递;支撑物高度不能重复相加;场景图记录支撑层级;透视轴刻度不能均匀画;三轴尺度需要足够参考;地平线不是相机中心的像;单点定位先找参考面垂足;高度转轴依赖同层方向;正交消失点约束内参;四参数圆锥要求方形像素;消失点内参估计先检查正定;分解恢复内参需区分矩阵侧;单图推断要传播测量误差。

原书依据 · 31 处

单图深度估计

本章把单图深度写成回归,同时提醒训练数据才是关键条件。明暗、纹理尺度、阴影、散射和熟悉物体尺寸各提供线索,也各存在混淆。学习器可以融合这些信号,却不会消除单张图像的信息不足。输出表示从深度到点云、法向与网格的选择,决定了模型直接表达和损失强调的内容。

监督数据可以由传感器获取,也可以由立体或多视图重建形成。图像、深度、内参、单位和有效区域必须对应,深度反投影还需区分光轴深度与射线距离。损失选择改变对近远误差和局部形状的偏好。书中将减去平均原始深度差称尺度不变不正确:它去掉加性偏移;对数深度差去均值才消除乘法比例。共享对齐项也使像素间产生耦合。

编码解码网络可以输出看似平滑的彩色深度,点云换视角却会暴露形变与边界错误。过滤边界与比例校准需要说明;一个真实距离只在统一比例不定时足够,不修复局部错误。

视频自监督利用目标深度与目标到参考位姿,将参考图逆向采样重建目标图。反投影、刚体变换、投影、去齐次和插值各有明确维数。光度一致要求静态结构和稳定外观,越界掩码不能代替可见性判断。纯旋转无深度视差,单目重建还保留深度与平移的共同尺度歧义,因此重建误差低与米制深度正确之间仍需独立证据。

进一步阅读:单目深度学习融合统计线索;明暗形状受材质照明混淆;纹理梯度需要元素尺度先验;阴影与互反射提供接触线索;大气透视只作条件性距离线索;已知物体尺寸可引入尺度;几何输出表示影响损失;深度反投影保留传感器定义;点云不包含表面连通性;深度伪彩色不证明几何质量;监督深度是带来源的回归;重建深度可作为伪监督;深度平方误差偏向大绝对差;减均值深度差只消除平移;全局对齐让损失耦合像素;梯度约束补充局部形状;通用编码解码不自带几何保证;换视点检查三维重建;尺度参照只修复统一比例;视频自监督依靠可重投影性;目标深度指导逆向重采样;重投影必须显式处理齐次维数;双线性采样连接重建梯度;光度一致需要静态与稳定外观;有效坐标不等于两图共同可见;纯旋转视频不提供深度约束;单目自监督保留尺度歧义;重建优秀不等于深度唯一正确。

原书依据 · 28 处

多视图几何与运动恢复结构

本章把双图几何扩展到多视图,先用运动知觉解释轨迹所带来的信息,再引入刚性场景与相机运动的联合估计。经典正交因子化与透视方法具有不同模型,可靠对应始终是关键。

稀疏SfM以共享三维点和每幅图相机为未知量。自由度与观测数计数提供可解性的必要检查,却不保证约束独立。真实数据包含缺失观测,连接结构与视差比图像数量更重要;整体坐标和尺度还有不可观察的规范自由度。束调整在可见观测上共同最小化二维像素重投影误差,而不是分别给每相机造一套世界点。

兴趣点应可重复、可描述和可匹配。糖罐例说明缩略图平滑不代表原图无纹理;局部裁剪能检查检测依据。SuperPoint的合成与变换伪监督、256维描述示例和SuperGlue配对展示学习组件,但全图枚举与图内匹配机制必须分开理解。

增量管线用可靠双图初始化,再把新图与已有结构联系,三角化新增点并周期性束调整,鲁棒核减弱离群残差。批量与增量是计算组织方式,不能简化成只运行一次优化或天然实时。最后稀疏点云不包含完整表面,稠密光度方法增加覆盖,也引入稳定外观与可见性等条件。

进一步阅读:运动让稀疏点显出结构;刚性假设把多帧绑定同一场景;正交SfM与透视SfM不同;SfM联合恢复结构与相机;自由度计数只是必要条件;缺失观测需检查连接结构;同一设备未必共享有效内参;增量重建会积累漂移;束调整最小化图像重投影误差;可见性权重只纳入真实观测;世界点不应按相机重复估计;重建有坐标规范自由度;兴趣点需要跨视图重复性;合成角点可启动学习检测;分辨率决定可见纹理;描述子与检测位置职责不同;跨视图轨迹允许部分缺失;全图配对与匹配器是两层选择;SfM初始化需要可靠视差;添加视图需连接已有三维结构;鲁棒核降低离群残差影响;批量与增量是计算组织选择;稀疏重建不是完整表面;稠密光度优化引入外观假设。

原书依据 · 24 处

辐射场

本章以全光函数把图像理解为对空间、方向、波长和时间的采样,再将目标收缩为固定场景、RGB颜色的新视图合成。有限观测不决定完整世界,隐式连续查询也不意味着无限细节。Flatland用二维世界说明表示和成像之间的差别。

辐射场把空间密度与视向相关颜色分开。共享MLP接受坐标和方向,位置编码改善高频表达;体素与高斯是其他参数化选择。场表示必须通过射线采样与体渲染才成为像素,逐点网络的卷积类比并不引入邻域混合。

体渲染以累计密度的负指数定义透射率,再按局部不透明度与颜色积分。离散公式必须保留采样间距;单位方向、近远界和世界坐标约定共同决定正确查询。分层随机采样覆盖区间,而非保证访问连续空间每一点。遮挡会降低后方贡献和梯度,可微性并不保证全局收敛。

训练使用已知相机位姿和多视图RGB,沿像素到射线、坐标、场查询、合成颜色的链路反向更新参数。结构化几何假设可帮助学习,但新视图逼真不证明几何唯一,也不证明模型可任意重照明。最后用渲染方程指出显式光源、材质及多次反射的耦合,界定基本NeRF所采取的近似。

进一步阅读:全光函数描述可见光线;静态RGB场是有意的简化;相机从光线形成图像;有限视图不决定整个光场;辐射场分离颜色与密度;视向颜色表达外观变化;Flatland帮助拆开维度;场的连续性由表示决定;距离场与体密度职责不同;隐式场以参数压缩查询;可微表示连接像素优化;共享MLP逐坐标回答属性;射线采样减少无关查询;逐点网络不等于空间卷积;输出约束匹配渲染含义;位置编码改变拟合偏好;参数化选择改变计算方式;透射率累积前方衰减;射线参数需要单位方向;不透明极限突出首个表面;体渲染并非完整光传输;离散合成保留间距因子;遮挡会压低远处梯度;分层随机采样覆盖区间;像素转射线须统一坐标;已知位姿提供几何监督;训练链路连接场与像素;像素损失可用射线小批量;几何先验缩小假设空间;新视图好不等于几何唯一;训练演示步数不是预算;重照明需要分离场景因素;渲染方程耦合多次反射;几何传输项不只有遮挡。

原书依据 · 34 处

分部导言:理解运动

这一部把静态场景扩展到动态序列:先用块匹配建立运动估计的直觉,再解释三维运动如何经投影形成二维运动,最后进入经典光流和学习方法。P(t)与p(t)分别表示随时间变化的三维和二维点,点号表示时间导数。图像变化既可能来自场景运动,也可能来自相机自身运动,后续推导需要区分两者。

进一步阅读:。

运动估计

本章先说明运动既来自观察者也来自世界,能提供结构、事件与分组线索,但知觉运动、二维对应与三维运动必须区分。立体匹配提供相似问题的起点,只是静态相机几何额外施加极线约束;视频邻帧的小位移通常是工作假设。

简单算法把每个像素扩展成RGB块,在第二帧的局部窗口内比较欧氏距离并选最佳二维位移。块通道数、空间尺寸、搜索半径与数组行列要明确,边界需覆盖搜索加块半径。完整代价体可改为流式计算。实例揭示单像素歧义、大块跨界扩散、尺度变化及整数位移量化,因而窗口变大不意味着质量单调改善。

关于人类系统,方向选择性与运动错觉表明感知受到适应及频率处理影响,但不唯一确定实现。静态与移动纹理在时空图和频谱中形成不同方向结构,阶跃采样带来频谱复制;凹槽方波让模式匹配与低频运动能量产生相反预测,为区分模型提供实验。

结尾把问题带回成像:算法得到的二维块位移尚不是三维世界速度,后续需要推导动态场景与移动相机如何产生图像运动。

进一步阅读:动态图像混合两种运动;共同运动是分组证据;光流与立体共享匹配问题;短帧间隔不保证小位移;眼动让静态世界持续变化;运动知觉不等于物理位移;运动错觉的条件需保留;神经选择性不确定算法;运动场为每像素记录位移;块描述缓解单色歧义;块大小平衡辨识与形变;局部搜索隐含运动上界;匹配代价选择二维位移;数组坐标与流方向要一致;边界处理需覆盖完整块;代价体可用流式计算;正确对应外观也会变化;大块会把运动扩散到背景;整数块匹配缺少亚像素精度;先估运动可为分组提供线索;时空倾斜连接运动与频率;阶跃移动产生时间混叠;去基频能让两类模型分歧;二维位移需回到成像解释。

原书依据 · 24 处

三维运动及其二维投影

本章从透视投影的时间导数出发,把相机坐标中的三维相对速度映射到二维瞬时流。横向速度经f/Z缩放,轴向速度造成径向扩张或收缩;投影丢失沿视线的信息,因此二维流不直接唯一决定三维速度。匀速三维轨迹可有非匀速投影,其消失点只依赖运动方向,但可见时域与V_Z为零的情形必须单独处理。

静态场景的相机平移等价于所有点相对反向运动。横移视差随深度变化;前进扩张率V_Z/Z提供碰撞时间的倒数,不能独立拆分距离与速度。一般平移的膨胀中心取决于方向,可以在画幅外,中心零流也不表示物体没有接近。

相机旋转通过小角近似形成−W×P,相应图像流可分为依赖深度的平移项和不依赖深度的旋转项。光轴旋转形成切向流,侧向旋转的形状受焦距影响;长焦窄视野中它可能近似横移。有限纯旋转则由单应精确联系共同可见像点,仍不提供平移视差深度。

最后,固定光心的理想变焦产生全图相同相对缩放率,不同于前进运动对不同深度的不同扩张。但面对单一深度平面,两者仍可能有歧义。恢复结构前应先明确成像模型、参照系、时间尺度与可见性。

进一步阅读:图像速度是投影的时间导数;投影速度丢失沿视线分量;横向运动按深度缩小;轴向运动形成径向变化;恒定三维速度未必恒定像速;消失点由运动方向决定;横向方向的消失点在无穷远;相机平移与场景相对反向;横向视差携带相对深度;前进扩张率给出碰撞时间;流能估时间未必能拆距离速度;膨胀中心依赖平移方向;中心零流不能证明物体静止;相机转动产生相反相对旋转;小角近似保留一阶运动;瞬时刚体流可分两部分;纯旋转流不提供运动视差;光轴转动产生切向流;焦距影响侧向旋转流形状;平移与旋转可出现近似歧义;有限纯旋转由单应联系;变焦产生深度无关的缩放;前进与变焦的差异在深度;运动解释需要明确适用模型。

原书依据 · 24 处

光流估计

本章先区分三维投影运动与亮度光流:无纹理、镜面、照明变化和透明叠加使二者并不总一致。遮挡让全图一一对应不成立,反向流也需换到对应坐标。稠密场固定图像位置,轨迹则维持点身份,两者面向不同任务。

亮度恒常经一阶泰勒展开产生每点一条梯度约束,体现孔径问题。Lucas–Kanade以局部恒速汇集邻域方程,得到二维正规系统。结构张量是否有足够独立方向、导数是否同一时空中心,决定数值解的可信度。角点有助于局部可辨识,但Harris阈值受数值尺度影响,大窗口则可能混合运动边界。

对大位移,粗到细金字塔与反复变形、重新线性化可以扩大可处理范围。层间既要插值向量场,也要缩放位移;配准方向、插值和有效掩码必须明确。一次普通梯度下降不等同于一次局部正规方程求解,更多迭代也不保证真实光流更准确。

慢速与平滑正则分别偏好小幅度和空间一致性,补足弱数据时也会带来偏差。分层刚性模型进一步交替估计像素归属与运动参数,仍需深度和遮挡建模。这些无训练方法的假设与光度目标也将影响下一章的学习方法。

进一步阅读:亮度运动未必是物质运动;光流对应受可见性限制;反向光流不是原地取负;反射表面不跟随实体外观;孔径问题只约束法向运动;稠密流与轨迹采用不同视角;轨迹表示要处理身份变化;亮度恒常约束跟随对应点;空间变流不能直接反向代入;朗伯表面也未必亮度恒常;泰勒近似受纹理尺度限制;单点梯度只提供一条方程;局部恒速把多点方程合并;正规方程右端必须有负号;结构张量秩决定局部可辨识;卷积先乘积后邻域累积;导数需要共同的时空中心;角点提供两个方向的信息;Harris响应不能当通用阈值;扩大积分窗会混合边界;图像金字塔缩小表观位移;迭代配准重新线性化残差;上采样光流还要缩放幅度;重建损失必须统一帧方向;慢速先验与平滑先验不同;正则补充信息也引入偏差;分层模型联合分配与运动;无训练算法仍需成像假设。

原书依据 · 28 处

学习运动估计

本章解释学习运动估计的动机:亮度恒常、可见性与离散导数存在模型误差,语义与熟悉对象还提供显式方程之外的统计线索。学习可利用这些信息,但也引入分布依赖。

监督方法可以直接从两帧回归,也可沿共享特征、候选代价、聚合和粗到细变形组织网络。所谓直接预测仍含架构先验,二维光流代价需保留两个候选位移轴或明确展平布局。训练目标与评价指标应区分:本章平方回归式不是标准平均端点误差。流与遮挡联合输出还有各自监督和方向语义。

真值难采集推动合成数据,但模拟中的已知运动不等于真实场景无偏覆盖。Flying Chairs说明大量简单变换也可带来可迁移监督,不能据此取消目标域评估。书中数据集规模与领先描述具有出版时点。

无真值训练仍需视频,通过可微采样的光度损失及平滑、几何等约束更新网络。重复纹理和照明变化使低损失不保证正确运动,自由遮挡掩码还可能全遮挡退化。多帧可扩展信息,也改变可用时间与成本条件。物理推导和学习方法仍应相互补充。

进一步阅读:学习可补充模型未表达的线索;无监督光流仍需训练数据;监督光流依赖真值的有效范围;直接预测也包含架构先验;共享特征使两帧可比较;二维位移代价需保留两轴;聚合代价利用邻域证据;粗到细特征变形估计残余;端点误差与平方损失不同;训练损失须处理掩码和尺度;联合遮挡预测增加独立职责;合成真值精确于模拟设定;合成数据价值不只在逼真度;数据集描述需要版本边界;自监督把成像假设变成目标;可微变形传递光度梯度;光度误差不唯一识别真实流;可学习遮挡掩码可能退化;多帧信息需保留时间可见性;物理模型与学习可以互补。

原书依据 · 20 处

分部导言:用语言理解视觉

本部把视觉推断从深度和运动等中层属性推进到语义:目标识别为图像中的对象赋予类别词,视觉与语言模型则讨论这些词及描述如何组织视觉世界。语义任务输出的是某种意义表示,不应把命名成功等同于场景的几何、物理与行动知识都已恢复。

进一步阅读:。

目标识别

本章以“什么算椅子”说明,目标识别首先是输出和语义约定问题。部件组合、视角敏感性、分类层级与原型提供人类识别的若干理论;它们有启发性,但不唯一确定感知机制。物体常规类别和当前用途也不必一致。

图像分类回答有限词表上的存在性,互斥类别用概率单纯形,多标签用逐类sigmoid。似然导出交叉熵,但连续概率需要先决策才能统计零一错误,概率接口也不自动校准。Top指标与混淆矩阵分别呈现命中与类间混淆,不能证明系统定位了完整对象。玩具车和辣椒等例说明语言口径会影响所谓正确答案,背景捷径则可能制造虚假的对象理解。

检测加入可变实例集合和边界框。滑窗提供位置尺度搜索,候选提议与级联减少昂贵计算,精修改善合理候选定位,NMS贪心减少重复。提议漏检、跨实例抑制和难负例计算都需单独检查。训练可把多个候选分到同一真值,评估则通常只允许一次命中;分类与定位损失的有效正例掩码不能颠倒。IoU有共同变换不变性,却在不重叠区域形成平台;坐标平方误差则受尺度影响。

检测评估用置信排序、标签和IoU匹配构造TP/FP/FN,再形成精确率—召回曲线与AP。召回分母包括完全未检测真值,AP需指定插值和阈值协议。降低阈值不能创造缺失候选。

语义分割进一步输出像素类别,面积主导损失与指标需通过恰当加权及每类IoU揭示,但它不提供实例身份,也难表达透明层。实例分割为每对象建掩码,可结合分类、定位与像素损失,再扩展部件和实例坐标。即便如此,机器人行动仍需要几何、物理和可供性,命名与掩码只是理解世界的一部分。

进一步阅读:识别任务由所需输出界定;物体类别混合功能与惯例;组件组合提供可复用表示;视觉组件共享不等于外观相同;识别鲁棒不等于完全不变;类别粒度应服务任务;原型刻画典型性而非硬边界;同一物体可承担不同角色;图像分类不定位也不计数;互斥分类在概率单纯形上;多标签分数无需总和为一;概率形式不等于已校准置信;零一错误不能直接当连续概率;分类似然导出交叉熵;二元交叉熵包含正负两项;Top指标只测候选命中;混淆矩阵要说明归一化方向;分类边界也受语言定义影响;分类捷径会伪装对象理解;检测输出是一组带类位置;检测位置应随图像变换;滑窗用搜索覆盖位置尺度;候选提议先控制昂贵计算;候选生成不是唯一选择搜索;框精修补偿候选定位误差;非极大抑制贪心去重复;级联让早期快速拒绝背景;级联计算热点可落在难负例;检测器快慢比较依赖版本条件;训练匹配与评估匹配不同;背景框只监督分类职责;IoU衡量相对重叠程度;IoU损失在不重叠时有平台;坐标平方误差对缩放敏感;检测命中需标签与位置都对;召回分母应包含全部真值;平均精度依赖积分协议;调低阈值不能找回所有漏检;边界框不足以描述复杂归属;语义分割输出逐像素类别;像素损失会偏向大区域;分割均值IoU关注各类覆盖;语义掩码不携带实例身份;单标签分割难表达透明层次;实例分割为每个对象建掩码;区域内掩码需回映原图;多任务损失需区分有效对象;实例表示还能扩展物体内部;识别表示按任务逐步丰富;行动需要超越物体命名。

原书依据 · 50 处

视觉与语言

本章把语言看作世界表示,连接视觉编码、图文监督和生成。词、字符与子词在覆盖和序列长度间取舍,独热投影可用嵌入查询实现,自回归解码则按已有上下文预测下一token。

CLIP用图像与文本双编码器、单位化嵌入和对称对比目标建立相对匹配。单位点积是夹角余弦,非角度正比例;批内负例也可能具有正确语义。降维展示只帮助观察,不能完全保留高维几何。冻结编码器后可通过候选文字构造零样本分类器,但提示、候选集合与预训练覆盖仍决定适用边界,语言能表达新组合不意味着视觉一定能准确辨别。

跨模态翻译可连接编码器和解码器,但潜空间需要语义对齐。条件VAE通过训练后验与采样先验区分重建和生成,条件扩散在多步去噪中注入文本。这里的抽象机制不应混作具体产品完整架构,尤其DALL·E 1还包含离散图像token与自回归建模。

图像到文本可令文本查询图像K/V,通过跨注意力与文本自身上下文融合,再因果生成描述。查询键维度、softmax轴、分支形状和训练目标移位都需一致。视觉token压缩节省计算,也可能损失局部信息。

文本、深度、频谱和特征是不同信息边界的视觉表示。文字接口便于连接语言推理,但描述可能遗漏或编造内容。VQA进一步让问题选择所需图像信息,需要真实依图作答的验证;开放提问不等于任意问题都可由单图回答。结尾关于语言演化的讨论是启发性假说,不能当作工程实验结论。

进一步阅读:语言也能充当视觉表示;分词在词表与长度之间取舍;词嵌入查询等价独热投影;自回归文本按条件逐项生成;自然语言监督超越类别名词;CLIP用双向配对损失对齐;单位化使相似度成为余弦;图文负例可能语义上也正确;降维图不保留全部距离结构;零样本分类比较文本候选;候选文本决定分类边界;组合词语不保证组合视觉正确;模块拼接需要潜空间对齐;条件生成保留未指定变化;条件VAE训练与采样不同;文生图示意并非完整架构;扩散条件可进入多个去噪层;VAE与扩散采样路径不同;图像描述是有损的语义压缩;跨注意力由文本查询图像;跨注意力归一化沿图像轴;融合分支须对齐输出形状;训练描述与生成上下文不同;视觉压缩有成本收益取舍;多种视觉表示各有信息边界;视觉问答联合图像与问题;问答接口不保证任意问题可解;语言演化解释仍是讨论假说。

原书依据 · 28 处

分部导言:研究写作与演讲

这一部从视觉算法转向研究工作的实践,分别讨论研究推进、论文组织与公开演讲。作者明确将内容定位为个人经验,鼓励结合多种意见和自身情境选择;它没有覆盖审稿、导师培养或协作管理的全部事项,因此不应当作完整职业规范。三个章节可按当前需要独立阅读。

进一步阅读:。

如何做研究

本章把课程习题与研究区分开:研究没有保证存在的答案,失败可能来自实现或假设,所以“慢下来”是为了建立可解释证据。调试应定位首个偏离预期的步骤,实验要控制变化,汇报要展示已验证链路与排除依据。

持续努力需要方向盘和可维持的节奏。周期性审视问题是否值得,与投入同样重要。最小玩具模型能把复杂系统的核心歧义显露出来,y=ab展示的不可辨识性说明,仅靠更多优化不能补足缺失信息。失败后可主动在附近探索,也可以构造更强反例来理解边界。

独立思考与文献熟悉并不冲突,可靠声誉来自持续交付,个人优势应服务具体贡献。排除假设、简化问题和必要阅读也能构成进展,前提是明确减少了哪些未知。

研究还是团队活动,需要主动交流并确认贡献。作者对合作与署名给出较宽容的个人建议;实际应用需同时遵守所在共同体的贡献与责任规范。休息和其他生活安排也是长期研究能力的一部分,不能把勤奋片段脱离全章语境。

进一步阅读:研究失败需要区分实现与假设;控制变化让实验具有解释力;汇报失败要给出首个断点;投入需要持续可用的节奏;定期转向检查问题是否值得;玩具模型保留核心困难;乘积玩具揭示反问题歧义;在失败方案附近主动探索;独立方向与相关文献需并行;声誉由持续可观察行为形成;优势应转成具体贡献方式;构造更坏失败也能增加认识;进展包括排除与必要学习;协作需要主动维持沟通;合作价值不由作者人数决定;署名讨论需要显式贡献依据。

原书依据 · 16 处

如何写论文

本章将论文写作视为研究贡献的表达,而不是简单增加发表数量。开篇质量与职业影响曲线是作者的示意印象。组织上先让读者理解问题价值、已有解法与新贡献,再用核心示例、算法和实验支持主张,结尾重申已建立结果及其意义。

好的文字持续考虑读者当前知识。精简应删除重复,而非削去适用条件。标题、摘要、图与图注为不同阅读深度提供入口;阅读量柱图也是推测示意,不能当调查数据。图注需自足并指明现象,公式周围则需要语义导航,使略读者也能跟上推理。

定量表与消融需要对应明确主张,比较条件和不确定性同样重要。尊重相关工作、呈现重要失败、承认解释尚不清楚的反例,能让论证更可复查。避免以未完成清单结束,不意味着隐藏限制;署名宽容也不能替代贡献与责任标准。

投稿检查应核对承诺兑现、相关文献、贡献差异、证据和文字准确性。作者用两类边界论文说明新意与缺陷的不同问题,但其比例不是一般录用概率。最后阶段重写可能高于追逐微小指标改进的价值,同时不能用表达优化弥补关键证据缺失。

进一步阅读:论文数量不能替代成果质量;论文先回答问题与价值;贡献需放在已有解法中定位;文章结构围绕主张展开;引言要尽早交代新旧边界;最小例子让核心困难可见;实验要逐项支撑论文主张;结果表区分比较与消融;结尾重申已建立的贡献;写作按读者已知信息推进;精简应保留条件和因果链;多层入口服务不同阅读深度;标题应传达主问题或发现;图注说明设置与应见现象;公式前后仍需连贯的文字;引用公式同时说出物理角色;诚实呈现反例能积累可信度;讨论同行应准确且宽厚;署名扩展应同时明确贡献;投稿前核对承诺与证据;新意与明显缺陷应分别处理;截止前重写可能比加实验有效。

原书依据 · 22 处

如何作报告

本章把技术报告看作帮助成果被理解的能力,同时强调建议来自作者经验。先考虑听众知识差异与报告长度:极短报告突出问题、意义、困难、核心思路和效果,而非试图压缩全部论文。

准备与排练是贯穿全章的主线。出声计时能发现真实口头障碍,讲稿和提纲则应适应语言熟练度及难段落。报告内部要有从问题到方法再到证据的关系,现场也需预查站位和设备。准备可降低部分紧张,目标不必是完全没有紧张。

面对可能分心的听众,适当提问、口头路标、停顿和重点变化提供参与与重新进入的机会。竞争假说通过可区分预测让实验更有意义,但不能制造稻草人或用悬念替代证据。讲者的投入有助于连接,表现风格仍可因人而异。

结尾应明确标记结束并安排提问。作者偏好感谢,Winston倾向重申听众获得的内容,两种观点展示技巧需要按目的筛选。最可复用的原则是准备充分、让结构可跟随、尊重听众,并根据反馈迭代。

进一步阅读:报告内容按听众起点组织;短报告只承载少数核心信息;排练应完整出声并计时;讲稿使用需适合语言能力;转场故事连接各部分目的;现场预查减少非内容中断;准备能降低部分演讲紧张;把注意力转向传达的信息;问题让听众参与推理;口头路标帮助重新跟上;声音变化突出真实重点;竞争假说让证据有悬念;与听众连接不替代论证;结尾标记需要清晰可识别;技巧要经自身情境筛选。

原书依据 · 15 处

分部导言:结束语

全书结尾重申目标是建立可迁移的基础概念,而不是追逐每个当时的实现。作者将重访第二章简单世界,比较显式成像假设和预训练模型如何解决同一视觉问题,以结果、失败与适用条件联系前面的表示、几何和学习知识。

进一步阅读:。

重访简单视觉系统

终章重访简单世界,把第二章显式成像与几何规则同预训练单目深度模型比较。调用接口虽然简单,输出仍是带尺度、偏移歧义的逆深度相关量,反投影需要相机约定与必要标定。启发式d₀、焦距和角度只能支持示意展示,不能直接产生可信米制世界。

重渲染展示预训练模型能处理更多外观,也暴露凹地面、弯边和扭面;这些误差可能来自预测与适配链路多处。手工模型在假设成立时清晰,外观改变后则可能连锁失败。定性例呈现可解释性、域内准确与泛化范围的取舍,不能外推普遍可靠排名,所谓域外也须说明参照哪种训练分布。

视觉语言模型能描述图中几何物体,却在文字往返生成中未保留原场景全部关系。中间文字有损、生成器条件遵循和提示等因素都可能影响结果,不能用终端失败直接证明某个内部机制。书中2023年11月演示还需与当前系统能力分开。

结尾鼓励重新检验看似已解决的问题:基础概念的价值在于帮助分析失败、设计受控测试和提出下一步问题。大型模型的内部边缘、滤波和几何计算不能仅凭输出推断,未来进步也不替代当前证据。显式模型与学习模型都要按实际条件理解和验收。

进一步阅读:预训练接口简单不等于语义简单;混合数据训练需处理尺度歧义;相对逆深度不能直接当距离;逆深度偏移会改变形状;反投影要区分内参与外参;图像行列与主点约定需统一;启发式相机参数不是标定;重渲染能暴露几何伪影;模型比较需同时检查域内域外;下游新场景未必预训练域外;可诊断失败未必容易修复;黑箱机制解释需要实验支撑;描述正确不等于可重建同一场景;历史演示需锁定模型与提示;挑战已解问题要设计新证据;基础知识帮助提出机制问题。

原书依据 · 16 处

跨章综合

贯穿全书的第一条联系是“不可辨识不会被计算量自动消除”。反射率与照明的乘积、缺失的相位、采样混叠、单图尺度、孔径问题及有限视图辐射场,都可能允许多个解释。正则、先验和训练数据使系统能够选择答案,却不等于观测已经唯一确定了真相。需要明确输出依赖的数据证据与先验成分。

第二条联系是“表示决定能问的问题”。RGB、频率、局部描述、深度、流、类别、边界框、掩码与文字分别强调不同属性。整图分类缺位置,语义分割缺实例身份,文字描述缺精细几何;增加模型规模不改变接口没有输出某项信息的事实。设计系统时应从下游需求倒推表示,并保留回到原始观测的途径。

第三条联系是“变换与坐标是一种契约”。张量轴、行列坐标、相机参照系、齐次除法、流方向、尺度变换与注意力维度,看似是实现细节,却直接决定数学表达是否对应目标。归一化、softmax轴、像素插值和位移缩放也都有明确单位。书中多处公式不严谨提醒,理解责任与维度比照抄符号更可靠。

第四条联系是“目标函数不是应用正确性的同义词”。训练交叉熵、光度残差、重投影误差、重建质量与对比匹配分数都只检查某种代理目标。数据泄漏、背景捷径、遮挡、语义歧义和假负例会让好数值产生误导。指标必须配套有效样本、明确分母、公平比较与失败条件,不能将历史样例或当时最佳当作当前普遍结论。

第五条联系是“经典模型与学习互相提供问题”。物理和几何把因果假设写清,学习从大数据中利用难以手工表达的统计线索;两者都可能在条件变化时失败。可微计算连接它们,但不保证全局收敛、唯一结构或已经证实的内部机制。研究工作应从异常构造可区分假说,写作和演讲则将主张、证据及边界准确交给他人。

发散与实践

读者延伸选择两项有限实践。金字塔光流实现深读从书中局部正规方程出发,固定OpenCV 4.10.0提交,已收集接口、实现关键片段与测试全文,形成入口、坐标、结构张量、更新符号和错误语义的首轮映射,以及100分钟快速计划和6单元详细计划。它仅对应稀疏LK,不强映射到稠密光流、学习方法或辐射场;完整源码深读和测试执行尚未开展。

失败断点记录练习将研究建议用于后续P4书籍处理,先观察自然故障基线,再在7天或一本书范围内采用“最后正确步骤—首次偏离—排除证据”的记录方式。它交付可开始的计划,不补造过去耗时或预填改进结果。

实践文件为idea-001-金字塔光流实现深读.md、idea-002-失败断点记录练习.md,入口见概览。本次没有自行实现完整视觉库、训练大型生成模型、部署人脸系统或开展物理危险实验。广泛基础教材无需按每章凑一项实践,先围绕能明确验收的机制与真实工作困难加深理解。

生成进度与管理记录

Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)

Skill 版本:v24

执行模式:light

建档进度:done(全文阅读、知识卡、实践筛选、整书讲解、导入对账与归档验收均已完成)

四象限评级:经典原理(高信息浓度、高稳定性),按当前规则P4。

评级理由:55章全文以成像、信号、学习、概率、几何、运动及语义机制与推导为主体,知识关联与条件密集,可迁移性强;历史性能、产品例与数据规模保留版本边界,不当作当前推荐。

整书笔记

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 前言与阅读路线 done 3
99 符号与矩阵微积分约定 done 8
01 视觉的挑战 done 38
60 分部导言:基础 done 0
02 一个简单视觉系统 done 26
03 观察图像 done 11
04 计算机视觉与社会 done 16
61 分部导言:图像形成 done 0
05 成像 done 16
06 透镜 done 16
07 作为线性系统的相机 done 12
08 颜色 done 19
62 分部导言:学习基础 done 0
09 学习导论 done 23
10 基于梯度的学习算法 done 18
11 泛化问题 done 22
12 神经网络 done 30
13 作为分布变换器的神经网络 done 11
14 反向传播 done 20
63 分部导言:图像处理基础 done 0
15 线性图像滤波 done 29
16 傅里叶分析 done 36
64 分部导言:线性滤波器 done 0
17 模糊滤波器 done 18
18 图像导数 done 37
19 时间滤波器 done 18
65 分部导言:采样与多尺度表示 done 0
20 图像采样与混叠 done 26
21 图像下采样与上采样 done 26
22 滤波器组 done 30
23 图像金字塔 done 23
66 分部导言:视觉神经架构 done 0
24 卷积神经网络 done 43
25 循环神经网络 done 19
26 Transformer done 40
67 分部导言:图像概率模型 done 0
27 统计图像模型 done 30
28 纹理 done 22
29 概率图模型 done 32
68 分部导言:生成与表示学习 done 0
30 表示学习 done 35
31 知觉分组 done 17
32 生成模型 done 43
33 生成建模与表示学习 done 31
34 条件生成模型 done 31
69 分部导言:学习式视觉的挑战 done 0
35 数据偏差与分布漂移 done 23
36 鲁棒性与通用性训练 done 16
37 迁移学习与适配 done 25
70 分部导言:理解几何 done 0
38 图像与几何表示 done 33
39 相机建模与标定 done 35
40 立体视觉 done 36
41 单应性 done 20
42 单视图测量 done 31
43 单图深度估计 done 28
44 多视图几何与运动恢复结构 done 24
45 辐射场 done 34
71 分部导言:理解运动 done 0
46 运动估计 done 24
47 三维运动及其二维投影 done 24
48 光流估计 done 28
49 学习运动估计 done 20
72 分部导言:用语言理解视觉 done 0
50 目标识别 done 50
51 视觉与语言 done 28
73 分部导言:研究写作与演讲 done 0
52 如何做研究 done 16
53 如何写论文 done 22
54 如何作报告 done 15
74 分部导言:结束语 done 0
55 重访简单视觉系统 done 16

非正文排除

spine项 类型 排除理由
cover/halftitle/title/copyright/dedication/seriesPage 身份与出版 全读,封面已查看;作者3人,MIT Press2024,OPF2024-03-19,电子ISBN9780262378666,纸本9780262048972
contents 目录 全文已读,仅导航;详细章节锚点依spine建计划,附图索引随章核验
c444 参考文献 全文84071字符/532项已读,仅书目导航,无新增机制;准确条目见_workflow_evidence/bibliography-navigation.md
c555 索引 全文11027字符已读,仅术语与页码回跳,无新增实质论述
c666 丛书目录 全文3334字符已读,仅丛书出版目录,无新增机制

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Computer Vision: A Modern Approach/Forsyth与Ponce;Computer Vision: Algorithms and Applications/Szeliski 书 00 一般视觉扩展教材,仅登记
Robot Vision/Horn;Vision/Marr;Vision Science/Palmer 书 00 物理与人类感知基础参考
Multiple View Geometry/Hartley与Zisserman;Solid Shape/Koenderink;Three-Dimensional Computer Vision/Faugeras;Introductory Techniques for 3D Computer Vision/Trucco与Verri 书 00 多视图与几何延伸
Mackay/Bishop/Murphy/Goodfellow等学习教材;Prince概率视觉教材 书 00 作者推荐,前言仅列作者,具体书目留参考文献定位
Signal Processing for Computer Vision/Granlund与Knuttson;High-level Vision/Ullman;Light and Color in the Outdoors/Minnaert 书 00 信号、高层视觉与自然光现象延伸

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 金字塔光流实现深读 实现深读 done 48 计划;固定源码及首轮映射已落盘,完整实践未执行
2 失败断点记录练习 行为实验 done 52 计划;现实实验未执行

实践候选筛选:done。采用成熟LK源码深读、真实任务失败诊断2项;未采用完整视觉库重写、全章逐项实验、大模型训练与部署,有限问题已由源码和行为观察路径覆盖。

第1章待关联术语

术语名 出现章节 一句话语境
Retinex、shape from shading、generalized cylinders、BoW/SIFT/HOG/GIST、SVM、boosting、belief propagation 01 历史脉络中的纯提名,未展开机制,后续正文展开再取材
parvocellular/magnocellular/koniocellular、MT/FFA/IT 01 通路图专名,功能仅点名不另补脑区知识

第1章引用文献登记

标题 类型 章节 一句话语境
Euclid Optics、Ibn al-Haytham Book of Optics、Kepler Astronomiae Pars Optica、Plato Timaeus 古典著作 01 历史理论转述,未独立核验史学优先权
Helmholtz视觉论述、Wertheimer运动研究、Koffka Principles of Gestalt Psychology、Gibson生态视觉、Marr Vision 理论著作 01 本章实质概念已成卡,未假装各书全文阅读
Hartline/Kuffler/Hubel与Wiesel/Livingstone研究、Ramón y Cajal视网膜图 原始研究 01 感受野及通路历史依据
Roberts Machine Perception of Three-dimensional Solids;Perceptrons;Parallel Distributed Processing;AlexNet;Viola-Jones 论文/书 01 学习及视觉历史,仅按本章展开范围解释
Caltech101/PASCAL/LabelMe/CIFAR/Tiny Images/ImageNet/COCO/COIL/WordNet 数据/资源 01 基准和分类体系历史,不作当前规模或许可断言

第2章引用与术语登记

标题 类型 章节 语境与去向
Papert Summer Vision Project;Roberts Blocks World;Adelson不可能图 历史论文/示例 02 简化建模与矛盾约束背景,未外部全文阅读
generic view/nonaccidental properties;figure-ground segmentation;border ownership 概念 02 实质概念已成卡,此行用于跨章追踪

第3章术语与文献登记

条目 类型 章节 语境
湿沙变暗、天空蓝、月亮外观、热物颜色 待学习问题 03 原书提问未解释机制,不补造答案
Light and Color in the Outdoors/Minnaert;Tiny Images相关研究[472] 书/论文 03 外观与低分辨率延伸入口,仅登记
Migrant Mother/Dorothea Lange 图像作品 03 连续轮廓巧合实例,未扩大为人物故事推断

第4章引用文献登记

标题 类型 章节 语境与去向
NIST Face Recognition Vendor Test;Gender Shades相关研究[65] 报告/研究 04 历史性能分组,不作当前产品评价
Fairness GAN/Sattigeri;配对GAN去偏[396];反事实transect[30] 研究 04 本章机制成卡,未宣称外部全文已读
Differential privacy参考[111⁄254];错误使用风险[113] 论文/资料 04 邻接保护与随机回答,书内错误已校正
数据偏差[102/395/471]及伦理入口[254/155/181/154/228/112/36/184] 研究/资料 04 参考编号保持可查,待参考文献全读补准确题名,不猜标题

第5章术语与文献登记

条目 类型 章节 语境
BRDF/Lambertian/Phong 概念/模型 05 实质机制已成卡,简化与物理量边界明确
telecentric lens 待关联术语 05 仅提另一正交相机实现,本章未展开
Phong[386]、反射模型[324⁄366]、Farrell与Haynes吸管相机[120] 研究/作品 05 参数模型与装置出处,待参考文献全读补题名,不假装外部验证

第6章引用文献登记

标题 类型 章节 语境与去向
Snell光学参考[199]、Marc Levoy景深推导[292]、Galileo历史[152] 文献 06 本章折射、景深和望远镜出处,待总参考文献补准确题名

第7章引用文献登记

条目 类型 章节 语境
正则化[389];Pinspeck[81⁄474];Corner Camera[56] 文献/系统 07 本章机制与成像实验出处,待参考文献完整读取补准确题名

第8章引用文献与术语登记

条目 类型 章节 语境
Newton光实验[119];CD光谱仪[105];颜色匹配[491];视锥采样[210]及敏感度[486] 研究/装置 08 原书谱分解与三色证据,待总参考文献准确题名
TheDress[54⁄60];色恒常性[328/59/37];CIE配色函数[80] 研究/现象 08 具体模型和限制已成卡,算法细节未展开不补造
CIE XYZ/Lab/BRDF/metamerism/gamut 概念 08 实质内容已成卡,跨章术语追踪

完整书目与生成交付

55章、前言、符号约定及15分部导言完成;全部82项spine、图表、伪代码与公式已读。1423知识卡、2实践计划及独立整书讲解完成;轻量模式不执行生成后复核、独立审查或审查结果优化。

引用登记中早期“待补题名”现可按编号查 _workflow_evidence/bibliography-navigation.md 的532个完整条目,书目导航不代表外部全文已读。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。