此笔记位置已失效,请从目录继续阅读。
前言
本书的研究对象是复杂背景下的小目标与面目标:在红外与可见光图像里,目标可能只有几个像素、对比度低、背景杂波强,常规检测与跟踪方法往往同时损失精度和速度。前言给出的思路是回到人脑视觉系统,把侧抑制、感受野、同步脉冲发放、视觉注意、记忆这些机制抽象成可计算的模型,再落成检测与跟踪算法,并用实验说明各自在什么条件下占优。 全书按机制分章:第2章侧抑制、第3章感受野、第4章脉冲耦合神经网络、第5章视觉注意、第6章记忆,第7章把卷积神经网络与人脑记忆模型结合,第8章转向类脑计算平台与 LIF 动力学网络。每章基本遵循同一写法——先讲生物机制,再给数学模型,再给算法流程,最后用信杂比增益、背景抑制因子、ROC 等指标与经典方法对比。阅读时留意这条反复出现的链条,比记住单个公式更有用。 前言同时交代了成书背景:内容主要来自作者团队近年的研究成果,第1章由郝群执笔,第2至7章由宋勇执笔,第8章由李国齐执笔。这意味着各章之间的衔接并非教科书式的层层递进,而是围绕同一问题从不同机制切入,读者可以按需选读,但要自己补上章节之间的对照。
全书导读
这是一本研究型专著,回答的问题是:能否把人脑视觉信息处理的机制做成算法,在复杂背景、低信噪比条件下把弱小目标和面目标检测出来并稳定跟踪。全书给出的答案是肯定的,但代价明确——每引入一种类脑机制,都要多一组需要按场景标定的参数。 阅读本书需要三项前置知识:数字图像处理的基础(卷积、滤波、直方图)、目标检测与跟踪的常规框架(背景建模、生成式与判别式跟踪、相关滤波),以及神经元的简化模型(阈值、脉冲、突触权重)。缺哪一项,都可以先读第1章的对应小节再进入后面章节。 建议的读法是先读第1章建立问题坐标系,再按”机制—模型—算法—实验”的顺序读第2至第6章,把每章的模型当作对同一问题的不同回答来比较;第7章是把类脑记忆与深度特征拼在一起的工程化尝试,第8章则把视角拉到硬件,说明前几章的模型在神经形态芯片上如何被整型化与映射。若只关心方法而不关心硬件,第8章可最后读。
全书主线
全书的主线可以概括为一句话:先找出常规方法在复杂背景下失效的具体原因,再用一种生物视觉机制补上这个缺口,最后用实验划出它的适用边界。 第一步是界定问题。小目标只有几个到几十个像素,缺少纹理和形状信息;复杂背景的杂波在灰度分布上与目标重叠;目标自身还会形变、遮挡、消失。常规检测依赖背景建模或前景特征建模,前者在动态背景下失效,后者对弱对比目标不敏感;常规跟踪分为生成式与判别式两类,前者只描述目标外观,后者用背景信息训练判别器,但都缺少对”跟踪是否可信”的判断。 第二步是逐个引入机制。侧抑制解决的是对比度:邻域互相压制,把弱的边缘差异放大成可分的落差。感受野解决的是方向与尺度:中心-外周拮抗加上方向选择性滤波,让边缘在杂波中显形。脉冲耦合神经网络解决的是区域划分:同步点火把灰度相近的像素绑成一个区域,不需要训练。视觉注意解决的是”先看哪里”:用显著图把计算资源集中到少数候选区。记忆解决的是时间维度的连续性:把历史帧的外观与判别参数保存下来,供遮挡后恢复。 第三步是把机制变成可执行的东西。每一种机制都被写成一个可调参数的模型:侧抑制是各向异性高斯核加评价比较规则,感受野是 Gabor 函数组加梯度驱动,PCNN 是四段式神经元电路加动态阈值,注意模型是双通道显著图加融合规则,记忆模型是多通道模板加旋转窗口。模型之后是算法流程和实验,实验用信杂比增益、背景抑制因子、ROC 曲线与成功率等指标说明收益,也暴露参数标定、计算开销等代价。 本书并不主张用类脑方法取代深度学习方法。第1章把类脑模型分成神经工程导向与计算机工程导向两条路线,第7章直接把卷积特征与记忆模型拼在一起,第8章则讨论二值化、三值化与 LIF 整型化——这些都在说明:机制可以借用,路线可以混合,关键是看清每种机制补的是哪一类缺口。
第1章 概述
第1章先把问题摆清楚。目标检测与跟踪的应用面很广,但真正困难的是三类情况同时出现:背景自己在动(摄像机移动、云层漂移),背景本身很复杂(杂波、纹理、强边缘),目标自身还在变化(尺度、姿态、遮挡)。复杂场景的三类干扰把这三种困难分开描述,常规算法为何在复杂背景下失灵则用以小波变换和粒子滤波为例,说明常规方法在精度与速度上的两难:想提精度就要增加模型复杂度,复杂度一上来实时性就没了。
接着是方法地图。检测方法按建模对象分成两条路线:背景建模假定背景可以被统计描述,前景建模则直接刻画目标的外观特征。检测的两条建模路线给出这个分类,随后背景建模从单高斯到混合高斯、非参数与子空间背景建模依次说明背景建模如何从单峰分布走向多峰、从参数化走向非参数化,又如何在动态背景下失效;梯度特征刻画形状与边缘与模式特征与颜色特征的取舍则讲前景建模用什么样的特征,以及为什么梯度类特征对形状敏感、颜色类特征对光照敏感。
跟踪部分的组织方式类似。外观变化与两大跟踪范式先把生成式与判别式分开:生成式只建目标模型,在候选区里找最像的;判别式把目标与背景一起训练分类器,把跟踪变成二分类。卡尔曼滤波的线性高斯前提、粒子滤波与样本贫化、相关滤波把跟踪变成回归分别说明三条代表性技术路线的前提与代价——卡尔曼要求线性高斯,粒子滤波在髙维下样本贫化,相关滤波把定位变成频域回归从而获得速度优势。
本章后半转入类脑计算。视觉通路的分层加工先给出生物侧的依据:视网膜到视皮层是逐级抽象的分层结构。类脑计算的两条路线把这个依据落成两条工程路线:神经工程导向尽量复刻生物机制(侧抑制、感受野、同步脉冲、注意、记忆),计算机工程导向借用神经网络的连接结构(卷积网络、两步法与一步法检测、深度跟踪)。侧抑制锐化边缘增强对比、感受野的方向选择与周边抑制、PCNN的同步脉冲与参数敏感、视觉注意的两种显著图、记忆机制为何没能解决遮挡五张卡分别预告了第2至第6章要展开的机制,神经工程导向模型的价值与代价则提前给出判断:这类模型可解释、少依赖数据,但参数多、泛化要靠标定。
最后一组卡片交代深度学习的现状,作为全书的对照面。深度学习复兴的三个条件说明数据、算力、算法三件事如何共同促成复兴;两步法与一步法的精度速度权衡比较以候选框加分类为代表的两步法与端到端回归的一步法;深度跟踪从在线微调到匹配则说明跟踪领域如何从在线微调转向孪生网络式的匹配。读懂这一组,才能理解后面各章为什么在深度方法已经很强的情况下仍要回到生物机制。
原书依据 · 22 处
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
- 第1章 概述 · 查看原书依据
第2章 人脑视觉系统的侧抑制机制及其应用
第2章从鲎的复眼实验讲起。光照某个小眼时,它旁边的感受器输出会被压低——这种邻近单元互相压制的现象就是侧抑制。侧抑制:邻近单元互相压制说明它的生理来源与基本形式,亮区更亮、暗区更暗解释它带来的马赫带效应:抑制量随邻域亮度变化,于是边界两侧的差异被放大,人眼看到的亮暗对比比实际灰度差更强。侧抑制的三个工程用途把这一现象翻译成工程语言:增强对比、锐化边缘、抑制均匀背景。
把侧抑制写成公式有两条路。循环与非循环的分野指出关键在于抑制项取自邻居的输出还是邻居的输入:取输出就形成反馈回路,需要多轮迭代才稳定;取输入则是一次前向计算。各向异性高斯核描述抑制衰减说明常规模型怎样用高斯核刻画”距离越远抑制越弱”,并指出各向同性核无法区分方向。旋转角由梯度主方向决定补上这一点:让核的方向随局部梯度旋转,抑制就沿着边缘方向分布,而不是均匀铺开。
两种新型模型是本章的核心。自适应侧抑制模型保留加权求和的形式,但让每个像素的抑制系数由局部统计量逐点确定,因此平坦区抑制弱、边缘区抑制强。演算侧抑制(ALI)走得更远:ALI:公式变推理规则说明它把”乘系数再相加”换成”用评价函数打分再用比较单元判决”,输出的是谁更强而不是差多少。这个改动的意义在于能容纳阈值、饱和、优先级等非线性判决,代价是灰度级的细微差别被压缩掉。
算法部分针对两类场景。第一类是复杂背景下的红外弱小目标:红外弱小目标的三重困难说明目标小、对比低、杂波强这三个条件如何叠加,两个奇异值给像素贴标签与结构描述子调制侧抑制输出给出 SVDLI 的做法——用局部块的两个奇异值区分平坦、边缘、目标三类像素,再用结构描述子调节侧抑制强度,SVDLI 单像素处理链把这条处理链画成流程。第二类是动态背景下的运动目标:等分灰度会让通道失衡指出按灰度等分通道会让人口少的通道信息量不足,按信息量递归分通道改为按信息量递归划分,运动判定的三态与赋值与时空域扩散定下不确定像素说明如何用时域差分加空域扩散确定运动像素,动态模板匹配靠上一帧接力则用上一帧的检测结果做模板匹配,把单帧检测串成跟踪。
实验给出了收益也给出了边界。SVDLI 对比实验的结论报告在信杂比增益与背景抑制因子上的提升,七指标下的 P/R 权衡提醒读者单一指标会误导:查全率与查准率在不同阈值下互为代价,只有把多个指标一起看,才能判断算法是真的更强还是把判决阈值挪了位置。
原书依据 · 18 处
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
- 第2章 人脑视觉系统的侧抑制机制及其应用 · 查看原书依据
第3章 人脑视觉系统的感受野机制及其应用
第3章处理的是”看哪里、看什么方向”。感受野是视觉特征的基本单元先给出定义:一个神经元只对视野中某个小区域的刺激有反应,这个区域就是它的感受野。同心圆拮抗的经典感受野说明经典感受野的中心-外周结构:中心受光兴奋、外周受光抑制,两者相互抵消,于是均匀光照几乎不引起反应,只有中心与外周有差异时才有强响应。高斯差模型为何强调边缘把这个结构写成两个高斯函数相减,并解释为什么这样的模型天然是边缘检测器。
非经典感受野是另一层调制。非经典感受野只调节不触发说明它本身不能引起放电,只能改变经典感受野响应的强弱,作用是把目标从背景中”推”出来。面积-反应曲线的三段式用刺激面积与放电频率的关系刻画这种调制:面积太小时响应随面积上升,面积适中时达到峰值,面积继续增大反而被外周抑制压低。这条曲线解释了为什么大面目标在常规边缘检测下反而响应弱。
从神经元到滤波器,中间站是方向选择性。简单细胞与复杂细胞的分工说明简单细胞对特定方向的边缘响应最强、位置敏感,复杂细胞则对位置不敏感但保持方向选择。Gabor函数的五个参数把方向选择性写成二维 Gabor 函数:中心频率、方向、相位、椭圆率、包络标准差五个参数决定滤波器长什么样。十六方向滤波的双重代价指出常规做法是枚举十六个方向取最优能量,代价是计算量倍增,而且最优方向一旦选错,噪声会被一起放大。
本章的模型改动就落在这里。让梯度方向决定滤波器朝向说明自适应感受野模型不再枚举方向,而是先用 Sobel 算子估计局部梯度方向,再让 Gabor 滤波器只在这个方向上工作。这样方向数量从十六个降到一个,计算量下降,噪声也不再被无关方向放大。
算法与实验部分把上述机制串成流程。红外目标检测的四步流程给出朝向图计算、侧抑制背景预测、自适应 Gabor 保边与灰度调节、残差提取四步。背景可预测而目标边缘不可预测解释这条流程的立足点:背景是缓变的、可以用邻域预测,目标边缘是突变的、预测残差就落在目标上。K因子的增强与虚警权衡说明调节因子 K 的作用——K 大则目标增强明显但虚警也多,K 小则干净但弱目标丢失。三类指标才能说清检测性能与对比实验划出的适用边界收尾:GSCR 看信杂比改善、BSF 看背景抑制程度、ROC 看整体判别能力,三者合起来才能说明算法在弱小目标与面目标上分别强多少、在什么条件下不再占优。
原书依据 · 14 处
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
- 第3章 人脑视觉系统的感受野机制及其应用 · 查看原书依据
第4章 基于脉冲耦合神经网络的目标检测方法
第4章的出发点是视觉皮层里的 γ 波同步现象:同一物体的不同特征由同步放电的神经元群表示,同步本身就是分组信号。γ波同步催生PCNN说明这一现象如何被抽象成脉冲耦合神经网络。PCNN的三种可计算量与不训练的像素级网络给出它的两个关键特征:网络以像素为单位、一个像素一个神经元,权重不靠训练得到,而是由输入图像与固定的连接规则决定。
模型本身可以拆成四段。神经元的三段式结构说明接收域、调制域、脉冲发生器三部分如何组合:接收域汇总自身与邻域的输入,调制域把偏置与邻域耦合相乘,脉冲发生器在内部状态超过动态阈值时发放脉冲。动态阈值与迭代点火补充第四段:阈值在发放后立刻抬高再缓慢衰减,于是同一个神经元不会连续点火,而是等阈值降下来才可能再次发放。同步捕获如何划出区域解释区域是怎么形成的:灰度相近的邻居在同一轮迭代中一起点火,点火又通过耦合加强彼此,最终形成同步振荡的神经元群,一群就是一个区域。
常规 PCNN 的问题在于权重。距离型权重的误点火指出,权重只按距离衰减时,背景中孤立的亮点也会把邻居拉起来点火,弱小目标因此被误判。侧抑制让邻居互相压制给出解法思路:让连接强度不只取决于距离,还取决于灰度差,灰度差大就抑制而不是兴奋。ALI-PCNN双路调制把这一思路画成双路结构:一路按距离耦合,一路按灰度差侧抑制,两路在调制域相乘。1-tanh生成自适应权重给出具体的权重函数形式,使权值随灰度差单调下降,差得越多连接越弱。
第二个改进方向是把多个机制融合。六参数SPCNN的取舍先说明简化脉冲耦合网络把参数压缩到六个,便于分析但表达能力受限。用斯蒂文斯定律定衰减借用心理物理学的幂律关系确定衰减因子,让衰减随刺激强度自适应。汉明距离自动选最优、邻域判决剔除随机噪声、FSPCNN的三机制融合合成 FSPCNN:把斯蒂文斯定律、侧抑制、快速连接三种机制合在一起,衰减因子、权重矩阵与停机时机都不再靠人工给定。
实验部分回答两个问题:分割得准不准、跟踪得稳不稳。分割质量的实测对比用红外图像与 Otsu、最大熵、混合高斯等方法比较,说明在灰度不均匀、低信噪比条件下的优势;跟踪精度的量化差距把单帧分割与改进邻域判决结合成序列跟踪,给出量化对比。参数手调是落地瓶颈是全章最实在的一句提醒:FSPCNN 的自适应只解决了一部分参数,剩余参数仍需按场景标定,这直接限制了它在未知场景下的可用性。
原书依据 · 18 处
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
- 第4章 基于脉冲耦合神经网络的目标检测方法 · 查看原书依据
第5章 人脑视觉系统的视觉注意机制及其应用
第5章讨论注意机制。视皮层的两条视觉通路先给出解剖依据:形态通路(What)识别物体是什么,空间通路(Where)定位物体在哪里,注意在这两条通路上分配资源。注意的两种驱动方式把注意分成自下而上与自上而下两类:前者由刺激本身的显著性驱动,后者由任务先验驱动。红外小目标检测没有明确的语义任务,主要依靠自下而上的显著性。
常规显著图模型有三类代表。Itti模型的三段式流程说明经典的取法:提取颜色、亮度、方向多尺度特征,做中心-外周差分得到特征图,再归一化融合成显著图。谱残差减去统计常态介绍频域思路:自然图像的幅度谱有稳定规律,把当前图像的幅度谱减去这个规律,剩下的就是异常区域。局部对比度与模糊生长介绍第三类:用局部窗口与周围的对比度定义显著性,再用模糊生长把零散响应连成区域。相加还是相乘融合与常规注意模型的短板指出这些模型的共同问题:多通道融合规则靠经验,显著图只有强弱没有边界,复杂背景下杂波也会显著。
SC 视觉注意模型针对这一短板。侧抑制网络如何增强对比先把侧抑制引入显著图计算,用它压制均匀区域、突出局部差异。SC模型的结构对比双通道说明它把显著性拆成两路:一路用 Harris 角点响应刻画结构强度,一路用侧抑制后的对比度刻画亮度差异,两路各自归一化后再融合。Harris特征值的三类判据解释角点响应为什么能区分平坦、边缘与角点:两个特征值都小是平坦区,一大一小是边缘,都大才是角点。松弛阈值加权融合给出融合规则——阈值不是固定值,而是随局部统计松弛,避免弱目标在强杂波旁被整体压掉。
小目标与面目标用了两套流程。小目标检测的两步判决先由显著图给出候选,再用对比度与形状约束做二次判决,减少杂波引起的虚警。小目标实验的信杂比增益报告与五种算法对比的结果,平均 GSCR 达到 8.9。面目标则用双层模型:DL模型的双层分工说明第一层用均值漂移与侧抑制两个通道得到初级显著图,第二层在这个先验下细化边界。先验由显著图给出解释第二层的思路——把初级显著图当作像素属于目标的先验概率,再用改进的贝叶斯估计求后验。面目标实验的ROC与AUC报告与七种算法对比的结果,平均 AUC 达到 0.9895。
两套流程的共同前提值得注意:显著图给出的是”哪里可能有目标”,而不是”目标是什么”;它的收益来自把计算集中到少数区域,代价是显著图本身对参数敏感,融合规则一旦换场景就要重调。
原书依据 · 16 处
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
- 第5章 人脑视觉系统的视觉注意机制及其应用 · 查看原书依据
第6章 人脑视觉系统的记忆机制及其应用
第6章把记忆引入跟踪。记忆写在突触改变处先给出机制层面的定义:记忆不是存下来的图像,而是突触连接强度的持久改变。海马把什么与哪里绑定补充情景记忆的一面:海马把物体的特征与出现的位置、时间绑定在一起,使”在哪里见过什么”可以被重新调用。三级记忆是一条带闸门的信息流用感觉记忆、短时记忆、长时记忆的三级结构说明信息如何被筛选、保持与遗忘,其中闸门就是注意与复述。
跟踪需要的是工程化的记忆结构。多通道记忆的横纵两维说明模型的两个维度:横向按内容分成多条通道,纵向按时间分成短时与长时。三条通道各记一类量给出三条通道的分工——一条存目标模板(外观),一条存分类器参数(判别能力),一条存特征统计(上下文)。短时匹配的两级门限与长时匹配与遗忘门槛说明更新规则:新观测与记忆的相似度超过高门限就立即更新,低于低门限就丢弃,落在中间则暂存等待更多证据。记忆的三副面孔把记忆的不确定性、模糊性与联想性对应到三个设计选择:多模板、软匹配、跨通道调用。
第二种结构是旋转记忆。三层同心圆环与窗口说明它用同心圆环表示时间层级,用一个可旋转的窗口选择当前被激活的记忆片段。旋转窗口制造暂时想不起解释这样做的目的:模拟”暂时想不起来”的状态,让模型在证据不足时不强行更新,而是等窗口转回来。MRM的一帧流转把一帧内的读取、匹配、旋转、写回画成流程。
模型要嵌入跟踪框架才有效。循环矩阵把求逆变成点乘说明核相关滤波为什么快:循环移位生成的样本矩阵可以被傅里叶对角化,求逆变成频域点乘。记忆只改更新不改检测是全章最关键的边界:记忆模型替换的是模板与分类器的更新策略,检测仍由相关滤波完成,因此它能缓解遮挡后的漂移,却不能解决检测本身失效的情况。三类干扰下记忆补在哪分别说明遮挡、相似物干扰、背景杂乱三种情况下记忆起作用的环节。
实验与代价。精度曲线上的提升幅度报告在多个基准序列上的精度与成功率提升,快七个百分点换来什么说明收益集中在遮挡与重现序列,代价是每帧额外的模板匹配开销。相关滤波的三步循环与直方图决策分类器跟随补上基线方法的细节,便于对照。OTB50上的总体领先给出整体排名,记忆补不了形变与消失则明确失败情形:目标大幅形变或彻底离开视野时,记忆只会把过期模板反复写回,反而加速漂移。
原书依据 · 20 处
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
- 第6章 人脑视觉系统的记忆机制及其应用 · 查看原书依据
第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法
第7章把深度特征与记忆模型拼在一起。跟踪算法的两条路线先区分生成式与判别式,并指出相关滤波属于后者的一种高效实现。响应峰就是目标位置说明相关滤波的定位原理:把模板与搜索区做相关运算,响应最大的位置就是目标位置。循环矩阵让训练有闭式解解释它为什么能在频域里几步算完。KCF的三步跟踪闭环把检测、训练、更新三步串成闭环,这个闭环也是后面要改的对象。
闭环有两个结构性弱点。没有置信度就会学错背景说明第一个弱点:响应图总有峰值,哪怕目标已被遮挡,峰值仍会指向某个背景区域,模型照样用它更新,错误被固化。固定更新节奏的两难说明第二个弱点:更新太快会把遮挡物学进模板,更新太慢则跟不上外观变化,固定的学习率与更新间隔无法同时满足两种情形。这两个问题在常规相关滤波里都存在,只是缺少评价手段而未被显式处理。
改进分两步。第一步换特征:CNN接入跟踪的两条路线比较用卷积网络做特征提取与做端到端回归两种做法,本书选前者。分层特征由粗到精定位说明浅层特征分辨率高、适合精确定位,深层特征语义强、适合抗干扰,多层加权融合可以兼顾。深度特征时代的三项改进总结这一路线的共同改动:多分辨率搜索、多尺度候选、边界效应抑制。
第二步补上置信度。响应图形状就是置信度指出响应图不只有峰值高度,还有形状:峰值尖锐、旁瓣低说明定位可信,峰值平坦、多峰说明存在干扰。传统指标只看数值不看形状说明峰值、峰值旁瓣比这类标量指标丢失了形状信息。RAN的三层卷积二分类器给出解法:把整张响应图送进一个小型卷积网络,输出”这次跟踪是否可信”的二分类判断。RAN训练集怎么造说明正负样本如何从标注序列中构造,RAN插在检测与更新之间把 RAN 插到检测与更新之间,形成”检测—响应分析—训练—更新”的流程。
记忆机制在这里再次出现,但作用变了。主副分类器构成的记忆空间说明改法:不再维护一个分类器,而是维护一个主分类器加若干副分类器,每帧由 RAN 打分选出当前最可信的一个负责定位,其余作为候选保留;当主分类器连续失分时,从副分类器派生或替换。这实际上是把第6章的多通道记忆改写成分类器层面的版本。88.1%精度与它的代价给出结果与代价:在 OTB-2015 上精度达到 88.1%,遮挡与形变序列上优势明显,但每帧要多做多次分类器检测和一次网络推理,速度明显下降。
原书依据 · 16 处
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
- 第7章 基于卷积神经网络与人脑记忆模型的目标跟踪算法 · 查看原书依据
第8章 类脑计算平台及其目标检测与跟踪应用
第8章把视角从算法拉到硬件。加速器三阶段演进先给出深度学习专用处理器的演进脉络:从通用处理器加协处理器,到专用加速器,再到面向特定网络结构的定制芯片。寒武纪加速器谱系以具体产品说明这条路线如何从小规模原型走向可编程指令集。用压缩换片上存储指出这类芯片的共同瓶颈:片上存储放不下整层权重与特征图,只能靠量化与压缩换取带宽。
另一条路线是神经形态计算。存算分离墙逼出类脑说明动机:冯·诺依曼架构下数据在存储与计算之间反复搬运,功耗与延迟都被这一堵墙限制,类脑芯片把计算放到存储所在的位置,用事件驱动替代时钟驱动。神经形态系统三大件给出这类系统的组成:神经元阵列、突触互连、路由网络。亚阈值模拟百万神经元以模拟电路方案说明如何用晶体管的亚阈值特性实现低功耗积分发放;小规模换机制研究说明数字方案为什么规模小但更适合机制研究;用ARM核堆出脑规模与事件驱动众核芯片分别介绍以多核堆叠和以事件路由扩展规模的两条工程路径;忆阻器当突触的条件则交代用器件直接实现突触权重需要满足的线性、对称与保持特性。两类平台的三点分歧把深度学习专用处理器与神经形态芯片在计算范式、数据表示、编程方式上的差别讲清楚。
从算法到芯片,中间要过量化与动力学两道关。二值与三值量化说明把权重与激活压到 1–2 bit 的做法及其精度代价,这也是深度学习与神经形态互补的一个接口。LIF方程的三项拆解漏积分发放神经元:膜电位随输入累积、随时间泄漏、越过阈值发放并复位。SNN是时空双重累加指出它与普通神经网络的根本区别:除了空间上的加权求和,还有时间上的累积,因此同一个输入在不同时刻到达会有不同结果。STDP用因果时序改权重说明无监督学习规则:突触前先于突触后发放则加强,反之减弱。ANN预训练迁移四条件给出把训练好的普通网络转成脉冲网络需要满足的条件,绕过Spike不可导的BP则说明直接训练脉冲网络时如何处理脉冲的不可导问题。
本章的工程重点是让动力学网络跑在硬件上。CANN改造成硬件友好说明连续吸引子网络如何被改写以减少乘法与存储,灵敏度与稳定性的取舍指出改写带来的参数敏感问题。Spike序列不变法给出整型化的核心约束:转换前后脉冲序列必须一致,因此每一步的放缩都要精确可控。反馈网络恒定放缩约束与全连接层映射到FCore、反馈网络列向分片映射说明网络如何被切分映射到功能核。1680神经元与794帧给出实际系统规模与实验结果:用 1680 个神经元完成 794 帧视频的目标跟踪。这个数字本身就是结论——类脑硬件在超低功耗场景有意义,但在规模与精度上仍与 GPU 方案有明显距离。
原书依据 · 24 处
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
跨章综合
把八章连起来看,可以读出三条并行的线索。 第一条是空间线索:侧抑制(第2章)处理相邻像素的相互压制,感受野(第3章)处理局部区域内的方向与尺度选择,脉冲耦合神经网络(第4章)处理更大范围的同步分组。三者作用的空间尺度依次变大,解决的问题也从”对比度不够”变成”方向不清”再到”区域不整”。它们不是替代关系,同一幅红外图像上可以先用侧抑制压背景,再用 Gabor 提边缘,最后用 PCNN 把边缘闭合成分割区域。 第二条是选择线索:视觉注意(第5章)回答”先看哪里”,它把前几章算出的各种特征图汇总成一张显著图,用一个标量决定计算资源的分配。这让前面那些逐像素的机制变得可用——全图逐像素做侧抑制与 Gabor 滤波代价很高,先用显著图圈出候选区,再在候选区内精细处理,是本书多处算法的实际做法。 第三条是时间线索:记忆(第6章)与置信度评价(第7章)处理的是同一件事的两面——如何判断当前观测是否可信,以及如何在不可信时保住已有知识。第6章用模板与分类器的多通道记忆来保住历史,第7章用响应图形状打分来决定要不要更新,本质上都是给”更新”这一动作加上门禁。第8章则把这一切压到硬件约束下:LIF 动力学的整型化要求每一步放缩精确可控,CANN 的改写要求把乘法换成加法,这些约束反过来会限制前面各章模型能保留多少精度。 最后要看清本书的立场。它没有主张类脑方法优于深度方法,而是把类脑机制当作一组可解释、少依赖数据的先验,用来弥补深度方法在少样本、低信噪比条件下的不足。第7章把两者拼在一起,第8章讨论两种硬件平台的互补,都是这个立场的延续。读完之后可以带走一个判断标准:遇到新的检测或跟踪问题,先问缺的是对比度、是方向、是区域完整性、是资源分配,还是时间一致性——缺什么补什么,比整体套用一种模型更有效。
发散与实践
以下是从本书机制延伸出的实践方向,具体计划见 ideas/ 下的实践卡,均为计划交付,尚未执行。
- 复现一条最小链路:取一段红外或低对比度视频,依次实现侧抑制、Gabor 方向滤波、残差提取三步,观察每一步对信杂比的实际影响,并与不做处理的基线对比。这一步能把第2、3章的模型从公式变成可见的图像差异。
- 用 PCNN 做分割的参数敏感性实验:固定输入图像,逐个改变衰减因子、连接强度与迭代次数,记录分割结果的变化,验证”参数需按场景标定”这一结论在多大范围内成立。
- 把响应图的形状特征接进现成的相关滤波跟踪器:不改检测与更新逻辑,只在更新前加一道基于峰值旁瓣比或多峰检测的门禁,比较加与不加时在遮挡序列上的漂移情况。
- 读者延伸(非作者观点):本书各章的机制都可以看作”先验注入”的不同形式。若把侧抑制、感受野、注意、记忆分别视为对比度先验、方向先验、稀疏性先验、连续性先验,就能把它们放进同一个贝叶斯框架下比较——哪些先验在什么数据条件下更有价值,是本书没有展开但值得追的问题。