知识卡片
绕过Spike不可导的BP
SNN 不能直接 BP,是因为输出是阶跃的二值脉冲,导数几乎处处为零,梯度传不回去。做法是换一个可导的输出量:忽略衰减核、令外部输入为零,把复位改成发放后膜电位减去 γVth,并让同层神经元发放后横向抑制邻居(WTA 竞争)。对膜电位的一阶微分方程求解,得到 Vi 的表达式,其中 ai(t) 描述自身发放造成的指数衰减。把 Vi 降级为隐含变量,把 ai 当作真正的响应量,再对输入积分项求导,得到 ∂ai/∂Ii,它正好充当激活函数导数 φ′。脉冲时刻只被当作导数上的噪声,不可导问题被绕开,之后照搬 ANN 的链式法则即可,代价函数取输出层时间窗内脉冲数与标签的平方误差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
上述过程将本身不可导的离散Spike序列通过封装到式(8.5)所示的指数核函数中,将ai视为神经元的输出状态,仅把Spike时刻点看作导数噪声信息,从而解决了SNN中Spike阶跃激活函数不可导的问题。
参考来源
- 位置:《基于类脑计算的目标检测与跟踪技术》第8章 类脑计算平台及其目标检测与跟踪应用(源文件:extracted/基于类脑计算的目标检测与跟踪技术/_epub-src/OPS/txt008.html)
- 结论依据:SNN 不能直接 BP,是因为输出是阶跃的二值脉冲,导数几乎处处为零,梯度传不回去。
- 原始内容:上述过程将本身不可导的离散Spike序列通过封装到式(8.5)所示的指数核函数中,将ai视为神经元的输出状态,仅把Spike时刻点看作导数噪声信息,从而解决了SNN中Spike阶跃激活函数不可导的问题。