知识卡片
反馈网络恒定放缩约束
反馈 LIF 网络不能逐层整型化,因为它的输出又回到输入,形成环路。办法是把动力学微分方程按时间步展开成迭代差分方程,把每一步迭代当成一层前馈网络,从而借用放缩链式法则。关键约束是:当前步输出的放缩因子必须等于上一步输出(也就是当前步输入)的放缩因子,恒为同一个常数 ρV。若不满足,误差会在环路里被反复放大或衰减,表现为输出爆炸或输出消失。满足约束相当于把整条膜电位时间曲线整体缩放,每步都落在芯片位宽内。但取整误差是随机的且会沿环路累积,个别时间步仍可能越界,因此还要加钳位,并反复调参、甚至回改浮点模型参数。
结构图:
flowchart TD
A["连续微分方程"] --> B["按时间步差分化"]
B --> C["每步视为一层前馈"]
C --> D["施加恒定放缩因子"]
D --> E["取整与钳位"]
E --> F{"越界或性能不足"}
F -- "是" --> G["调整放缩因子或原模型"]
G --> D
F -- "否" --> H["上片运行"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
式(8.12)表明,当前时间步的网络输出放缩因子须与上一个时间步的网络输出放缩因子(当前时间步网络输入的放缩因子)相同,恒为常值ρV;否则会产生输出爆炸或消失的问题。
参考来源
- 位置:《基于类脑计算的目标检测与跟踪技术》第8章 类脑计算平台及其目标检测与跟踪应用(源文件:extracted/基于类脑计算的目标检测与跟踪技术/_epub-src/OPS/txt008.html)
- 结论依据:反馈 LIF 网络不能逐层整型化,因为它的输出又回到输入,形成环路。
- 原始内容:式(8.12)表明,当前时间步的网络输出放缩因子须与上一个时间步的网络输出放缩因子(当前时间步网络输入的放缩因子)相同,恒为常值ρV;否则会产生输出爆炸或消失的问题。