知识卡片
ANN预训练迁移四条件
绕开 SNN 难训练的一条实用路径是:先按 ANN 训练,再把网络“翻译”成 SNN,权重不动,只换神经元模型与信号形式。翻译成立要四个条件:ANN 用 ReLU 分段线性激活,其输出才与 IF 神经元在时间窗内的脉冲数成正比;去掉偏置项,因为 IF 神经元没有偏置;卷积网络用 average pooling 而非 max pooling,脉冲频率才保持正比;分类只看输出层相对大小,允许整体存在放缩。步骤是建网并训练、保持权重换成 IF 与 Spike、再调输入频率与各层阈值。第三步后性能常明显下降:频率过大产生大量无效脉冲,过小则几乎不发放,必须靠第四步把响应调到平衡。
结构图:
flowchart TD
A["构建ReLU网络并去偏置"] --> B["BP训练得到权重"]
B --> C["权重不变换为IF神经元"]
C --> D["信号改为Spike序列"]
D --> E["调输入频率与各层阈值"]
E --> F["统计输出层Spike频率"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
例如,首先将SNN网络按照ANN的方式构建;然后利用ANN的BP有监督方法训练,再将该ANN的神经元模型转化为IF模型并将传递信号转换为Spike信号,从而完成SNN的间接学习过程。
参考来源
- 位置:《基于类脑计算的目标检测与跟踪技术》第8章 类脑计算平台及其目标检测与跟踪应用(源文件:extracted/基于类脑计算的目标检测与跟踪技术/_epub-src/OPS/txt008.html)
- 结论依据:绕开 SNN 难训练的一条实用路径是:先按 ANN 训练,再把网络“翻译”成 SNN,权重不动,只换神经元模型与信号形式。
- 原始内容:例如,首先将SNN网络按照ANN的方式构建;然后利用ANN的BP有监督方法训练,再将该ANN的神经元模型转化为IF模型并将传递信号转换为Spike信号,从而完成SNN的间接学习过程。