知识卡片
二值与三值量化
把权重与神经元状态从浮点压到极少离散值,是为了让乘加退化成逻辑。二值:训练中周期性地把连续权重采样为两个值,乘累加简化为加法;再把状态也二值化,乘加直接变成同或(XNOR)与计数。IBM 借此把二值网络改造成 SNN,在 TrueNorth 上做出大于 6000 fps/W 的图像流处理,覆盖八个常用数据库。三值:纯二值损失精度,Rastegari 引入放缩因子,把二值化写成向量范数逼近问题;国内团队把权重推广到三值,清华的 GXNOR 用门限决定第三态,深鉴也给出三值方案。共同权衡是:位宽越低越省电省面积,但需要放缩因子或门限补偿表示能力,任务越难,精度损失越明显。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
IBM公司巧妙利用这种二值网络只有两个神经元状态的特点,将其改造成SNN模型,并在TrueNorth神经形态平台上成功演示了大于6 000 fps/W的超快、超低功耗图像流处理
参考来源
- 位置:《基于类脑计算的目标检测与跟踪技术》第8章 类脑计算平台及其目标检测与跟踪应用(源文件:extracted/基于类脑计算的目标检测与跟踪技术/_epub-src/OPS/txt008.html)
- 结论依据:把权重与神经元状态从浮点压到极少离散值,是为了让乘加退化成逻辑。
- 原始内容:IBM公司巧妙利用这种二值网络只有两个神经元状态的特点,将其改造成SNN模型,并在TrueNorth神经形态平台上成功演示了大于6 000 fps/W的超快、超低功耗图像流处理