← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9600.k · 生成模型:DeepSeek-V4.1-Flash

二值与三值量化

理解等级:中级

把权重与神经元状态从浮点压到极少离散值,是为了让乘加退化成逻辑。二值:训练中周期性地把连续权重采样为两个值,乘累加简化为加法;再把状态也二值化,乘加直接变成同或(XNOR)与计数。IBM 借此把二值网络改造成 SNN,在 TrueNorth 上做出大于 6000 fps/W 的图像流处理,覆盖八个常用数据库。三值:纯二值损失精度,Rastegari 引入放缩因子,把二值化写成向量范数逼近问题;国内团队把权重推广到三值,清华的 GXNOR 用门限决定第三态,深鉴也给出三值方案。共同权衡是:位宽越低越省电省面积,但需要放缩因子或门限补偿表示能力,任务越难,精度损失越明显。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《基于类脑计算的目标检测与跟踪技术》第8章 类脑计算平台及其目标检测与跟踪应用(源文件:extracted/基于类脑计算的目标检测与跟踪技术/_epub-src/OPS/txt008.html) - 结论依据:把权重与神经元状态从浮点压到极少离散值,是为了让乘加退化成逻辑。 - 原始内容:IBM公司巧妙利用这种二值网络只有两个神经元状态的特点,将其改造成SNN模型,并在TrueNorth神经形态平台上成功演示了大于6 000 fps/W的超快、超低功耗图像流处理