知识卡片
用压缩换片上存储
第三阶段的做法是“先瘦身模型,再按瘦身后的规模造硬件”。深鉴科技的 EIE 是典型:对 AlexNet、VGGNet 这类大网络的权重做深度压缩,使参数小到可以完全放进片上 SRAM,从而彻底取消片外 DRAM 访问;再叠加网络稀疏化、权值共享、跳过零响应等操作,把无效乘累加也省掉。45 nm 工艺下,其吞吐量、面积与能效相对“大电脑”都有数倍提升。配套的方法论是剪枝、量化、霍夫曼编码三步流水,可把存储压缩近 50 倍而精度损失很小。边界在于:压缩率取决于权重的冗余程度与可接受的精度损失,三步必须联合设计,单独做一步收益有限;若网络本身冗余不足,压缩后精度会明显下降。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 类脑计算平台及其目标检测与跟踪应用 · 查看原书依据
北京深鉴科技有限公司基于其深度压缩理论,将大规模DNN(如AlexNet、VGGNet等)的权重参数大幅压缩,完全用片上静态随机存取存储器(SRAM)取代片外动态随机存取存储器
参考来源
- 位置:《基于类脑计算的目标检测与跟踪技术》第8章 类脑计算平台及其目标检测与跟踪应用(源文件:extracted/基于类脑计算的目标检测与跟踪技术/_epub-src/OPS/txt008.html)
- 结论依据:第三阶段的做法是“先瘦身模型,再按瘦身后的规模造硬件”。
- 原始内容:北京深鉴科技有限公司基于其深度压缩理论,将大规模DNN(如AlexNet、VGGNet等)的权重参数大幅压缩,完全用片上静态随机存取存储器(SRAM)取代片外动态随机存取存储器