知识卡片
端侧推理的模型适配
端侧推理可以减少网络往返,但设备的算力、内存、功耗和硬件接口有约束。书中提出选择小模型、训练后压缩或降低推理精度,并将模型转换为目标平台支持的格式。压缩和量化的速度收益与精度损失需要在目标设备及任务上验证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 工业级深度学习框架 12.9 移动端和嵌入式端 · 查看原书依据
移动端和嵌入式端的运算力相对较弱
参考来源
- 位置:《用Python实现深度学习框架》第12章《工业级深度学习框架》,12.9 移动端和嵌入式端(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_105.html`)
- 结论依据:原文给出实验、框架机制或工程方案;卡片对条件、数值边界和性能外推作限定。
- 原始内容:移动端和嵌入式端的运算力相对较弱。