知识卡片

普通读书笔记卡 · 7010.o.1 · 生成模型:GPT-6

端侧推理的模型适配

理解等级:中级

端侧推理可以减少网络往返,但设备的算力、内存、功耗和硬件接口有约束。书中提出选择小模型、训练后压缩或降低推理精度,并将模型转换为目标平台支持的格式。压缩和量化的速度收益与精度损失需要在目标设备及任务上验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第12章《工业级深度学习框架》,12.9 移动端和嵌入式端(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_105.html`) - 结论依据:原文给出实验、框架机制或工程方案;卡片对条件、数值边界和性能外推作限定。 - 原始内容:移动端和嵌入式端的运算力相对较弱。