知识卡片
推理成本需累计调用
训练形成模型权重,推理在既定权重上处理新输入;训练一次可能较重,单次推理较轻,但部署期反复调用会累积。总推理开销需由单次计算成本、调用次数及运行周期估算,才能与训练、再训练等总成本比较;用户数乘调用频率只是调用率,缺少时间和单位成本时不能直接称总算力。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 异构加速
原书出处 · 1 处
- 异构加速 · 查看原书依据
尽管训练比单次推理花费的时间长得多,但训练完成后,推理的调用频次非常高,推理的总计算时间是DNN用户数量与推理调用频率的乘积。 3.MLP、CNN和RNN DNN是一个快速发展的领域,流行的DNN结构有三种:MLP(MultiLayer Perceptron,多层感知器)、CNN(Conv
参考来源
- 位置:《软硬件融合 (黄朝波 著)》第7章《异构加速》(来源项目book-sources;源文件:extracted/软硬件融合 (黄朝波 著)/_epub-src/OEBPS/Text/chapter014.xhtml)
- 结论依据:该项对“训练形成模型权重,推理在既定权重上处理新输入;训练一次可能较重,单次推理较轻,但部署期反复调用会累积”给出定义、对比、案例或条件;保留论证范围,不将启发式当无条件定律。
- 原始内容:尽管训练比单次推理花费的时间长得多,但训练完成后,推理的调用频次非常高,推理的总计算时间是DNN用户数量与推理调用频率的乘积。 3.MLP、CNN和RNN DNN是一个快速发展的领域,流行的DNN结构有三种:MLP(MultiLayer Perceptron,多层感知器)、CNN(Conv