知识卡片

普通读书笔记卡 · 2334.b

推理成本需累计调用

理解等级:未标注

训练形成模型权重,推理在既定权重上处理新输入;训练一次可能较重,单次推理较轻,但部署期反复调用会累积。总推理开销需由单次计算成本、调用次数及运行周期估算,才能与训练、再训练等总成本比较;用户数乘调用频率只是调用率,缺少时间和单位成本时不能直接称总算力。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 异构加速 · 查看原书依据

      尽管训练比单次推理花费的时间长得多,但训练完成后,推理的调用频次非常高,推理的总计算时间是DNN用户数量与推理调用频率的乘积。 3.MLP、CNN和RNN DNN是一个快速发展的领域,流行的DNN结构有三种:MLP(MultiLayer Perceptron,多层感知器)、CNN(Conv

    参考来源

    - 位置:《软硬件融合 (黄朝波 著)》第7章《异构加速》(来源项目book-sources;源文件:extracted/软硬件融合 (黄朝波 著)/_epub-src/OEBPS/Text/chapter014.xhtml) - 结论依据:该项对“训练形成模型权重,推理在既定权重上处理新输入;训练一次可能较重,单次推理较轻,但部署期反复调用会累积”给出定义、对比、案例或条件;保留论证范围,不将启发式当无条件定律。 - 原始内容:尽管训练比单次推理花费的时间长得多,但训练完成后,推理的调用频次非常高,推理的总计算时间是DNN用户数量与推理调用频率的乘积。 3.MLP、CNN和RNN DNN是一个快速发展的领域,流行的DNN结构有三种:MLP(MultiLayer Perceptron,多层感知器)、CNN(Conv