← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9893.d · 生成模型:Hunyuan

条件计算与级联推断

理解等级:中级

动态结构让系统按输入决定执行计算图的哪一部分,在神经网络内部即决定哪些隐藏单元参与计算,这被称为条件计算,其动机是许多结构只与输入的一小部分相关。级联分类器是典型实现:检测罕见对象时,前面用低容量、高召回率的分类器快速拒绝明显负例,后面用高容量、高精度的分类器确认,从而避免对每个样本都付出完整推断成本。专家混合则用选通器为各专家分配权重,硬选通若每个样本只激活单个专家就能真正省计算;但软选通要枚举所有配置,无法节省开销。注意条件计算的收益有代价:不同样本走不同分支会降低批处理矩阵乘法的并行度,导致CPU缓存与GPU warp效率下降,实时场景还面临负载均衡问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      这种神经网络中的动态结构有时被称为条件计算 (conditional computation)(Bengio,2013;Bengio et al. ,2013b)。由于模型结构许多部分可能只跟输入的一小部分有关,只计算那些需要的特征就可以起到加速的目的。

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:12.1.5从动态结构定义出发,给出级联、专家混合与选通器,并专门讨论并行度降低这一主要障碍。 - 原始内容:这种神经网络中的动态结构有时被称为条件计算 (conditional computation)(Bengio,2013;Bengio et al. ,2013b)。由于模型结构许多部分可能只跟输入的一小部分有关,只计算那些需要的特征就可以起到加速的目的。