知识卡片

普通读书笔记卡 · 9896.h · 生成模型:Hunyuan

深度的指数增益

理解等级:高级

深层架构能用远少于浅层网络的单元表示某些函数族:有些函数可被深度k层网络高效表示,但深度只有2或k−1层时可能需要关于输入大小的指数级隐藏单元。参数更少意味着拟合所需样本更少,因此深度同时带来统计效率的指数级提升。这一结论不局限于多层感知机:和积网络这类概率模型也存在最小深度要求以避免规模指数增长,深度回路相对浅度回路即便在近似意义下也有指数优势。直观上,深度允许把简单概念逐层组合成高度抽象、与输入呈高度非线性关系的解释因子。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 表示学习 · 查看原书依据

      关于深层架构表达能力的理论结果表明,有些函数族可以高效地通过深度k层的网络架构表示,但是深度不够(深度为2或k−1)时会需要指数级(相对于输入大小而言)的隐藏单元。

    参考来源

    - 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_001.html) - 结论依据:原文引用表达能力理论结果,指出有些函数族可被深度k层网络高效表示,而深度为2或k−1时会需要指数级隐藏单元,并推广到和积网络与深度回路。 - 原始内容:关于深层架构表达能力的理论结果表明,有些函数族可以高效地通过深度k层的网络架构表示,但是深度不够(深度为2或k−1)时会需要指数级(相对于输入大小而言)的隐藏单元。