知识卡片

普通读书笔记卡 · 9887.m · 生成模型:Hunyuan

深度网络的指数级表达优势

理解等级:高级

深度的价值不只是让网络更大:存在这样的函数族,当深度超过某个值时能被高效近似,而浅层网络需要指数级多的隐藏单元。Montufar 等人证明深度整流网络可描述的线性区域数随深度指数增长;直觉是每次折叠输入空间都产生一个镜像,层层组合便得到指数级的分段线性区域。统计上,选择深度模型等于声明一种先验:目标函数由许多更简单的函数复合而成,对应表示学习中用更简单的变差因素描述复杂因素,或把函数看成按步骤调用前一步输出的程序。实验也显示增加深度比单纯增加参数更能提升泛化。边界:这只对享有这种组合结构的任务成立,并非所有函数都能从深度中获益。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文给出深度带来指数级线性区域的结果,并以折叠镜像的几何解释和参数数量对照实验说明深层架构表达了有用的函数先验。 - 原始内容:更确切地说,他们说明分段线性网络(可以通过整流非线性或maxout单元获得)可以表示区域的数量是网络深度的指数级的函数。