知识卡片

普通读书笔记卡 · 9887.l · 生成模型:Hunyuan

万能近似定理的表达力与局限

理解等级:中级

万能近似定理表明:只要有线性输出层和至少一层带挤压性质激活函数的隐藏层,并给予足够多的隐藏单元,前馈网络就能以任意精度逼近有限维空间之间的 Borel 可测函数(实践中连续函数即可满足),其导数也能被逼近,ReLU 同样适用。这给了表示能力以理论保证:一个大的 MLP 一定能表示目标函数。但表示不等于学到:优化算法可能找不到对应参数,训练也可能因过拟合而选错函数,而且没有免费的午餐定理说明不存在万能的学习过程。定理还不限定网络需要多大,最坏情况下单层可能需要指数级隐藏单元。用途边界:它证明存在足够大的网络,而不是训练一定成功,因此深层架构、正则化与优化仍然关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      万能近似定理意味着无论我们试图学习什么函数,我们知道一个大的MLP一定能够表示这个函数。然而,我们不能保证训练算法能够学得这个函数。即使MLP能够表示该函数,

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文陈述了万能近似定理的条件与结论,并说明表示与学习的差距、优化失败与过拟合两种原因,以及最坏情况下的指数级规模问题。 - 原始内容:万能近似定理意味着无论我们试图学习什么函数,我们知道一个大的MLP一定能够表示这个函数。然而,我们不能保证训练算法能够学得这个函数。即使MLP能够表示该函数,