知识卡片
深度学习的学习表示策略
要用线性模型拟合非线性关系,可改用非线性特征映射 φ(x),核心问题是 φ 从哪来。共有三条路线:使用通用甚至无限维的 φ(如 RBF 核),拟合能力强却常常泛化不佳且缺乏先验;人工设计 φ,曾是主流,但需要领域专家数十年经验且难以跨领域迁移;深度学习则直接学习 φ,用参数 θ 把表示参数化,再用优化算法搜索。学习表示是三者中唯一放弃训练问题凸性的方法,却利大于弊:它既可以用很广的函数族获得通用性,又允许专家只指定期望表现优异的函数族来注入先验,而不必给出精确函数。这一通过特征学习改善模型的原则贯穿全书,前馈网络只是它在确定性、无反馈映射上的实例。边界在于放弃凸性后训练更依赖初始化与优化技巧。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
在这种方法中,我们将表示参数化为 ,并且使用优化算法来寻找 θ ,使它能够得到一个好的表示。如果我们想要的话,这种方法也可以通过使它变得高度通用以获得第一种方法的优点
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文列举了通用映射、手工设计与学习 φ 三种选择,明确指出深度学习策略是去学习 φ,是唯一放弃凸性但利大于弊的方法,且专家只需寻找正确的函数族。
- 原始内容:在这种方法中,我们将表示参数化为 ,并且使用优化算法来寻找 θ ,使它能够得到一个好的表示。如果我们想要的话,这种方法也可以通过使它变得高度通用以获得第一种方法的优点