← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9887.a · 生成模型:Hunyuan

深度学习的学习表示策略

理解等级:中级

要用线性模型拟合非线性关系,可改用非线性特征映射 φ(x),核心问题是 φ 从哪来。共有三条路线:使用通用甚至无限维的 φ(如 RBF 核),拟合能力强却常常泛化不佳且缺乏先验;人工设计 φ,曾是主流,但需要领域专家数十年经验且难以跨领域迁移;深度学习则直接学习 φ,用参数 θ 把表示参数化,再用优化算法搜索。学习表示是三者中唯一放弃训练问题凸性的方法,却利大于弊:它既可以用很广的函数族获得通用性,又允许专家只指定期望表现优异的函数族来注入先验,而不必给出精确函数。这一通过特征学习改善模型的原则贯穿全书,前馈网络只是它在确定性、无反馈映射上的实例。边界在于放弃凸性后训练更依赖初始化与优化技巧。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      在这种方法中,我们将表示参数化为 ,并且使用优化算法来寻找 θ ,使它能够得到一个好的表示。如果我们想要的话,这种方法也可以通过使它变得高度通用以获得第一种方法的优点

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文列举了通用映射、手工设计与学习 φ 三种选择,明确指出深度学习策略是去学习 φ,是唯一放弃凸性但利大于弊的方法,且专家只需寻找正确的函数族。 - 原始内容:在这种方法中,我们将表示参数化为 ,并且使用优化算法来寻找 θ ,使它能够得到一个好的表示。如果我们想要的话,这种方法也可以通过使它变得高度通用以获得第一种方法的优点