返回主题:线性模型与优化算法

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 3788.o

逐层预训练提供网络初值

理解等级:中级

逐层预训练先逐个学习隐藏层的表示,将学到的参数用作深层网络初值,再围绕最终任务联合微调。这是一种缓解深层训练困难的历史策略;初始化与任务目标分工不同,前一阶段学到的表示未必最适合最终任务。它不等于深层网络必须采用的训练流程,也不能据此断言反向传播无法训练深层模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 2 0 . 1 深 度 学 习 算 法 与 神 经 网 络 · 查看原书依据

      他们在文中独辟蹊径阐述了两个重要观点:一是多隐层的神经网络可以学习到能刻画数据本质属性的特征,对数据可视化和分类等任务有很大帮助;二是可以借助于无监督的“逐层初始化”策略来有效克服深层神经网络在训练上存在的难度。

    参考来源

    - 位置:《智能算法导论》第 190 项《20.1 深度学习算法与神经网络》(源文件:`_epub-src/EPUB/xhtml/chapter20_0001.xhtml`) - 结论依据:正文说明无监督逐层初始化、逐层预训练与精调的两阶段安排;对“BP不可能完成深层学习”和“解决训练难题”的绝对表述作条件限定。 - 原始内容:可以借助于无监督的“逐层初始化”策略来有效克服深层神经网络在训练上存在的难度……Hinton等提出了基于“逐层预训练”和“精调”的两阶段策略。