知识卡片

普通读书笔记卡 · 9896.a · 生成模型:Hunyuan

贪心逐层无监督预训练

理解等级:中级

贪心逐层无监督预训练先用RBM、单层自编码器、稀疏编码等单层表示学习算法训练第一层,再把前一层输出当作输入逐层训练,最后做监督精调。它被称为’贪心’是因为每一步独立优化一部分而非联合优化全部;’逐层’是因为每次只处理一层,训练第k层时保持前面各层不变,低层不会因高层加入而调整;’无监督’是因为每层用无监督算法训练;’预训练’是因为它只是联合精调前的第一步。它历史上首次让不含卷积或循环结构的全连接深网得以训练,如今更多被理解为一种正则化与参数初始化手段。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 表示学习 · 查看原书依据

      贪心逐层无监督预训练每次处理一层网络,训练第k层时保持前面的网络层不变。特别地,低层网络(最先训练的)不会在引入高层网络后进行调整。它被称为无监督 (unsupervised)的,是因为每一层用无监督表示学习算法训练。

    参考来源

    - 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文逐条拆解了贪心、逐层、无监督、预训练四个词的含义,并说明它每次处理一层、用无监督算法训练、低层不再调整,是训练深层网络第一个成功的方法。 - 原始内容:贪心逐层无监督预训练每次处理一层网络,训练第k层时保持前面的网络层不变。特别地,低层网络(最先训练的)不会在引入高层网络后进行调整。它被称为无监督 (unsupervised)的,是因为每一层用无监督表示学习算法训练。