知识卡片

普通读书笔记卡 · 6473.d.2.b.2.c.2.a · 生成模型:未记录

计划采样与曝光偏置

理解等级:中级

教师强制训练使用真实历史目标,推断时模型却依赖自己生成的前缀,这种条件差异称为曝光偏置。计划采样在训练时逐步让模型看到部分自身输出,试图缓解这种差异;它可能影响 Transformer 的并行训练方式,效果需要实验验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer 7.7.6 计划采样 · 查看原书依据

      假设解码器在训练的时候永远只看过正确的东西,在测试的时候,只要有一步错,就会步步错. 解码器从来没有看过错的东西,它看到错的东西会非常惊奇,接下来产生的结果可能都是错的.一个可以思考的方向是,给解码器的输入加入一些错的东西,它反而学得更好,这一技巧被称为计划采样(scheduled sampling)[9]. 计划采样不是学习率调整.计划采样很早就有了. 在还没有 Transformer而只有 LSTM 的时候,就已经有计划采样了.但是计划采样会损害Transformer 的平行化能力,因此 Transformer的计划采样另有招数,详见论文“Scheduled Sampling for Transformers”[10]和“Parallel ScheduledSampling”[11].

    参考来源

    - 位置:《深度学习详解》第7章《Transformer》7.7.6 计划采样(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`) - 结论依据:原文以具体序列任务、候选路径或训练推断差异说明对应方法。 - 原始内容:假设解码器在训练的时候永远只看过正确的东西,在测试的时候,只要有一步错,就会步步错. 解码器从来没有看过错的东西,它看到错的东西会非常惊奇,接下来产生的结果可能都是错的.一个可以思考的方向是,给解码器的输入加入一些错的东西,它反而学得更好,这一技巧被称为计划采样(scheduled sampling)[9]. 计划采样不是学习率调整.计划采样很早就有了. 在还没有 Transformer而只有 LSTM 的时候,就已经有计划采样了.但是计划采样会损害Transformer 的平行化能力,因此 Transformer的计划采样另有招数,详见论文“Scheduled Sampling for Transformers”[10]和“Parallel ScheduledSampling”[11].