知识卡片
导师强制使用真实历史
在自回归序列模型训练中,导师强制把前一时刻的真实目标作为下一步输入,而不是总使用模型自己的预测。这样训练时可依赖正确上下文;推理时真实未来目标不可用,模型错误可能累积,训练和使用条件需要区分。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 神经网络
原书出处 · 1 处
- 神经网络 · 查看原书依据
所谓导师驱动过程,就是将该时刻t的真实值作为输入t+1时刻的隐藏状态
参考来源
- 位置:《现代人工智能技术》第6章《神经网络》(来源项目:book-source;源文件:extracted/现代人工智能技术/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文将当前时刻真实值作为下一时刻输入来解释导师驱动。
- 原始内容:所谓导师驱动过程,就是将该时刻t的真实值作为输入t+1时刻的隐藏状态