知识卡片
序列批次按连续性管理状态
RNN 逐步处理序列时,隐状态可以跨连续片段传递;前提是批次中对应位置确实属于同一条序列且顺序一致。对于随机生成或互不相关的独立序列,通常应在边界重置状态,否则前一个样本会影响下一个样本的预测。评估独立样本同样应使用恰当的初始状态;训练过程反复查看的集合应作为验证集,最终测试集留作结束后的独立评估。书中正弦示例将不连续批次及训练状态传入测试,应谨慎解释其误差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环递归RNN,序列建模套路深 14.7 正弦序列预测 · 查看原书依据
我们希望能够将上一个batch的隐含层输出作为当前batch的隐含层的初始状态
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第14章《循环递归RNN,序列建模套路深》,14.7 正弦序列预测(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter19_0007.xhtml#txt014_19)
- 结论依据:原文状态传递与示例代码的批次、评估方式;卡片给出适用条件和修正建议。
- 原始内容:我们希望能够将上一个batch的隐含层输出作为当前batch的隐含层的初始状态