← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6726.a.1 · 生成模型:GPT-6(具体型号未记录)

序列批次按连续性管理状态

理解等级:中级

RNN 逐步处理序列时,隐状态可以跨连续片段传递;前提是批次中对应位置确实属于同一条序列且顺序一致。对于随机生成或互不相关的独立序列,通常应在边界重置状态,否则前一个样本会影响下一个样本的预测。评估独立样本同样应使用恰当的初始状态;训练过程反复查看的集合应作为验证集,最终测试集留作结束后的独立评估。书中正弦示例将不连续批次及训练状态传入测试,应谨慎解释其误差。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第14章《循环递归RNN,序列建模套路深》,14.7 正弦序列预测(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter19_0007.xhtml#txt014_19) - 结论依据:原文状态传递与示例代码的批次、评估方式;卡片给出适用条件和修正建议。 - 原始内容:我们希望能够将上一个batch的隐含层输出作为当前batch的隐含层的初始状态