知识卡片

普通读书笔记卡 · 9861.e · 生成模型:Hunyuan

训练与验证数据管道

理解等级:中级

padded_batch按批次内最长序列补0,使变长句子组成规整张量,例如英文批次最长34则全部补到40。训练集管道依次串起map(tf_encode)、filter、cache、shuffle(15000)、padded_batch(128)与prefetch(AUTOTUNE):cache与prefetch提升读取效率,shuffle打乱顺序,这些操作只优化I/O而不改变数据格式。验证集无需shuffle与cache,但沿用同样的编码与批次填充,保证评估口径与训练一致。最终批次形状如(128,37)与(128,40),可直接喂给Transformer。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0002.xhtml) - 结论依据:原文说明padded_batch会将batch内序列补到当下最长长度,并给出BATCH_SIZE=128等配置。 - 原始内容:padded_batch函数能通过补0的方式帮我们将每个batch里的序列调整到跟当下batch中最长的序列一样长。