知识卡片
训练与验证数据管道
padded_batch按批次内最长序列补0,使变长句子组成规整张量,例如英文批次最长34则全部补到40。训练集管道依次串起map(tf_encode)、filter、cache、shuffle(15000)、padded_batch(128)与prefetch(AUTOTUNE):cache与prefetch提升读取效率,shuffle打乱顺序,这些操作只优化I/O而不改变数据格式。验证集无需shuffle与cache,但沿用同样的编码与批次填充,保证评估口径与训练一致。最终批次形状如(128,37)与(128,40),可直接喂给Transformer。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
padded_batch函数能通过补0的方式帮我们将每个batch里的序列调整到跟当下batch中最长的序列一样长。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0002.xhtml)
- 结论依据:原文说明padded_batch会将batch内序列补到当下最长长度,并给出BATCH_SIZE=128等配置。
- 原始内容:padded_batch函数能通过补0的方式帮我们将每个batch里的序列调整到跟当下batch中最长的序列一样长。