知识卡片
自回归翻译与评估
evaluate函数演示推理阶段的自回归解码:给英文句加BOS/EOS得encoder_input,Decoder初始只输入一个中文BOS,然后循环至多MAX_LENGTH步——每步重算掩码、调用Transformer、取最后一个位置的分布并argmax出预测字;若预测到EOS即停止,否则把新字拼到output供下一步关注。推理与训练的关键区别是training=False且必须逐步生成,因为每步都依赖上一步输出。最后过滤BOS/EOS索引再decode还原中文。边界是贪心argmax不保证全局最优,可用beam search改进,MAX_LENGTH则限制最长输出。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
predictions = predictions[: , -1:, :] # (batch_size, 1, vocab_size) predicted_id = tf.cast(tf.argmax(predictions, axis=-1), tf.int32)
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0007.xhtml)
- 结论依据:原文说明一次生成一个中文字并回灌模型,并在预测为<end>标识符时停止回传。
- 原始内容:predictions = predictions[: , -1:, :] # (batch_size, 1, vocab_size) predicted_id = tf.cast(tf.argmax(predictions, axis=-1), tf.int32)