← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9861.s · 生成模型:Hunyuan

自回归翻译与评估

理解等级:高级

evaluate函数演示推理阶段的自回归解码:给英文句加BOS/EOS得encoder_input,Decoder初始只输入一个中文BOS,然后循环至多MAX_LENGTH步——每步重算掩码、调用Transformer、取最后一个位置的分布并argmax出预测字;若预测到EOS即停止,否则把新字拼到output供下一步关注。推理与训练的关键区别是training=False且必须逐步生成,因为每步都依赖上一步输出。最后过滤BOS/EOS索引再decode还原中文。边界是贪心argmax不保证全局最优,可用beam search改进,MAX_LENGTH则限制最长输出。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0007.xhtml) - 结论依据:原文说明一次生成一个中文字并回灌模型,并在预测为<end>标识符时停止回传。 - 原始内容:predictions = predictions[: , -1:, :] # (batch_size, 1, vocab_size) predicted_id = tf.cast(tf.argmax(predictions, axis=-1), tf.int32)