知识卡片

普通读书笔记卡 · 6473.d.2.b.2.d · 生成模型:未记录

非自回归解码的取舍

理解等级:中级

非自回归解码可并行预测多个输出位置,不必逐词依赖前一输出,因而有潜在速度优势;它需要处理输出长度,并可能需要额外设计来维持输出位置之间的一致性。书中举出预测长度或输出到上限后截取结束符的方式,速度和质量取决于模型与任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer 7.4.2 非自回归解码器 · 查看原书依据

      非自回归解码器有很多优点. 其中一个优点是平行化.自回归解码器在输出句子的时候是一个汉字一个汉字产生的,假设要输出长度为100个汉字的句子,就需要做100次解码. 但是非自回归解码器不管句子的长度如何,都是一次性产生完整的句子.所以非自回归解码器在速度上比自回归解码器快.非自回归解码器的想法是在有了 Transformer 以后,基于这种自注意力的解码器产生的.以前如果用LSTM或RNN,给它一排 <BOS>,则无法同时产生全部的输出,输出也是一个一个产生的.

    参考来源

    - 位置:《深度学习详解》第7章《Transformer》7.4.2 非自回归解码器(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`) - 结论依据:原文以解码结构图及训练示例说明前缀、掩码、跨注意力和真实目标输入。 - 原始内容:非自回归解码器有很多优点. 其中一个优点是平行化.自回归解码器在输出句子的时候是一个汉字一个汉字产生的,假设要输出长度为100个汉字的句子,就需要做100次解码. 但是非自回归解码器不管句子的长度如何,都是一次性产生完整的句子.所以非自回归解码器在速度上比自回归解码器快.非自回归解码器的想法是在有了 Transformer 以后,基于这种自注意力的解码器产生的.以前如果用LSTM或RNN,给它一排 <BOS>,则无法同时产生全部的输出,输出也是一个一个产生的.