知识卡片
复制机制利用输入
复制机制允许生成模型从输入中选择内容作为输出,而非只依赖词表生成。例如对话中复述罕见人名、摘要中保留原文专有名词,可以利用输入中已有的信息;模型仍需学习何时复制以及复制哪里。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer 7.7.1 复制机制 · 查看原书依据
第一个技巧是复制机制(copy mechanism).对很多任务而言,解码器没有必要自己创造输出,而是可以从输入中复制一些东西.以聊天机器人为例,用户对机器说:“你好,我是库洛洛.” 机器应该回答:“库洛洛你好,很高兴认识你.” 机器其实没有必要创造“库洛洛”这个词,“库洛洛”对机器来说一定会是一个非常怪异的词,它可能很难在训练数据里面出现,所以不太可能正确地产生输出. 但是假设机器在学习的时候,学到的并不是如何产生“库洛洛”,而是在看到输入的时候说“我是×××”,于是就直接把“×××”复制出来,说“×××你好”.这种训练比较容易,显然也比较有可能得到正确的结果,所以复制对于对话任务可能是一种有用的技术. 机器只需要复述自己听不懂的话,而不需要重新创造这段文字,机器要学的是如何从用户的输入中复制一些词汇当作输出.
参考来源
- 位置:《深度学习详解》第7章《Transformer》7.7.1 复制机制(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`)
- 结论依据:原文以具体序列任务、候选路径或训练推断差异说明对应方法。
- 原始内容:第一个技巧是复制机制(copy mechanism).对很多任务而言,解码器没有必要自己创造输出,而是可以从输入中复制一些东西.以聊天机器人为例,用户对机器说:“你好,我是库洛洛.” 机器应该回答:“库洛洛你好,很高兴认识你.” 机器其实没有必要创造“库洛洛”这个词,“库洛洛”对机器来说一定会是一个非常怪异的词,它可能很难在训练数据里面出现,所以不太可能正确地产生输出. 但是假设机器在学习的时候,学到的并不是如何产生“库洛洛”,而是在看到输入的时候说“我是×××”,于是就直接把“×××”复制出来,说“×××你好”.这种训练比较容易,显然也比较有可能得到正确的结果,所以复制对于对话任务可能是一种有用的技术. 机器只需要复述自己听不懂的话,而不需要重新创造这段文字,机器要学的是如何从用户的输入中复制一些词汇当作输出.