← 返回卡片

原书出处

深度学习详解

07 Transformer 7.7.1 复制机制

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.559Z

第一个技巧是复制机制(copy mechanism).对很多任务而言,解码器没有必要自己创造输出,而是可以从输入中复制一些东西.以聊天机器人为例,用户对机器说:“你好,我是库洛洛.” 机器应该回答:“库洛洛你好,很高兴认识你.” 机器其实没有必要创造“库洛洛”这个词,“库洛洛”对机器来说一定会是一个非常怪异的词,它可能很难在训练数据里面出现,所以不太可能正确地产生输出. 但是假设机器在学习的时候,学到的并不是如何产生“库洛洛”,而是在看到输入的时候说“我是×××”,于是就直接把“×××”复制出来,说“×××你好”.这种训练比较容易,显然也比较有可能得到正确的结果,所以复制对于对话任务可能是一种有用的技术. 机器只需要复述自己听不懂的话,而不需要重新创造这段文字,机器要学的是如何从用户的输入中复制一些词汇当作输出.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc