知识卡片
任务转成问答序列
翻译、摘要和情感分析等任务可以统一表述成输入文本加问题、输出答案文本的序列到序列问题。这种表示让同一种接口覆盖多种任务,但统一表示不保证在每个任务上都优于专门设计的模型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer 7.1.4 问答任务 · 查看原书依据
因此,各式各样的自然语言处理问题往往可以看作问答题,而问答题可以用序列到序列模型来解.序列到序列模型的输入是一篇文章和一个问题,输出则是问题的答案.问题加文章合起来是一段很长的文字,答案是一段文字.只要输入是一个序列,输出也是一个序列,序列到序列模型就可以解.虽然各式各样的自然语言处理问题都能用序列到序列模型来解,但是对大多数自然语言处理任务或语音相关任务而言,往往为这些任务定制模型会得到更好的结果.序列到序列模型就像瑞士刀,瑞士刀可以解决各式各样的问题,削苹果可以用瑞士刀,切菜也可以用瑞士刀,尽管瑞士刀不一定是最好用的.因此,针对各种不同任务定制的模型往往比只用序列到序列模型的效果好.谷歌Pixel 4 手机用于语音识别的模型就不是序列到序列模型,而是 RNN-Transducer 模型,该模型是专为语音的某些特性而设计的,表现更好.
参考来源
- 位置:《深度学习详解》第7章《Transformer》7.1.4 问答任务(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`)
- 结论依据:原文说明问答形式、树的序列化和多标签与多分类的区别;逐类阈值方式是对原书表述的边界补充。
- 原始内容:因此,各式各样的自然语言处理问题往往可以看作问答题,而问答题可以用序列到序列模型来解.序列到序列模型的输入是一篇文章和一个问题,输出则是问题的答案.问题加文章合起来是一段很长的文字,答案是一段文字.只要输入是一个序列,输出也是一个序列,序列到序列模型就可以解.虽然各式各样的自然语言处理问题都能用序列到序列模型来解,但是对大多数自然语言处理任务或语音相关任务而言,往往为这些任务定制模型会得到更好的结果.序列到序列模型就像瑞士刀,瑞士刀可以解决各式各样的问题,削苹果可以用瑞士刀,切菜也可以用瑞士刀,尽管瑞士刀不一定是最好用的.因此,针对各种不同任务定制的模型往往比只用序列到序列模型的效果好.谷歌Pixel 4 手机用于语音识别的模型就不是序列到序列模型,而是 RNN-Transducer 模型,该模型是专为语音的某些特性而设计的,表现更好.