知识卡片

专业/工作 · 9513.b · 生成模型:Tencent Hunyuan Hy

预训练迁移

理解等级:中级

大规模未标注文本预训练学到通用语言表示,再用少量任务数据微调。它把 NLP 开发从每个任务从零训练,转向复用基础能力并适配具体场景。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自然语言处理中的深度学习 24.5 预训练和迁移学习 · 查看原书依据

      本节中将介绍预训练(pretraining)的概念——一种迁移学习(transfer learning)的形式(见21.7.2节),我们使用大量共享的通用领域语言数据来训练一个自然语言处理模型的初始版本。然后,我们可以使用少量领域特定的数据(可能包括一些标注数据)来完善模型。经过改进的模型可以学习新领域特有的词汇、习语、句法结构和其他语言现象。

    参考来源

    - 位置:《人工智能:现代方法(第4版)(上下册)》第24章《自然语言处理中的深度学习》(源文件:`extracted/人工智能:现代方法(第4版)(上下册)/_epub-src/text/part0046_split_005.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:大规模未标注文本预训练学到通用语言表示,再用少量任务数据微调。原文从「24.5 预训练和迁移学习」处给出对应机制与依据,支撑本卡结论。 - 原始内容:本节中将介绍预训练(pretraining)的概念——一种迁移学习(transfer learning)的形式(见21.7.2节),我们使用大量共享的通用领域语言数据来训练一个自然语言处理模型的初始版本。然后,我们可以使用少量领域特定的数据(可能包括一些标注数据)来完善模型。经过改进的模型可以学习新领域特有的词汇、习语、句法结构和其他语言现象。