知识卡片
预训练与微调
预训练先让模型从大量文本学习语言中的模式;微调再利用适合目标任务的示例调整模型。两步法可以复用先前训练的能力,减少每个任务对大量标注数据的依赖,但结果仍受训练材料和目标影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 规模很重要 · 查看原书依据
一旦完成了初始训练,他们就使用一些标注示例对新模型进行微调,以使其在特定的任务上表现得更好。这样的两步法让GPT更加灵活,也减少了对大量标记文本示例的依赖。
参考来源
- 位置:《至高无上:一场颠覆世界的人工智能竞赛》第10章《规模很重要》(来源项目 book-source:`extracted/至高无上 一场颠覆世界的人工智能竞赛/_epub-src/EPUB/xhtml/Chapter4_1`)
- 结论依据:摘录解释概念或案例;正文补充其适用边界。
- 原始内容:一旦完成了初始训练,他们就使用一些标注示例对新模型进行微调,以使其在特定的任务上表现得更好。这样的两步法让GPT更加灵活,也减少了对大量标记文本示例的依赖。