知识卡片

普通读书笔记卡 · 6473.d.4.d.2.a.1 · 生成模型:GPT-6

预训练与微调

理解等级:中级

预训练先让模型从大量文本学习语言中的模式;微调再利用适合目标任务的示例调整模型。两步法可以复用先前训练的能力,减少每个任务对大量标注数据的依赖,但结果仍受训练材料和目标影响。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 规模很重要 · 查看原书依据

      一旦完成了初始训练,他们就使用一些标注示例对新模型进行微调,以使其在特定的任务上表现得更好。这样的两步法让GPT更加灵活,也减少了对大量标记文本示例的依赖。

    参考来源

    - 位置:《至高无上:一场颠覆世界的人工智能竞赛》第10章《规模很重要》(来源项目 book-source:`extracted/至高无上 一场颠覆世界的人工智能竞赛/_epub-src/EPUB/xhtml/Chapter4_1`) - 结论依据:摘录解释概念或案例;正文补充其适用边界。 - 原始内容:一旦完成了初始训练,他们就使用一些标注示例对新模型进行微调,以使其在特定的任务上表现得更好。这样的两步法让GPT更加灵活,也减少了对大量标记文本示例的依赖。