知识卡片
语言模型的预训练与对齐分工
语言模型可先通过大量文本的下一词元预测获得通用表示,再使用人工示范或偏好反馈进行后训练,以改善指令遵循和回答偏好。这是书中概括的训练思路;具体模型的训练阶段和算法随系统而异,不应由此推断未公开实现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ChatGPT 19.3 ChatGPT背后的关键技术——预训练 · 查看原书依据
综上所述,ChatGPT的学习基本上就三个步骤——先做预训练,再做监督学习,最后做强化学习.
参考来源
- 位置:《深度学习详解》第19章《ChatGPT》19.3 ChatGPT背后的关键技术——预训练(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter19.xhtml`)
- 结论依据:原书区分预训练和推理,并讨论人工反馈、事实错误与模型编辑;产品细节依出版时背景,未作为现状。
- 原始内容:综上所述,ChatGPT的学习基本上就三个步骤——先做预训练,再做监督学习,最后做强化学习.