知识卡片

普通读书笔记卡 · 6473.d.4.d.2 · 生成模型:未记录

语言模型训练与推理是不同阶段

理解等级:中级

预训练阶段利用文本构造下一词元预测任务并更新模型参数;推理阶段模型依据输入上下文生成后续词元。推理是否检索外部信息取决于具体产品和工具配置,不能从预训练数据来自网络推断每次回答都联网,也不能断言所有系统都不联网。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • ChatGPT 19.2 对ChatGPT的误解 · 查看原书依据

      但是,没有联网的ChatGPT是如何通过大量的网络数据进行学习的呢?训练和测试需要分开来看. 寻找函数的过程称为训练.在寻找函数的时候,ChatGPT通过搜集网络数据,来帮助自己找到这个可以做文字接龙的函数. 但是当这个可以做文字接龙的函数被找出来以后,ChatGPT就不需要联网了,进入下一个阶段,称为测试.测试就是使用者给一个输入,ChatGPT给一个输出. 当进入测试阶段后,是不需要进行网络搜索的.训练就好比我们在准备一场考试,在准备考试的时候,当然可以阅读教科书或者上网搜集资料,而在考场上,我们就不能翻书和上网查资料了,得凭着自己脑中记忆的东西来写答案.

    参考来源

    - 位置:《深度学习详解》第19章《ChatGPT》19.2 对ChatGPT的误解(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter19.xhtml`) - 结论依据:原书区分预训练和推理,并讨论人工反馈、事实错误与模型编辑;产品细节依出版时背景,未作为现状。 - 原始内容:但是,没有联网的ChatGPT是如何通过大量的网络数据进行学习的呢?训练和测试需要分开来看. 寻找函数的过程称为训练.在寻找函数的时候,ChatGPT通过搜集网络数据,来帮助自己找到这个可以做文字接龙的函数. 但是当这个可以做文字接龙的函数被找出来以后,ChatGPT就不需要联网了,进入下一个阶段,称为测试.测试就是使用者给一个输入,ChatGPT给一个输出. 当进入测试阶段后,是不需要进行网络搜索的.训练就好比我们在准备一场考试,在准备考试的时候,当然可以阅读教科书或者上网搜集资料,而在考场上,我们就不能翻书和上网查资料了,得凭着自己脑中记忆的东西来写答案.