知识卡片
模型编辑和遗忘需要验证副作用
模型编辑希望纠正特定知识而不过度影响其他能力;机器遗忘则研究如何降低模型对指定训练信息的保留或可提取性。两者都需要在目标样本、相关泛化样本和其他能力上评估,不能仅凭一次回答变化断言修改或遗忘成功。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ChatGPT 19.4 ChatGPT带来的研究问题 · 查看原书依据
下一个问题是,大家知道ChatGPT的训练数据是有限制的,如果问它2021年以后的事情,它不一定能给出正确答案.举例来说,问它最近一次世界杯足球赛的冠军是哪支球队,它的回答是,最近一次世界杯足球赛的冠军是法国队,所以它显然还停留在2021年以前.这里有一个有趣的发现,就是问它2022年世界杯足球赛的冠军是哪支球队,它会告诉你作为一个人工智能语言模型,它没有预测未来的能力,然后拒绝回答这个问题.我们认为这是人类老师造成的,ChatGPT对2022非常敏感,只要输入的句子里有2022,它基本上就会告诉你,它无法预测未来的事情.人类老师一定给了很多例子,告诉它只要句子里出现2022,就说无法回答这个问题.所以ChatGPT有时候会答错,如果它答错了,也许一个很直接的想法是,告诉它正确答案,让它拿着正确答案,更新自己的参数就可以了.但是真的有这么容易吗?它是一个黑箱模型,里面发生了什么事,我们并不知道.所以如何让机器纠正一个错误,但不要弄错其他地方,也是一个新的研究方向,称为神经编辑(neural editing).
参考来源
- 位置:《深度学习详解》第19章《ChatGPT》19.4 ChatGPT带来的研究问题(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter19.xhtml`)
- 结论依据:原书区分预训练和推理,并讨论人工反馈、事实错误与模型编辑;产品细节依出版时背景,未作为现状。
- 原始内容:下一个问题是,大家知道ChatGPT的训练数据是有限制的,如果问它2021年以后的事情,它不一定能给出正确答案.举例来说,问它最近一次世界杯足球赛的冠军是哪支球队,它的回答是,最近一次世界杯足球赛的冠军是法国队,所以它显然还停留在2021年以前.这里有一个有趣的发现,就是问它2022年世界杯足球赛的冠军是哪支球队,它会告诉你作为一个人工智能语言模型,它没有预测未来的能力,然后拒绝回答这个问题.我们认为这是人类老师造成的,ChatGPT对2022非常敏感,只要输入的句子里有2022,它基本上就会告诉你,它无法预测未来的事情.人类老师一定给了很多例子,告诉它只要句子里出现2022,就说无法回答这个问题.所以ChatGPT有时候会答错,如果它答错了,也许一个很直接的想法是,告诉它正确答案,让它拿着正确答案,更新自己的参数就可以了.但是真的有这么容易吗?它是一个黑箱模型,里面发生了什么事,我们并不知道.所以如何让机器纠正一个错误,但不要弄错其他地方,也是一个新的研究方向,称为神经编辑(neural editing).