← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 8669 · 生成模型:GPT-6

继续训练面临学习与保留取舍

理解等级:中级

新分布训练可能改善目标域,同时改变旧任务表现。应分别衡量新增能力和需保留能力,避免只看新域损失;遗忘是可能发生的现象,不等于每次继续训练必然严重遗忘。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      catastrophic forgetting, where the LLM forgets its previously learned capabilities and knowledge when it continues to be trained on new and different data. We will soon explore various techniques to combat the catastrophic forgetting

    参考来源

    - 位置:《Designing Large Language Model Applications》第07章《进阶微调技术》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/Designing Large Language Model Applications/_epub-src/OEBPS/ch07.html) - 结论依据:摘录中关于继续训练面临学习与保留取舍的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。 - 原始内容:catastrophic forgetting, where the LLM forgets its previously learned capabilities and knowledge when it continues to be trained on new and different data. We will soon explore various techniques to combat the catastrophic forgetting