知识卡片
连续学习中的灾难性遗忘
模型依次学习新任务时,参数更新可能使先前任务性能明显下降,即灾难性遗忘。模型同时训练多个任务表现良好,只能说明在该设置下存在较好的联合解,不能保证顺序训练会自动找到它。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 终身学习 16.1 灾难性遗忘 · 查看原书依据
当模型依次学习多个任务的时候,它就像一个上下两端都接有水龙头的池子,新的任务从上面的水龙头流进来,旧的任务就从下面的水龙头流出去. 它永远学不会多个技能. 这种情况称为灾难性遗忘(catastrophic forgetting). 我们人类也有遗忘的时候,这里在遗忘的前面加上灾难性这个形容词,意在强调模型的这种遗忘不是一般的遗忘,而是特别严重的遗忘.
参考来源
- 位置:《深度学习详解》第16章《终身学习》16.1 灾难性遗忘(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter16.xhtml`)
- 结论依据:原文和图说明顺序遗忘、性能表、参数重要性和 GEM;GEM 的数据存储及投影按方法含义澄清。
- 原始内容:当模型依次学习多个任务的时候,它就像一个上下两端都接有水龙头的池子,新的任务从上面的水龙头流进来,旧的任务就从下面的水龙头流出去. 它永远学不会多个技能. 这种情况称为灾难性遗忘(catastrophic forgetting). 我们人类也有遗忘的时候,这里在遗忘的前面加上灾难性这个形容词,意在强调模型的这种遗忘不是一般的遗忘,而是特别严重的遗忘.