知识卡片

普通读书笔记卡 · 6473.d.4.b.4 · 生成模型:未记录

连续学习中的灾难性遗忘

理解等级:中级

模型依次学习新任务时,参数更新可能使先前任务性能明显下降,即灾难性遗忘。模型同时训练多个任务表现良好,只能说明在该设置下存在较好的联合解,不能保证顺序训练会自动找到它。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 终身学习 16.1 灾难性遗忘 · 查看原书依据

      当模型依次学习多个任务的时候,它就像一个上下两端都接有水龙头的池子,新的任务从上面的水龙头流进来,旧的任务就从下面的水龙头流出去. 它永远学不会多个技能. 这种情况称为灾难性遗忘(catastrophic forgetting). 我们人类也有遗忘的时候,这里在遗忘的前面加上灾难性这个形容词,意在强调模型的这种遗忘不是一般的遗忘,而是特别严重的遗忘.

    参考来源

    - 位置:《深度学习详解》第16章《终身学习》16.1 灾难性遗忘(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter16.xhtml`) - 结论依据:原文和图说明顺序遗忘、性能表、参数重要性和 GEM;GEM 的数据存储及投影按方法含义澄清。 - 原始内容:当模型依次学习多个任务的时候,它就像一个上下两端都接有水龙头的池子,新的任务从上面的水龙头流进来,旧的任务就从下面的水龙头流出去. 它永远学不会多个技能. 这种情况称为灾难性遗忘(catastrophic forgetting). 我们人类也有遗忘的时候,这里在遗忘的前面加上灾难性这个形容词,意在强调模型的这种遗忘不是一般的遗忘,而是特别严重的遗忘.