原书出处
深度学习详解
16 终身学习 16.3 终身学习问题的主要解法
怎么解决这个问题呢?对于一个任务而言,为了实现较低的损失,其实是有很多种不同的参数组合的. 比如在任务2中,可能椭圆内的所有参数都有较好的表现;而对于任务1,偏下方的位置都能实现较低的损失. 当训练完任务1之后又训练任务2时,参数不是向右上角移动形成 ,而是只往右移动,让最终得到的参数同时处于任务1和任务2的较低损失区域,在这种情况下是有可能不产生灾难性遗忘的. 这种方式的基本思路就是,每一个参数对过去学过的任务的重要性程度是不同的,因此在学习新的任务时,尽量不要动那些对过去的任务很重要的参数,而要去学一些其他的对新任务比较重要的参数. 假设 是从前一个任务中学出来的参数,选择性的突触可塑性这一解法会给每一个参数 赋予一个系数 ,这个系数代表对应的参数对过去的任务到底重不重要,也称作“守卫”. 因此在更新参数的时候,损失函数会被改写为
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter16.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc