知识卡片
半监督与多任务学习
半监督学习同时使用未标记样本和标记样本来估计条件分布。深度学习中常表现为学习表示,让同类样本在表示空间聚集,输入空间接近的样本映射到相似表示,再在其上用线性分类器泛化。生成模型可与判别模型共享参数,联合权衡两个准则,注入关于输入分布的先验,从而优于纯生成或纯判别训练。多任务学习则合并多个相关任务的样例,视为对参数的软约束:底层参数在所有任务间共享、从汇集数据获益,顶层为任务专用。其成立前提是存在解释输入变化的共同因素池且被多个任务共享,否则共享反而有害。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
正如额外的训练样本能够将模型参数推向具有更好泛化能力的值一样,当模型的一部分被多个额外的任务共享时,这部分将被约束为良好的值(如果共享合理),通常会带来更好的泛化能力。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文定义了半监督的表示学习与共享参数权衡,并说明多任务学习通过共享参数提升泛化及其先验假设。
- 原始内容:正如额外的训练样本能够将模型参数推向具有更好泛化能力的值一样,当模型的一部分被多个额外的任务共享时,这部分将被约束为良好的值(如果共享合理),通常会带来更好的泛化能力。