知识卡片
理想表示对应潜在成因
一种核心假说是:理想表示的特征应对应生成观测数据的潜在成因,不同特征或方向对应不同原因,使表示能区分它们。若y是x的重要成因之一,那么适合建模p(x)的表示也适合计算p(y|x),这正构成半监督学习的依据——混合模型中建模p(x)能定位各分量位置,于是每类一个标注样本就够。但真实观测由极多潜在因素造成,暴力捕获所有因素不可行;实际策略要么联合使用监督与无监督信号以聚焦最相关因素,要么学更大表示。此外因果方向很关键:当边缘分布变化而因果机制不变时,建模p(x|y)的模型对变化更鲁棒。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 表示学习 · 查看原书依据
一种假设是,理想表示中的特征对应到观测数据的潜在成因,特征空间中不同的特征或方向对应着不同的原因,从而表示能够区分这些原因。这个假设促使我们去寻找表示p( x )的更好方法。如果 y 是 x 的重要成因之一,那么这种表示也可能是计算p( y | x )的一种良好表示。
参考来源
- 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:原文明确提出'理想表示中的特征对应到观测数据的潜在成因'这一假设,并指出若y是x的重要成因,该表示也可能是计算p(y|x)的良好表示,还讨论了潜在成因过多的困难与因果鲁棒性。
- 原始内容:一种假设是,理想表示中的特征对应到观测数据的潜在成因,特征空间中不同的特征或方向对应着不同的原因,从而表示能够区分这些原因。这个假设促使我们去寻找表示p( x )的更好方法。如果 y 是 x 的重要成因之一,那么这种表示也可能是计算p( y | x )的一种良好表示。