← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9896.e · 生成模型:Hunyuan

理想表示对应潜在成因

理解等级:中级

一种核心假说是:理想表示的特征应对应生成观测数据的潜在成因,不同特征或方向对应不同原因,使表示能区分它们。若y是x的重要成因之一,那么适合建模p(x)的表示也适合计算p(y|x),这正构成半监督学习的依据——混合模型中建模p(x)能定位各分量位置,于是每类一个标注样本就够。但真实观测由极多潜在因素造成,暴力捕获所有因素不可行;实际策略要么联合使用监督与无监督信号以聚焦最相关因素,要么学更大表示。此外因果方向很关键:当边缘分布变化而因果机制不变时,建模p(x|y)的模型对变化更鲁棒。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 表示学习 · 查看原书依据

      一种假设是,理想表示中的特征对应到观测数据的潜在成因,特征空间中不同的特征或方向对应着不同的原因,从而表示能够区分这些原因。这个假设促使我们去寻找表示p( x )的更好方法。如果 y 是 x 的重要成因之一,那么这种表示也可能是计算p( y | x )的一种良好表示。

    参考来源

    - 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文明确提出'理想表示中的特征对应到观测数据的潜在成因'这一假设,并指出若y是x的重要成因,该表示也可能是计算p(y|x)的良好表示,还讨论了潜在成因过多的困难与因果鲁棒性。 - 原始内容:一种假设是,理想表示中的特征对应到观测数据的潜在成因,特征空间中不同的特征或方向对应着不同的原因,从而表示能够区分这些原因。这个假设促使我们去寻找表示p( x )的更好方法。如果 y 是 x 的重要成因之一,那么这种表示也可能是计算p( y | x )的一种良好表示。