知识卡片
发现潜在原因的线索
为了从未标注数据中发现潜在变差因素,表示学习会注入各种隐式先验作为线索。监督标签是最强的线索,无监督情形则依靠较弱的提示:平滑假设允许向邻近点泛化但有维数灾难;线性假设能外推但可能极端;多个解释因子假设数据由多个潜在因素生成;因果因子假设表示描述的是成因而非结果;深度对应概念的层次组织;任务间共享因素让统计强度互通;流形与自然聚类假设概率集中于低维连通区域;时空相干性、稀疏性和简化因子依赖则分别约束变化速度、激活比例与因子间依赖。没有免费午餐定理说明正则化必不可少,目标是找到一套较通用、跨AI任务的策略。
结构图:
flowchart TD
A[发现潜在原因的线索] --> B[平滑]
A --> C[线性]
A --> D[多个解释因子]
A --> E[因果因子]
A --> F[深度与层次组织]
A --> G[任务间共享因素]
A --> H[流形]
A --> I[自然聚类]
A --> J[时空相干性]
A --> K[稀疏性]
A --> L[简化因子依赖]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 表示学习 · 查看原书依据
表示学习的大多数策略都会引入一些有助于学习潜在变差因素的线索。这些线索可以帮助学习器将这些观察到的因素与其他因素分开。监督学习提供了非常强的线索:每个观察向量 x 的标签 y ,它通常直接指定了至少一个变差因素。
参考来源
- 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_001.html)
- 结论依据:原文指出表示学习的大多数策略都会引入有助于学习潜在变差因素的线索,并列举了平滑、线性、多个解释因子、因果因子、深度、任务共享、流形、自然聚类、时空相干、稀疏与依赖简化等策略。
- 原始内容:表示学习的大多数策略都会引入一些有助于学习潜在变差因素的线索。这些线索可以帮助学习器将这些观察到的因素与其他因素分开。监督学习提供了非常强的线索:每个观察向量 x 的标签 y ,它通常直接指定了至少一个变差因素。