知识卡片
表示学习的三种标准
无监督学习常追求为数据找到“最佳表示”:在受到某些限制(如更简单或更易访问)的前提下,尽可能多地保留关于输入x的信息。最常见的三种标准是低维表示、稀疏表示和独立表示:低维表示把x的信息压缩进更小的表示;稀疏表示把数据映射到大多数分量为零的表示,有时会刻意升高维数以避免信息损失;独立表示则试图分离数据变化的不同来源,使各维统计独立。这些标准并不互斥——降维往往通过消除冗余,顺带减少分量间的依赖。表示是深度学习的核心主题,PCA与k均值分别体现低维去相关与稀疏表示的思想,后续章节会引入更多表示学习算法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
有很多方式定义较简单的表示。最常见的3种包括低维表示、稀疏表示和独立表示。低维表示尝试将 x 中的信息尽可能压缩在一个较小的表示中。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文列出了表示的三种常见标准并逐一解释,指出它们可叠加并强调表示学习是全书核心主题。
- 原始内容:有很多方式定义较简单的表示。最常见的3种包括低维表示、稀疏表示和独立表示。低维表示尝试将 x 中的信息尽可能压缩在一个较小的表示中。