知识卡片
分布式表示及指数优势
分布式表示由多个可分别设置的元素组合而成,n个各取k个值的特征能描述k^n个概念,远胜符号/one-hot表示(n个特征只能区分n个区域)。从几何上看,n个线性阈值特征产生的半空间交集可为O(n^d)个区域分配唯一编码,却只需O(nd)个参数;若用符号逐一表示这些区域则需同量级样本,故分布式表示具有指数级统计优势。泛化还来自共享属性:语义相近的’猫’和’狗’在表示空间中接近,能相互推广。同时表示空间容量仍受限(线性阈值网络VC维O(w log w)),与线性分类器结合等价于’类别在潜在因子下线性可分’的先验,形成一种强正则化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 表示学习 · 查看原书依据
分布式表示的概念(由很多元素组合的表示,这些元素之间可以设置成可分离的)是表示学习最重要的工具之一。分布式表示非常强大,因为他们能用具有k个值的n个特征去描述k n 个不同的概念。
参考来源
- 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:原文定义分布式表示并指出它用k个值的n个特征描述k^n个概念,还论证了O(nd)参数区分O(n^d)区域、共享属性带来泛化以及容量受限带来的正则化效果。
- 原始内容:分布式表示的概念(由很多元素组合的表示,这些元素之间可以设置成可分离的)是表示学习最重要的工具之一。分布式表示非常强大,因为他们能用具有k个值的n个特征去描述k n 个不同的概念。