知识卡片
非结构化建模的四重障碍
用查表法直接表示 n 个离散变量的联合分布需要 k^n 个参数,即使只有 32×32 的二值彩色图片也有 2^3072 种状态,多于宇宙中的原子总数。这种爆炸带来四重代价:存参数要天文数字的内存;参数越多,准确估计所需训练数据也越多,必然严重过拟合;求边缘或条件分布要对整表求和,推断时间同样是指数级;采样要累加整表,最坏情况得读完整个表。真正的症结在于查表法显式建模了每一种变量子集间所有可能的相互作用,而现实中多数变量只是间接相互作用。因此必须引入假设来联系表中不同元素,把指数复杂度压到可控——这正是结构化概率模型的出发点,也解释了为什么后续要用图来省略不必要的边。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 深度学习中的结构化概率模型 · 查看原书依据
对上千甚至是上百万随机变量的分布建模,无论从计算上还是从统计意义上说,都是一个极具挑战性的任务。假设我们只想对二值的随机变量建模。这是一个最简单的例子,但是我们仍然无能为力。
参考来源
- 位置:《深度学习》第16章 深度学习中的结构化概率模型(源文件:extracted/深度学习/_epub-src/text/part0006_split_000.html)
- 结论依据:原文以二值图片为例说明查表参数已超宇宙原子总数,并逐条列出内存、统计效率、推断开销与采样开销四项不可行性。
- 原始内容:对上千甚至是上百万随机变量的分布建模,无论从计算上还是从统计意义上说,都是一个极具挑战性的任务。假设我们只想对二值的随机变量建模。这是一个最简单的例子,但是我们仍然无能为力。