知识卡片
不确定性的三种来源
机器学习必须处理不确定性,因为现实中的不确定性至少有三类来源:被建模系统内在的随机性(如量子力学、真正洗乱的纸牌)、不完全观测(系统本身确定,但我们看不到驱动它的全部变量,Monty Hall 问题里选手的视角就是如此)、以及不完全建模(模型舍弃了部分观测信息,例如用离散网格表示连续位置就无法给出精确坐标)。这解释了为什么以『CPU 完美执行指令』为前提的软件工程直觉在机器学习里不再成立。一个实用启示是:有时简单而带不确定性的规则,比复杂而『确定』的规则更好用——『多数鸟会飞』虽不精确却易于使用和维护,而试图列举所有例外的精确规则反而脆弱易失效。边界在于,承认不确定性并不等于放弃精确,而是用概率这种统一语言去权衡规则的简洁与覆盖。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 概率与信息论 · 查看原书依据
不确定性有3种可能的来源: (1)被建模系统内在的随机性。例如,大多数量子力学的解释,都将亚原子粒子的动力学描述为概率的。我们还可以创建一些假设具有随机动态的理论情境,例如一个假想的纸牌游戏,在这个游戏中,我们假设纸牌被真正混洗成了随机顺序。
参考来源
- 位置:《深度学习》第3章 概率与信息论(源文件:extracted/深度学习/_epub-src/text/part0000_split_001.html)
- 结论依据:原文明确列出三种不确定性来源,并用『鸟儿会飞』的例子说明简单而不确定的规则为何更实用。
- 原始内容:不确定性有3种可能的来源: (1)被建模系统内在的随机性。例如,大多数量子力学的解释,都将亚原子粒子的动力学描述为概率的。我们还可以创建一些假设具有随机动态的理论情境,例如一个假想的纸牌游戏,在这个游戏中,我们假设纸牌被真正混洗成了随机顺序。