知识卡片
没有免费午餐定理
没有免费午餐定理指出:在所有可能的数据生成分布上取平均后,任何分类算法在未观测点上的错误率都相同——连最先进的算法和把所有点判为同一类的朴素算法平均性能也一样。这从逻辑上解释了为什么从有限样本归纳一般规则并不可靠:机器学习只能靠概率假设保证在“大多数关心的样本”上可能正确,而一旦把所有分布一视同仁,算法之间便无优劣。该结论的适用范围是关键:它只在涵盖所有可能分布时成立,现实任务中我们本就只面对特定的分布。因此研究目标不应是寻找通用的“最好算法”,而是理解真实世界相关的分布特性,并为之设计匹配的算法与归纳偏好。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
机器学习的没有免费午餐定理 (no free lunch theorem)表明(Wolpert,1996),在所有可能的数据生成分布上平均之后,每一个分类算法在未事先观测的点上都有相同的错误率。换言之,在某种意义上,没有一个机器学习算法总是比其他的要好。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文陈述了没有免费午餐定理的结论,随即强调其仅在考虑所有可能分布时成立,并据此重新界定机器学习研究的目标。
- 原始内容:机器学习的没有免费午餐定理 (no free lunch theorem)表明(Wolpert,1996),在所有可能的数据生成分布上平均之后,每一个分类算法在未事先观测的点上都有相同的错误率。换言之,在某种意义上,没有一个机器学习算法总是比其他的要好。