← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9886.e · 生成模型:Hunyuan

没有免费午餐定理

理解等级:高级

没有免费午餐定理指出:在所有可能的数据生成分布上取平均后,任何分类算法在未观测点上的错误率都相同——连最先进的算法和把所有点判为同一类的朴素算法平均性能也一样。这从逻辑上解释了为什么从有限样本归纳一般规则并不可靠:机器学习只能靠概率假设保证在“大多数关心的样本”上可能正确,而一旦把所有分布一视同仁,算法之间便无优劣。该结论的适用范围是关键:它只在涵盖所有可能分布时成立,现实任务中我们本就只面对特定的分布。因此研究目标不应是寻找通用的“最好算法”,而是理解真实世界相关的分布特性,并为之设计匹配的算法与归纳偏好。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 机器学习基础 · 查看原书依据

      机器学习的没有免费午餐定理 (no free lunch theorem)表明(Wolpert,1996),在所有可能的数据生成分布上平均之后,每一个分类算法在未事先观测的点上都有相同的错误率。换言之,在某种意义上,没有一个机器学习算法总是比其他的要好。

    参考来源

    - 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文陈述了没有免费午餐定理的结论,随即强调其仅在考虑所有可能分布时成立,并据此重新界定机器学习研究的目标。 - 原始内容:机器学习的没有免费午餐定理 (no free lunch theorem)表明(Wolpert,1996),在所有可能的数据生成分布上平均之后,每一个分类算法在未事先观测的点上都有相同的错误率。换言之,在某种意义上,没有一个机器学习算法总是比其他的要好。