知识卡片

普通读书笔记卡 · 5435.a.1

正则化约束模型复杂度

理解等级:中级

经验风险是训练样本损失的平均值。只最小化该量可能选择过度拟合样本的复杂模型;结构风险在其上加入λJ(f),用复杂度惩罚限制拟合。λ控制拟合与复杂度的权衡,应结合验证表现选择。正则化并不限于小样本,样本多也不自动排除过拟合或分布变化。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:范型与架构 · 查看原书依据

      当给定训练数据集合 模型f (x )关于训练数据的平均损失称为经验风险,一般记为: 经验风险最小化策略认为:经验风险最小的模型就是最优模型,按照此种策略,监督学习就是求解以下公式最优解: 其中,F 是包含可能的决策函数的假设空间。当训练数据足够多时,经验风险最小化原则可以保证较好的学习效果,但是当训练数据不足,使用经验风险最小化策略效果不好时,则容易产生过拟合(Over-Fitting)问题,此时可以考虑结构风险最小化策略,这是为了防止过拟合而提出的。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对正则化约束模型复杂度给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:当给定训练数据集合 模型f (x )关于训练数据的平均损失称为经验风险,一般记为: 经验风险最小化策略认为:经验风险最小的模型就是最优模型,按照此种策略,监督学习就是求解以下公式最优解: 其中,F 是包含可能的决策函数的假设空间。当训练数据足够多时,经验风险最小化原则可以保证较好的学习效果,但是当训练数据不足,使用经验风险最小化策略效果不好时,则容易产生过拟合(Over-Fitting)问题,此时可以考虑结构风险最小化策略,这是为了防止过拟合而提出的。