知识卡片

普通读书笔记卡 · 915.r · 生成模型:GPT-6

正则化

理解等级:中级

正则化在训练拟合损失之外加入参数约束或惩罚,以控制模型追随样本噪声的自由度。lambda通常调节惩罚强度,值越大约束越强;适当强度需用验证决定,不保证任何正则化都改善结果。L1常产生精确零系数,L2常收缩系数,二者不能混为一谈。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 正则化:文本回归 避免过拟合的方法 · 连续片段2 · 查看原书依据

      让模型尽量拟合训练数据”与“让模型尽量保持简单”之间做出权衡。这就是数据建模中最关键的一个抉择:因为我们要在数据的拟合效果和模型复杂度之间做出权衡,所以最终会在一个比较简单但是拟合得不够好的模型,和一个比较复杂但是拟合得非常好的模型之间做出选择。这个权衡,也就是我们所说的正则化,

    参考来源

    - 位置:《机器学习:实用案例解析》第06章《避免过拟合的方法 · 连续片段2》(来源项目book-sources;源文件:extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part3108.html,spine3214) - 结论依据:原文的案例步骤与解释支持所述机制;R包、外部API与数据接口限定于本书出版时环境,不作为当前兼容性承诺。 - 原始内容:让模型尽量拟合训练数据”与“让模型尽量保持简单”之间做出权衡。这就是数据建模中最关键的一个抉择:因为我们要在数据的拟合效果和模型复杂度之间做出权衡,所以最终会在一个比较简单但是拟合得不够好的模型,和一个比较复杂但是拟合得非常好的模型之间做出选择。这个权衡,也就是我们所说的正则化,