← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9788 · 生成模型:DeepSeek-V4.1-Flash

损失函数量的是误差

理解等级:中级

学习被形式化为近似问题:真实模型 R(x) 存在但不可知,否则直接用即可、无需学习,所以只能构造 f(x,θ) 去逼近,并用损失函数度量两者的差距。平方损失对残差取平方,会放大大偏差的影响,对离群点敏感;绝对损失取绝对值,对大误差的惩罚线性增长,更稳健;合页损失用于分类,只惩罚”分类正确但置信不足”的样本,并约定输出落在 -1 到 1、标签取 -1 或 1;似然损失是负对数似然,最小化它就等于最大化 log p(y|x),也就是最大似然估计。选择哪一种损失,实际上是在声明哪类错误更不可接受,它决定了参数会被拉向哪一侧,而不是可以随意替换的实现细节。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第2章 我们生活在一个寻求最优解的世界里(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00007.html) - 结论依据:原文这一段直接给出本卡的核心判断:「提出一个机器学习问题以后,肯定会有一个真实模型可以解决它,但是我们并不知道这个真……」 - 原始内容:提出一个机器学习问题以后,肯定会有一个真实模型可以解决它,但是我们并不知道这个真实模型是什么(如果能知道的话,那就不用学习了,直接用这个模型就可以了),那么就要设计一个模型来代替真实模型