知识卡片
损失函数量的是误差
学习被形式化为近似问题:真实模型 R(x) 存在但不可知,否则直接用即可、无需学习,所以只能构造 f(x,θ) 去逼近,并用损失函数度量两者的差距。平方损失对残差取平方,会放大大偏差的影响,对离群点敏感;绝对损失取绝对值,对大误差的惩罚线性增长,更稳健;合页损失用于分类,只惩罚”分类正确但置信不足”的样本,并约定输出落在 -1 到 1、标签取 -1 或 1;似然损失是负对数似然,最小化它就等于最大化 log p(y|x),也就是最大似然估计。选择哪一种损失,实际上是在声明哪类错误更不可接受,它决定了参数会被拉向哪一侧,而不是可以随意替换的实现细节。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 我们生活在一个寻求最优解的世界里 · 查看原书依据
提出一个机器学习问题以后,肯定会有一个真实模型可以解决它,但是我们并不知道这个真实模型是什么(如果能知道的话,那就不用学习了,直接用这个模型就可以了),那么就要设计一个模型来代替真实模型
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第2章 我们生活在一个寻求最优解的世界里(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00007.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「提出一个机器学习问题以后,肯定会有一个真实模型可以解决它,但是我们并不知道这个真……」
- 原始内容:提出一个机器学习问题以后,肯定会有一个真实模型可以解决它,但是我们并不知道这个真实模型是什么(如果能知道的话,那就不用学习了,直接用这个模型就可以了),那么就要设计一个模型来代替真实模型