知识卡片
交叉熵惩罚错得自信
设 p 为正类概率,y 为 0 或 1。单样本损失为 −y log p−(1−y)log(1−p),等于真实标签所获概率的负对数。比如对正样本,p=0.9 的损失约 0.105,而 p=0.01 的损失约 4.605。损失随模型给真标签的概率降低而上升。
[[损失从样本汇总到目标]]。交叉熵把分类模型赋给真实标签的概率转化为代价。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 4.2.2 Logistic回归算法的数学解析 · 查看原书依据
这里可以明确告诉你是正类的概率。为什么是正类?这不是一个没理由的设定,而是与数据有关。在第1章介绍数据时说过,除了特征外,分类问题的数据还带有类别标签(Class Label)信息。分类问题的y就是类别,而这个类
参考来源
- 位置:《机器学习算法的数学解析与Python实现》4.2.2 Logistic回归算法的数学解析(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00045.html`)
- 结论依据:本节由正类概率和二元标签构造真实结果的条件概率,再以对数构造训练目标。
- 原始内容:这里可以明确告诉你是正类的概率。为什么是正类?这不是一个没理由的设定,而是与数据有关。在第1章介绍数据时说过,除了特征外,分类问题的数据还带有类别标签(Class Label)信息。分类问题的y就是类别,而这个类