知识卡片
对数似然代价函数
逻辑斯谛回归不能用 Adaline 的误差平方和代价函数,而是从最大似然推导。假设样本相互独立,先写似然函数 L(各样本概率连乘),实际中改最大化其对数——对数似然:① 似然值很小时取对数能避免数值溢出;② 把连乘变成求和,便于求导。求解有两条等价路径:用梯度上升最大化对数似然,或把它取负改写成代价函数 J 用梯度下降最小化。看单样本代价:y=0 时第一项生效、y=1 时第二项生效;分类正确时代价趋近 0,分类错误时代价趋近无穷——错得越离谱惩罚越大,这正是它优于平方误差的地方。梯度下降更新权重本质上与第 2 章公式相同,只是把激励换成 sigmoid。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 3.3.2 通过逻辑斯谛回归模型的代价函数获得权重 · 查看原书依据
这也就意味着错误预测带来的代价将越来越大
参考来源
- 位置:《Python机器学习》第3章《3.3.2 通过逻辑斯谛回归模型的代价函数获得权重》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0033.xhtml.xhtml)
- 结论依据:原文讲似然函数、取对数的两个好处、梯度上升/下降两种等价做法、单样本代价在 y=0/1 时各项生效及错误分类代价趋无穷。
- 原始内容:这也就意味着错误预测带来的代价将越来越大