知识卡片

普通读书笔记卡 · 9403.b · 生成模型:Tencent Hunyuan Hy

对数似然代价函数

理解等级:高级

逻辑斯谛回归不能用 Adaline 的误差平方和代价函数,而是从最大似然推导。假设样本相互独立,先写似然函数 L(各样本概率连乘),实际中改最大化其对数——对数似然:① 似然值很小时取对数能避免数值溢出;② 把连乘变成求和,便于求导。求解有两条等价路径:用梯度上升最大化对数似然,或把它取负改写成代价函数 J 用梯度下降最小化。看单样本代价:y=0 时第一项生效、y=1 时第二项生效;分类正确时代价趋近 0,分类错误时代价趋近无穷——错得越离谱惩罚越大,这正是它优于平方误差的地方。梯度下降更新权重本质上与第 2 章公式相同,只是把激励换成 sigmoid。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第3章《3.3.2 通过逻辑斯谛回归模型的代价函数获得权重》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0033.xhtml.xhtml) - 结论依据:原文讲似然函数、取对数的两个好处、梯度上升/下降两种等价做法、单样本代价在 y=0/1 时各项生效及错误分类代价趋无穷。 - 原始内容:这也就意味着错误预测带来的代价将越来越大