知识卡片
最大似然估计
逻辑回归需要为自己的分类问题重新构造损失函数,不能直接照搬线性回归的均方误差。 原因是:用均方误差作为逻辑回归的损失函数虽可求解,但会得到一个“非凸”函数——它有许多局部最低点,很难把握何时达到全局最小值。理想情况是“碗状结构”的凸函数,这样求得的局部最低点一定是全局最小值点。 解决办法是采用“最大似然估计法”构造这个凸损失函数。文中不展开推导,产品经理只需理解它保证了损失函数是凸的、可稳定求最优解。 构造出凸函数后,问题转为如何找到它的最低点,这就引出下一步的梯度下降法。 边界:凸性保证的是单峰优化,多解或正则化等更复杂情形不在本章讨论范围。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 趋势预测专家:回归分析 4.4.2 引入Sigmoid函数 · 查看原书依据
十分幸运的是,在数学上恰好有一种方法可以构造这个碗状结构的凸函数,即采用“最大似然估计法”建立损失函数。使用最大似然估计法推导损失函数的过程比较繁杂,在这里不再展开叙述。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第4章《趋势预测专家:回归分析》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00009.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文说明“使用均方误差作为损失函数可以求解,但是会导致损失函数变成一个‘非凸’函数……采用‘最大似然估计法’建立损失函数”,支撑本卡对为何改用最大似然估计的解释。
- 原始内容:十分幸运的是,在数学上恰好有一种方法可以构造这个碗状结构的凸函数,即采用“最大似然估计法”建立损失函数。使用最大似然估计法推导损失函数的过程比较繁杂,在这里不再展开叙述。