知识卡片
Logistic函数的选择
感知器用hardlim硬限幅作激活函数,它在极窄区间从0突然阶跃到1、没有过渡,决策边界过于狭窄,遇到跨越支撑超平面的误分类点会让目标函数震荡,影响精度与评估。实践更希望得到0到1之间的平缓概率输出,Logistic函数正合此需:纵轴取值恰为(0,1),横轴覆盖负无穷到正无穷。把样本视为相互独立、标签y属于{0,1},令p=P(Y=1|x),事件发生与不发生的几率相比后取对数,得到log(p/(1-p))——原文指出这恰恰就是训练集的梯度计算结果,可直接拿来求极值。样本联合分布写成似然函数再取对数,得对数似然,即线性分类器的目标函数L(w),其最后一项正是误差函数。选择Logistic归结为三点:梯度可直接用、保证收敛速度与最优值存在、目标函数由指数和对数构成因而是凸的(局部最优即全局最优)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 梯度寻优
原书出处 · 1 处
- 第5章 梯度寻优 · 查看原书依据
使用Logistic函数还有一个重要的原因是,它的目标函数L(w)是一个指数和对数函数。回忆凸函数一节,也就是让我们魂牵梦萦、千呼万唤的凸函数,算法的局部最优就意味着全局最优。 综上三点,Logistic函数就是当仁不让的选择。
参考来源
- 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html)
- 结论依据:原文先指出hardlim无过渡会震荡与平缓边界的需求,再从几率对数、似然目标函数与凸性三方面给出选择理由并以综上三点收束。
- 原始内容:使用Logistic函数还有一个重要的原因是,它的目标函数L(w)是一个指数和对数函数。回忆凸函数一节,也就是让我们魂牵梦萦、千呼万唤的凸函数,算法的局部最优就意味着全局最优。 综上三点,Logistic函数就是当仁不让的选择。