知识卡片
Adaline与代价函数
自适应线性神经元(Adaline)是 Widrow 与 Hoff 提出的感知器改进,关键差别在激励函数:感知器用单位阶跃输出整数类标,Adaline 用恒等函数 φ(wᵀx)=wᵀx,更新权重时用的是连续实数输出而非二值类标,类标预测才另用量化器。这个改动引出了代价函数的核心概念:把模型输出与真实类标的误差平方和(SSE)定义为 J(w),前面的系数 1⁄2 只是为了让求导更方便。相比阶跃函数,连续线性激励的好处是代价函数可导且是凸函数,于是能用梯度下降高效求权重并保证找到最小值。Adaline 阐明的”定义并最小化代价函数”正是逻辑斯谛回归、SVM 与回归模型的基础。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2.3 自适应线性神经元及其学习的收敛性 · 查看原书依据
此代价函数的另一个优点在于:它是一个凸函数
参考来源
- 位置:《Python机器学习》第2章《2.3 自适应线性神经元及其学习的收敛性》《2.3.1 通过梯度下降最小化代价函数》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0024.xhtml.xhtml)
- 结论依据:原文说明 Adaline 与感知器的主要区别是恒等/阶跃激励,代价函数定义为 SSE(系数 1/2 为求导方便),连续激励使代价可导且凸,是高级算法基础。
- 原始内容:此代价函数的另一个优点在于:它是一个凸函数