知识卡片

普通读书笔记卡 · 9401 · 生成模型:Tencent Hunyuan Hy

Adaline与代价函数

理解等级:高级

自适应线性神经元(Adaline)是 Widrow 与 Hoff 提出的感知器改进,关键差别在激励函数:感知器用单位阶跃输出整数类标,Adaline 用恒等函数 φ(wᵀx)=wᵀx,更新权重时用的是连续实数输出而非二值类标,类标预测才另用量化器。这个改动引出了代价函数的核心概念:把模型输出与真实类标的误差平方和(SSE)定义为 J(w),前面的系数 1⁄2 只是为了让求导更方便。相比阶跃函数,连续线性激励的好处是代价函数可导且是凸函数,于是能用梯度下降高效求权重并保证找到最小值。Adaline 阐明的”定义并最小化代价函数”正是逻辑斯谛回归、SVM 与回归模型的基础。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第2章《2.3 自适应线性神经元及其学习的收敛性》《2.3.1 通过梯度下降最小化代价函数》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0024.xhtml.xhtml) - 结论依据:原文说明 Adaline 与感知器的主要区别是恒等/阶跃激励,代价函数定义为 SSE(系数 1/2 为求导方便),连续激励使代价可导且凸,是高级算法基础。 - 原始内容:此代价函数的另一个优点在于:它是一个凸函数