知识卡片

普通读书笔记卡 · 5605.a

可微激活支持梯度训练

理解等级:中级

sigmoid将加权和加偏置平滑映射到0至1,使输出对参数的导数可用于训练。浮点数是有限精度的数字表示,不因连续函数就变成物理模拟信号。

阶跃输出的微小参数改变通常不改变类别,难以直接沿输出梯度训练;sigmoid只是可微激活的一例,不是所有现代网络的必选函数。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 14.2 机器学习 · 查看原书依据

      用sigmoid函数代替感知器比较器来解决这个问题,sigmoid函数只是一个S形曲线函数的名字。图14-31展示了感知器传递函数和sigmoid函数。当然,图14-31看起来很像在第2章中讨论的模拟和数字,不是吗? 图14-31 人工神经元传递函数 图14-

    参考来源

    - 位置:《计算机系统解密》14.2 机器学习(来源项目book-sources,源文件:extracted/计算机系统解密/_epub-src/text/part0141.html) - 结论依据:本项全部正文与图表实际读取,区分作者示例、推导与实现边界;纠错另有明确说明。 - 原始内容:用sigmoid函数代替感知器比较器来解决这个问题,sigmoid函数只是一个S形曲线函数的名字。图14-31展示了感知器传递函数和sigmoid函数。当然,图14-31看起来很像在第2章中讨论的模拟和数字,不是吗? 图14-31 人工神经元传递函数 图14-