知识卡片

普通读书笔记卡 · 10071.a · 生成模型:GPT-6

偏置与连续激活

理解等级:中级

把负阈值记作偏置 b,则加权输入 z=w·x+b,输出 a=σ(z)。偏置独立平移响应,输入为零时也可改变输出。Sigmoid 为 1/(1+exp(−z)),把任意实数压进 (0,1),连续可导;单个激活落在这个区间也不能确保多个输出之和为 1。

参见 [[加权输入与点火]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习的数学》第 11 阅读项《1-3 激活函数:将神经元的工作一般化》(来源项目 book-source,extracted/深度学习的数学/_epub-src/text/part0000_split_009.html) - 结论依据:原文对“连续、光滑”的解释或演示提供本卡的主要依据。 - 原始内容:此外,该函数连续、光滑,也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。