知识卡片
偏置与连续激活
把负阈值记作偏置 b,则加权输入 z=w·x+b,输出 a=σ(z)。偏置独立平移响应,输入为零时也可改变输出。Sigmoid 为 1/(1+exp(−z)),把任意实数压进 (0,1),连续可导;单个激活落在这个区间也不能确保多个输出之和为 1。
参见 [[加权输入与点火]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1-3 激活函数:将神经元的工作一般化 1-3 激活函数:将神经元的工作一般化 · 查看原书依据
此外,该函数连续、光滑,也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。
参考来源
- 位置:《深度学习的数学》第 11 阅读项《1-3 激活函数:将神经元的工作一般化》(来源项目 book-source,extracted/深度学习的数学/_epub-src/text/part0000_split_009.html)
- 结论依据:原文对“连续、光滑”的解释或演示提供本卡的主要依据。
- 原始内容:此外,该函数连续、光滑,也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。