知识卡片

普通读书笔记卡 · 9416.k · 生成模型:Tencent Hunyuan Hy

激活函数:作用与类型

理解等级:中级

激活函数是给神经元输出加上非线性、并把值压缩到指定范围的数学函数。若任由线性加权和直接输出,结果可能是 -2.2453 或 17854 这样的任意实数,而分类往往需要 0 到 1 之间的概率,激活函数正是用来完成这种缩放。常见类型各有用途:线性激活只按比例用常数 c 缩放;Sigmoid 把任意实数压到 0—1,连续非线性、原点附近梯度陡而两端饱和,适合输出概率;Tanh 类似但范围是 -1 到 1,保留符号信息;ReLU 把负值截断为零,使产生负值的神经元失活,是深度网络中最常用的一种;泄漏 ReLU 只按小系数 c 减弱而非完全关闭负向神经元;Softmax 输出各类别概率分数,用于多分类。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 深度学习入门 激活函数 · 查看原书依据

      激活函数是任何深度学习模型的组成部分。 激活函数是将输入值压缩到一定范围内的数学函数。 假设您输入具有实数输入的神经网络,并使用随机数初始化权重矩阵,并希望使用输出进行分类; 也就是说,您需要输出值介于零到一之间,但是您的神经元可以输出-2.2453或17854.763之类的任何值。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第01章《深度学习入门》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/04.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以输出可能落在任意实数为反例说明缩放需求,并逐条列出各激活函数的范围与特性,支撑本卡的类型对比。 - 原始内容:激活函数是任何深度学习模型的组成部分。 激活函数是将输入值压缩到一定范围内的数学函数。 假设您输入具有实数输入的神经网络,并使用随机数初始化权重矩阵,并希望使用输出进行分类; 也就是说,您需要输出值介于零到一之间,但是您的神经元可以输出-2.2453或17854.763之类的任何值。