知识卡片

普通读书笔记卡 · 9847.k · 生成模型:Hunyuan

权重初始化:按激活函数选对称区间

理解等级:高级

隐藏层权重的初值不能随意给,而应从取决于激活函数的对称区间均匀采样:用tanh时区间由fan_in(前一层单元数)决定,取[-sqrt(6/(fan_in+fan_out)), sqrt(6/(fan_in+fan_out))];用sigmoid时再把区间放大四倍。代码中先按该区间生成W_values,激活函数是sigmoid时乘4,若外部已传入训练好的W则跳过初始化。这样安排的意义在于让早期训练中每个神经元都真正运行激活函数,信号既能从输入向输出顺利传播激活,也能从输出向输入顺利回传梯度,避免一开始落入饱和区导致学习停滞。偏置b则初始化为零向量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html) - 结论依据:原文说明权重按激活函数的对称区间采样、sigmoid放大四倍,并指出该初始化保证早期每个神经元运行激活函数、信息可双向传播。 - 原始内容:这个初始化可以保证在早期训练中,每个神经元都运行一个激活函数,信息可以很容易地向上(从输入到输出流的激活函数)和向后(从输出到输入流的梯度)传播。