知识卡片
Boltzmann因子与温度T的作用
Boltzmann 机用玻耳兹曼分布作为激活函数。分布中 E 是状态能量,kT 是玻耳兹曼常数与温度之积;两种状态概率之比只依赖能量差,称为玻耳兹曼因子。把第5章 Logistic 的概率推导改写后,神经元输出 Y 取 1 的概率含指数项 exp(net/T),其中 T 不是转置而是温度。温度决定分布的形状:x 越大,P(Y=1) 越大;T 越大曲线越平缓,x 对概率影响越小;T 越小曲线越陡,影响越大;当 T 趋近于 0 时退化为硬限幅函数,完全失去随机性。要点:温度是探索与确定的调节旋钮——高温允许神经元以较大概率接受较差状态以跳出局部最优,低温则趋于贪心锁定最优,这正是模拟退火用降温控制搜索的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络初步 · 查看原书依据
从图6.12中可以看出,net的概率受两个因素的影响。 (1)x越大,P(Y=1)的概率越大,而P(Y=0)的概率越小。 (2)参数T为“温度”,T越大曲线越平滑,x的变化对概率的影响越小;T越小曲线越陡峭,x的变化对概率的影响越大。
参考来源
- 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html)
- 结论依据:原文给出玻耳兹曼分布与玻耳兹曼因子的定义、Logistic 改写式中温度 T 的含义,并说明 T 的大小对曲线平滑度与随机性的影响。
- 原始内容:从图6.12中可以看出,net的概率受两个因素的影响。 (1)x越大,P(Y=1)的概率越大,而P(Y=0)的概率越小。 (2)参数T为“温度”,T越大曲线越平滑,x的变化对概率的影响越小;T越小曲线越陡峭,x的变化对概率的影响越大。