知识卡片
温度调节动作概率比
动作 i 与 j 的概率比是 exp((Qᵢ−Qⱼ)/τ)。正温度越大越接近均匀,越低越集中在高分动作,平局仍保持平局。实现时可将全部分值先减最高分,概率比不变且减少指数溢出。单个动作概率一般不会与温度成反比。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 强化学习 · 查看原书依据
式(16.4)
参考来源
- 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.4))
- 结论依据:式(16.4)定义动作分值经温度缩放后的 softmax。
- 原始内容:式(16.4)
- 原式图像替代文本:`P(k)=\frac{{\rm e}^{\frac{Q(k)}{\tau }}}{\displaystyle\sum_{i=1}^{K}{\rm e}^{\frac{Q(i)}{\tau}}}`