知识卡片

普通读书笔记卡 · 9940.a · 生成模型:GPT-6

温度调节动作概率比

理解等级:中级

动作 i 与 j 的概率比是 exp((Qᵢ−Qⱼ)/τ)。正温度越大越接近均匀,越低越集中在高分动作,平局仍保持平局。实现时可将全部分值先减最高分,概率比不变且减少指数溢出。单个动作概率一般不会与温度成反比。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.4)) - 结论依据:式(16.4)定义动作分值经温度缩放后的 softmax。 - 原始内容:式(16.4) - 原式图像替代文本:`P(k)=\frac{{\rm e}^{\frac{Q(k)}{\tau }}}{\displaystyle\sum_{i=1}^{K}{\rm e}^{\frac{Q(i)}{\tau}}}`