知识卡片

普通读书笔记卡 · 2700.f.1.b.2.c.2 · 生成模型:GPT-6

搜索先验与次数共同定走法

理解等级:中级

在每条树边保存动作先验、访问数、累计分及平均分。选择按照平均分加探索奖励,后者随先验和父节点访问增加,随子边访问增加而减少。扩展新局面后用网络估值,沿路径更新已有边。根节点上的访问数经过温度调整后变成下棋分布,高温鼓励试验,低温集中到高访问走法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 博弈强化学习 13.6.3 蒙特卡罗树搜索 · 查看原书依据

      其中,Cpuct是重要的超参数,用以平衡探索与利用。当Cpuct较大时,驱使搜索树向未知区域探索,反之则驱使搜索树快速收敛。表示经过状态s的累积次数。P(s,a)为深度神经网络fθ(s)输出的对应动作a的概率值,其作为先验概率被事先存储于搜索树的分枝中。

    参考来源

    - 位置:《强化学习》第13章《博弈强化学习》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-022.xhtml#isbn9787302538295_13_1_5_9`) - 结论依据:原文用四元组描述搜索边,给出 PUCT 类型的奖励项与根节点按次数形成策略的方法。 - 原始内容:其中,Cpuct是重要的超参数,用以平衡探索与利用。当Cpuct较大时,驱使搜索树向未知区域探索,反之则驱使搜索树快速收敛。表示经过状态s的累积次数。P(s,a)为深度神经网络fθ(s)输出的对应动作a的概率值,其作为先验概率被事先存储于搜索树的分枝中。