知识卡片
树搜索按模拟反馈分配预算
MCTS 从当前局面重复四步:按树内规则选边,扩展尚未探索的子节点,模拟或估计新叶子的结果,沿原路径更新次数和平均价值。UCT 把类似 UCB 的探索奖励给访问较少的分支。双人零和树要明确分数视角:可每层更换视角并始终选高分,回传时翻转符号;若用固定一方分数,在对方节点也要让探索项提高低访问分支的被选机会。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 博弈强化学习 13.4 蒙特卡罗树搜索 · 查看原书依据
将蒙特卡罗方法应用于博弈树搜索,就有了蒙特卡罗树搜索(MCTS),该方法通过蒙特卡罗抽样方法逐步建立和扩展博弈树。在树内搜索和树外模拟分别采用不同的策略,树内一般采用贪心策略,树外采用随机策略。其结合了随机模拟的一般性和博弈树搜索的准确性,可以使那些有可能成为最优着法的分枝获得更多被探索的机会,在有限的时间内使用有限的资源提高搜索的准确率。
参考来源
- 位置:《强化学习》第13章《博弈强化学习》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-022.xhtml#isbn9787302538295_13_1_4`)
- 结论依据:原文列出 MCTS 四步并把 UCB 引入树内选择;视角说明用于落实零和回传。
- 原始内容:将蒙特卡罗方法应用于博弈树搜索,就有了蒙特卡罗树搜索(MCTS),该方法通过蒙特卡罗抽样方法逐步建立和扩展博弈树。在树内搜索和树外模拟分别采用不同的策略,树内一般采用贪心策略,树外采用随机策略。其结合了随机模拟的一般性和博弈树搜索的准确性,可以使那些有可能成为最优着法的分枝获得更多被探索的机会,在有限的时间内使用有限的资源提高搜索的准确率。