知识卡片
AlphaGo给搜索配不同网络
AlphaGo 原版以专家数据训练策略来给候选走法分配搜索先验,快速策略用于低成本模拟终局。通过自我对弈训练的策略为价值网络产生样本。实战搜索用价值网络估值与快速模拟结果的混合评估叶子,最后按根上的访问次数选择走法。这样可以让需要速度、需要多样性和需要准确估值的环节分别使用适合的模型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 博弈强化学习 13.5.5 蒙特卡罗树搜索 · 查看原书依据
值得注意的是,在整个搜索模拟过程中,SL策略用于先验概率的计算;快速走子策略网络用于评估时的快速走子;价值网络用于评估中对棋势的预估。那么问题来了,为什么不使用棋力更强的RL策略网络代替SL策略网络呢?这是因为RL策略网络输出的策略比较单一,而人类专家走法训练出来的SL策略网络在策略上的多样性更强,因此更适用于MCTS中的搜索。但是,用RL策略网络的自我对弈结果可以大大提高价值网络的泛化能力,因此将其在此处进行使用,这就是RL策略网络的用途。
参考来源
- 位置:《强化学习》第13章《博弈强化学习》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-022.xhtml#isbn9787302538295_13_1_5_5`)
- 结论依据:原文逐一解释监督策略、快速策略、强化策略、价值网络在训练和实战中的分工。
- 原始内容:值得注意的是,在整个搜索模拟过程中,SL策略用于先验概率的计算;快速走子策略网络用于评估时的快速走子;价值网络用于评估中对棋势的预估。那么问题来了,为什么不使用棋力更强的RL策略网络代替SL策略网络呢?这是因为RL策略网络输出的策略比较单一,而人类专家走法训练出来的SL策略网络在策略上的多样性更强,因此更适用于MCTS中的搜索。但是,用RL策略网络的自我对弈结果可以大大提高价值网络的泛化能力,因此将其在此处进行使用,这就是RL策略网络的用途。