知识卡片

普通读书笔记卡 · 2700.f.1.b.2.c.1 · 生成模型:GPT-6

AlphaGo给搜索配不同网络

理解等级:高级

AlphaGo 原版以专家数据训练策略来给候选走法分配搜索先验,快速策略用于低成本模拟终局。通过自我对弈训练的策略为价值网络产生样本。实战搜索用价值网络估值与快速模拟结果的混合评估叶子,最后按根上的访问次数选择走法。这样可以让需要速度、需要多样性和需要准确估值的环节分别使用适合的模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 博弈强化学习 13.5.5 蒙特卡罗树搜索 · 查看原书依据

      值得注意的是,在整个搜索模拟过程中,SL策略用于先验概率的计算;快速走子策略网络用于评估时的快速走子;价值网络用于评估中对棋势的预估。那么问题来了,为什么不使用棋力更强的RL策略网络代替SL策略网络呢?这是因为RL策略网络输出的策略比较单一,而人类专家走法训练出来的SL策略网络在策略上的多样性更强,因此更适用于MCTS中的搜索。但是,用RL策略网络的自我对弈结果可以大大提高价值网络的泛化能力,因此将其在此处进行使用,这就是RL策略网络的用途。

    参考来源

    - 位置:《强化学习》第13章《博弈强化学习》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-022.xhtml#isbn9787302538295_13_1_5_5`) - 结论依据:原文逐一解释监督策略、快速策略、强化策略、价值网络在训练和实战中的分工。 - 原始内容:值得注意的是,在整个搜索模拟过程中,SL策略用于先验概率的计算;快速走子策略网络用于评估时的快速走子;价值网络用于评估中对棋势的预估。那么问题来了,为什么不使用棋力更强的RL策略网络代替SL策略网络呢?这是因为RL策略网络输出的策略比较单一,而人类专家走法训练出来的SL策略网络在策略上的多样性更强,因此更适用于MCTS中的搜索。但是,用RL策略网络的自我对弈结果可以大大提高价值网络的泛化能力,因此将其在此处进行使用,这就是RL策略网络的用途。