← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2700.f.1.b.2.c.1.a.2 · 生成模型:GPT-6

棋盘增强同步变换策略标签

理解等级:中级

若规则允许把棋盘旋转或镜像,可以把同一个自我对弈位置扩成等价样本。必须对棋盘各输入平面和搜索得出的动作概率网格使用相同变换。胜负值仍对应原来的玩家视角。若只变换棋盘而保留动作下标,模型会被教在错误位置落子。和纯模拟搜索比较时,要同时记录搜索预算和所用评估对手。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 博弈强化学习 13.8.2 算法流程描述 · 查看原书依据

      与围棋相同,五子棋同样具有旋转和镜像翻转等价的性质。为了能够在算力非常弱的情况下尽快收集数据训练模型,每一局自我对弈结束后,将这一局的数据进行旋转和镜像翻转,将8种等价情况的数据全部存入自我对弈的数据缓存中。这种方式的数据扩充在一定程度上提高了自我对弈数据的多样性和均衡性,同时也提高了MCTS评估叶子节点的可靠性。

    参考来源

    - 位置:《强化学习》第13章《博弈强化学习》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-022.xhtml#isbn9787302538295_13_1_5_12`) - 结论依据:原文在五子棋案例中扩增八种等价状态和搜索样本,并以不同预算的纯 MCTS 为评估对手。 - 原始内容:与围棋相同,五子棋同样具有旋转和镜像翻转等价的性质。为了能够在算力非常弱的情况下尽快收集数据训练模型,每一局自我对弈结束后,将这一局的数据进行旋转和镜像翻转,将8种等价情况的数据全部存入自我对弈的数据缓存中。这种方式的数据扩充在一定程度上提高了自我对弈数据的多样性和均衡性,同时也提高了MCTS评估叶子节点的可靠性。