知识卡片
自我对弈以搜索改进策略
AlphaGo Zero 的一个网络同时给出动作概率和局面价值。树搜索按先验和访问统计寻找更好的落子分布,用网络值给新叶子评分。沿该分布落子至终局后,每个时刻可记下一份棋面、搜索动作分布和胜负目标。网络分别拟合搜索分布和实际终局,使下次搜索从更好的先验和估值开始。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 博弈强化学习 13.6.1 下棋原理 · 查看原书依据
(5)进行神经网络训练,更新网络参数θ。蒙特卡罗搜索得出的落子概率π比仅基于神经网络fθ输出的落子概率p更准确强大,因此,训练神经网络时候,要最大限度地提高网络输出概率p和搜索概率π的相似度。同时,要尽量减小神经网络预测值V和自我博弈结果z的误差。具体来说,通过使用均方误差和交叉熵一起构成损失函数l,利用梯度下降来调整参数θ,公式如下:
参考来源
- 位置:《强化学习》第13章《博弈强化学习》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-022.xhtml#isbn9787302538295_13_1_5_7`)
- 结论依据:原文列出自我对弈数据三元组,给出策略交叉熵与胜负回归的联合目标。
- 原始内容:(5)进行神经网络训练,更新网络参数θ。蒙特卡罗搜索得出的落子概率π比仅基于神经网络fθ输出的落子概率p更准确强大,因此,训练神经网络时候,要最大限度地提高网络输出概率p和搜索概率π的相似度。同时,要尽量减小神经网络预测值V和自我博弈结果z的误差。具体来说,通过使用均方误差和交叉熵一起构成损失函数l,利用梯度下降来调整参数θ,公式如下: