原书出处
智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)
08 第8章 推荐系统的主要算法
学习率除以开方后的值,作为学习率的动态更新。 其中,对gt从1到t进行递推,形成一个正则化约束项,ε用来保证分母非0。
从公式(8-56)可以看出,随着算法不断迭代,nt会越来越大,整体的学习率会越来越小。一般来说,AdaGrad算法一开始是激励收敛,后面慢慢变成惩罚收敛,速度越来越慢。
AdaGrad算法流程如下。 已知:全局学习率ε,初始参数θ,小常数δ,为了数值稳定设为10–7 初始化梯度累积变量r
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0116.html
EPUB SHA-256:7c59ad7c208225d5ad9ff8ebac84642c693438b69bb9a48fad164b9dfb1eb976