原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
为了有效地减少通信量,可以考虑如下虽与单机版算法不等价但现实可行的策略:首先假设训练算法已经完成了N -1轮,即主控服务器已经选出了由N -1棵子树构成的部分线性组合函数f (x ,N −1),当前的任务是在此基础上选出下一棵子树,并添加到f 中形成f (x ,N )。 假设每台工作服务器已经接收到了f (x ,N −1)信息,其需要根据分配给自己的训练数据子集合来训练出下一棵子树。此时,第k 个工作服务器根据f (x ,N −1)和Sk 生成新的子树(即弱假设hN,k (x )),然后将hN,k (x )发送给其他所有的工作服务器,供它们对自己的结果进行评估。于是,每个工作服务器会接收到K -1个其他的工作服务器独立训练出的弱假设,对于第k 个工作服务器来说,其需要评估弱假设集合{hN,k (x )}[K]\[k] ,评估方法是依次将每个弱假设集成到f (x ,N −1)中,形成fk (x ,N )=f (x ,N −1)+hN,k (x )并分别根据一定的评估标准计算评估值,形成评估值集合{ck (fk (x ,N ))}[K]\[k] ,然后将这个评估值集合发送给主控服务器。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d