原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
一个直观且与单机版LambdaMART等价的分布式算法可以设计为:在构建一棵新的子树时,对于子树当前的节点需要考虑采用哪个特征作为切分左右子树的标准这一决策,每个工作服务器各自依靠分配到自身的训练子集合来分别选择这个特征,然后将选出的特征及由其划分后分属于左右子树的训练数据等信息传给主控服务器,主控服务器从各个工作服务器收集到了所有的局部信息后对其进行综合处理,选择出全局最优的特征作为切分当前节点形成左右分支的特征,并将这个信息告知各个工作服务器,以此类推,可以如此逐个节点地构建出完整的子树。这个方法看似简单,但是通信成本太高,因其通信量和训练数据个数呈线性增长关系,这样很难处理上亿规模的训练数据。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d