← 返回卡片

原书出处

大数据日知录_架构与算法

16 机器学习:分布式算法

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.169Z

一个直观且与单机版LambdaMART等价的分布式算法可以设计为:在构建一棵新的子树时,对于子树当前的节点需要考虑采用哪个特征作为切分左右子树的标准这一决策,每个工作服务器各自依靠分配到自身的训练子集合来分别选择这个特征,然后将选出的特征及由其划分后分属于左右子树的训练数据等信息传给主控服务器,主控服务器从各个工作服务器收集到了所有的局部信息后对其进行综合处理,选择出全局最优的特征作为切分当前节点形成左右分支的特征,并将这个信息告知各个工作服务器,以此类推,可以如此逐个节点地构建出完整的子树。这个方法看似简单,但是通信成本太高,因其通信量和训练数据个数呈线性增长关系,这样很难处理上亿规模的训练数据。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d

本卡其他出处