知识卡片
学习排序并行
分布式LambdaMART让各工作服务器用本地训练子集生成候选子树,把候选交由其他分片评估,主控按评估分数选择其中一棵加入已有模型,再进入下一轮。这样避免逐树节点发送大量训练数据,但与集中式训练不等价:选择的是给定候选集合中的较优树,不能宣称始终得到全体数据上的精确最优切分。 作为对照,逐树节点汇总切分信息可保留更接近集中式的决策,却使通信随训练样本增长;候选交换降低这一成本,也限制了可搜索的树集合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 机器学习:分布式算法 · 查看原书依据
一个直观且与单机版LambdaMART等价的分布式算法可以设计为:在构建一棵新的子树时,对于子树当前的节点需要考虑采用哪个特征作为切分左右子树的标准这一决策,每个工作服务器各自依靠分配到自身的训练子集合来分别选择这个特征,然后将选出的特征及由其划分后分属于左右子树的训练数据等信息传给主控服务器,主控服务器从各个工作服务器收集到了所有的局部信息后对其进行综合处理,选择出全局最优的特征作为切分当前节点形成左右分支的特征,并将这个信息告知各个工作服务器,以此类推,可以如此逐个节点地构建出完整的子树。这个方法看似简单,但是通信成本太高,因其通信量和训练数据个数呈线性增长关系,这样很难处理上亿规模的训练数据。
- 机器学习:分布式算法 · 查看原书依据
为了有效地减少通信量,可以考虑如下虽与单机版算法不等价但现实可行的策略:首先假设训练算法已经完成了N -1轮,即主控服务器已经选出了由N -1棵子树构成的部分线性组合函数f (x ,N −1),当前的任务是在此基础上选出下一棵子树,并添加到f 中形成f (x ,N )。 假设每台工作服务器已经接收到了f (x ,N −1)信息,其需要根据分配给自己的训练数据子集合来训练出下一棵子树。此时,第k 个工作服务器根据f (x ,N −1)和Sk 生成新的子树(即弱假设hN,k (x )),然后将hN,k (x )发送给其他所有的工作服务器,供它们对自己的结果进行评估。于是,每个工作服务器会接收到K -1个其他的工作服务器独立训练出的弱假设,对于第k 个工作服务器来说,其需要评估弱假设集合{hN,k (x )}[K]\[k] ,评估方法是依次将每个弱假设集成到f (x ,N −1)中,形成fk (x ,N )=f (x ,N −1)+hN,k (x )并分别根据一定的评估标准计算评估值,形成评估值集合{ck (fk (x ,N ))}[K]\[k] ,然后将这个评估值集合发送给主控服务器。