联邦学习流程
联邦学习面向手机等小型设备:设备先下载云端的共享模型,用本地历史数据训练更新;再把更新抽取成小文件,只将模型的差异部分加密上传;云端把各用户的差异模型平均后,改进共享模型。这样既聚合了大量边缘设备的数据和算力,原始数据又不必集中上传。
主题对照
数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。
联邦学习面向手机等小型设备:设备先下载云端的共享模型,用本地历史数据训练更新;再把更新抽取成小文件,只将模型的差异部分加密上传;云端把各用户的差异模型平均后,改进共享模型。这样既聚合了大量边缘设备的数据和算力,原始数据又不必集中上传。
数据并行在多块 GPU 上运行同一个模型、各用不同的训练样本。同步方式下各 GPU 计算梯度后汇总求平均再更新参数;异步方式下各 GPU 各自更新、互不等待。模型并行则把同一个神经网络的不同部分放到不同设备上,例如输入层放在 GPU0、隐藏层放在 GPU1。
分布式机器学习要应对三类瓶颈:计算量过大,可用共享内存、多线程、多机并行计算;训练数据过大,可把数据划分给多个工作节点各自训练子模型,再整合成全局模型;模型规模过大,可把模型分配到不同节点训练,节点之间通信并协调整体工作。先判断瓶颈类型,再选并行方式。
按样本划分训练数据时,要让每个节点的局部数据保持原数据的分布。书中给出两种方法:随机采样,按各节点容量有放回地抽样分配;置乱切分,先打乱数据再按节点数切分,各节点训练一段时间后重新全局打乱、再次分配,以获得更好的随机采样效果。
模型并行把神经网络的神经元分给不同节点,每个节点存储自己负责的参数、权重和输入输出。训练时节点之间要不断传数据:前向传播时,下游节点依赖上游节点算出的隐含层激活值;反向传播时,上游节点依赖下游节点传回的误差值来更新权重。跨节点依赖越多,通信开销越大。
分布式训练不是为了显得复杂,而是单机同时撞上数据量、参数量、训练时效和在线更新压力。只有把数据、模型或训练过程切开,才能把内存墙、计算墙和通信墙分别转化为可调度的系统问题。
深度训练的并行可从三个维度切:数据并行切样本,追求计算吞吐;模型并行切网络结构,解决单设备装不下;流水线并行切网络层,让层间像流水一样接力。选型时先问瓶颈是数据、显存还是设备空闲。
分布式训练需同时处理跨机参数通信、进度不均与故障恢复。增加机器只缩短可并行的计算部分;若网络、同步和调度成本超过收益,甚至会慢于单机。因此先分清计算、通信和等待时间,再选择并行与同步方式,不能以机器数直接推断加速比。
严格同步在每轮设屏障,快任务等待慢任务;异步允许工作者独立推进并使用尚未包含全部最新更新的参数;部分同步为陈旧度设界,超过界限才等待。三者改变等待和信息新鲜度,收敛仍取决于具体算法、步长等条件,并非同步就自动正确、异步就必然更快。
数据并行切分训练样本,各工作者执行相同学习算法并融合参数更新;模型并行切分模型参数或计算层,各机器联合完成训练。前者主要解决数据规模,后者主要解决单机容纳不下模型等限制;同一训练系统也可把两者组合,代价是增加不同维度的通信。
BSP、SSP、ASP体现的是一致性约束逐步放松:同步越严格,模型状态越清楚但慢节点拖累越大;越异步,吞吐越高但陈旧梯度更容易伤害收敛。选哪种协议,就是在收敛稳定性与系统效率之间取舍。
DataParallel 简单但有天然主卡瓶颈:输入、输出、损失和梯度都要围绕 GPU 0 聚集或分发。它适合快速利用单机多卡,却不适合追求高扩展性的严肃分布式训练。
DP 的一次迭代是“分发数据、复制模型、并行前向、聚集输出、分发损失、反向归约、主卡更新”。它的易用性来自框架代管这些步骤,但性能问题也来自这些固定搬运路径。
DDP 的正确性目标是让每个进程像独立训练同一个模型:起点相同,反向后梯度相同,优化器各自更新后状态仍相同。通信不是附加功能,而是维持数学等价性的条件。
Horovod 的 DistributedOptimizer 选择包装原生优化器,而不是重写训练框架。它让本地优化器照常算梯度,再把同步通信嵌入梯度处理流程,这是库级扩展比框架侵入更轻的原因。
分布式优化器先按并行形态分类:数据并行优化器处理“每个副本都有全量参数”的同步问题,模型并行优化器处理“参数分散在不同节点”的归属和远程更新问题。
数据并行里优化器通常不需要理解分布式,因为每个副本最终拿到同样梯度。DP 把梯度归到主卡,DDP/Horovod 在反向或 step 前同步,本质都是让本地优化器继续可用。
Megatron 同时维护模型并行组和数据并行组:前者共同持有一个模型切片集合,后者在相同位置上做梯度归约。大模型训练的关键是让通信范围匹配参数共享范围。
流水线并行按层切模型,让不同 stage 接力处理微批量。它的优势不是少算,而是每个设备只保存部分层,并且只在相邻 stage 传激活,通信量不随总模型大小线性膨胀。
书以KMeans说明MR迭代:Mapper把样本分配给当前最近中心,Reducer按簇汇总后重算中心。合并时应保存各簇坐标和与样本数,再用总和除以总数;直接平均不同分区的局部中心,在分区样本量不等时会得到错误结果。空簇处理与终止条件也需另外明确。
书中并行SGD让每个Worker获得完整训练数据,独立随机抽样执行T步,最后收集参数向量取均值。它通过独立轨迹减少训练中的通信,不是把样本分片后逐步聚合梯度。适用的收敛结论有目标、抽样和步长等假设,不能把参数平均普遍用于任意非凸网络并保证等同单机最优。
Sandblaster把训练集切成比每副本固定份额更小的数据片,空闲副本领取未完成片,快机器一轮内做更多工作,从而减少等待最慢静态分片的时间。动态调度改善负载均衡,不取消本轮梯度齐备的屏障;还须按片跟踪完成和重试,避免同一片贡献重复计入或遗漏。
CTR 预估不能只用历史点击率,因为查询、广告和用户组合极度稀疏。逻辑回归把离散特征组合映射到可训练权重,用正则化和并行优化在海量样本中学习泛化规律。
ALS-WR 交替固定一个矩阵训练另一个:固定商品矩阵时按用户切分评分矩阵并行更新用户矩阵,固定用户矩阵时按商品切分评分矩阵并行更新商品矩阵。交替避免了两个矩阵同时更新的依赖冲突。
文档两两相似度直接计算是 O(n²)。倒排索引把视角转为“同一词贡献哪些文档对”,只累加共享词的贡献,利用文本向量稀疏性省掉大量零乘法。
分布式LambdaMART让各工作服务器用本地训练子集生成候选子树,把候选交由其他分片评估,主控按评估分数选择其中一棵加入已有模型,再进入下一轮。这样避免逐树节点发送大量训练数据,但与集中式训练不等价:选择的是给定候选集合中的较优树,不能宣称始终得到全体数据上的精确最优切分。 作为对照,逐树节点汇总切分信息可保留更接近集中式的决策,却使通信随训练样本增长;候选交换降低这一成本,也限制了可搜索的树集合。
DistBelief 通过模型并行和数据并行训练大规模神经网络:模型切分解决参数过大,数据切分提高样本吞吐。异步更新提升速度,但需要接受参数陈旧带来的收敛噪声。
梯度累积把一个大批量拆成多个微批量,多次前向/反向后再统一归约和更新。它用更多本地计算换更低同步频率,适合通信昂贵或显存无法一次容纳大批量的训练。
Checkpointing 的核心是用额外计算换显存:前向只保留边界激活,反向时重跑一段前向恢复中间值。它不是免费优化,适合内存是瓶颈而算力仍可接受的模型。
流水线分区不能只按层数平均切,而要按时间或显存 profile 找平衡点。torchgpipe.balance 用 profile 测量资源占用来计算分区,让各分区资源差别尽量小。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
分布式人工智能与多智能体类
书籍类型:工程实践
清单覆盖 7/7
35 张卡片
来源书籍
分布式训练框架与系统类
书籍类型:工程实践
清单覆盖 7/7
59 张卡片
来源书籍
书籍类型:未标注
424 张卡片
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。
主题索引
比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。
主题索引
比较流水线并行、张量切分和基于 RPC 的模型并行在切分方式、显存、调度与权重一致性上的做法和代价。
主题索引
比较点对点与集合通信、All-Reduce 与 Ring 拓扑、梯度分桶和后台协调等梯度同步机制的性能与容错取舍。
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类