联邦学习流程
联邦学习面向手机等小型设备:设备先下载云端的共享模型,用本地历史数据训练更新;再把更新抽取成小文件,只将模型的差异部分加密上传;云端把各用户的差异模型平均后,改进共享模型。这样既聚合了大量边缘设备的数据和算力,原始数据又不必集中上传。
主题对照
比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。
联邦学习面向手机等小型设备:设备先下载云端的共享模型,用本地历史数据训练更新;再把更新抽取成小文件,只将模型的差异部分加密上传;云端把各用户的差异模型平均后,改进共享模型。这样既聚合了大量边缘设备的数据和算力,原始数据又不必集中上传。
TensorFlow 把计算图的构造和执行分开:前端提供编程模型,由 Client 构造计算图、建立会话,并把图交给后端的分布式 Master;后端提供分布式运行环境,Master 把图的边和节点分解给不同的 Worker 执行,节点之间通过 send/recv 完成数据归并和同步。
数据并行在多块 GPU 上运行同一个模型、各用不同的训练样本。同步方式下各 GPU 计算梯度后汇总求平均再更新参数;异步方式下各 GPU 各自更新、互不等待。模型并行则把同一个神经网络的不同部分放到不同设备上,例如输入层放在 GPU0、隐藏层放在 GPU1。
分布式机器学习要应对三类瓶颈:计算量过大,可用共享内存、多线程、多机并行计算;训练数据过大,可把数据划分给多个工作节点各自训练子模型,再整合成全局模型;模型规模过大,可把模型分配到不同节点训练,节点之间通信并协调整体工作。先判断瓶颈类型,再选并行方式。
按样本划分训练数据时,要让每个节点的局部数据保持原数据的分布。书中给出两种方法:随机采样,按各节点容量有放回地抽样分配;置乱切分,先打乱数据再按节点数切分,各节点训练一段时间后重新全局打乱、再次分配,以获得更好的随机采样效果。
模型并行把神经网络的神经元分给不同节点,每个节点存储自己负责的参数、权重和输入输出。训练时节点之间要不断传数据:前向传播时,下游节点依赖上游节点算出的隐含层激活值;反向传播时,上游节点依赖下游节点传回的误差值来更新权重。跨节点依赖越多,通信开销越大。
异步 SGD 中各计算节点不必互相等待,把参数交给参数服务器后立即取回全局参数进入下一轮,因此会同时存在多个全局参数版本,直接用梯度更新全局参数对收敛影响很大。书中的改进是:节点先用梯度更新本地权重,再把本地权重发给参数服务器,服务器按系数 α 对本地与全局权重做线性插值来更新全局参数。
书中把 MADDPG 部署到分布式环境时,用 RTOSNode 做数据通道:各计算节点分别运行一个智能体的算法,通过 SDK 连到 RTOSNode 中控节点,在数据模型上与其他节点互通,为本地 Critic 提供其他智能体的策略和中央评价信息;另一个节点负责路由、加载群体智能模型(联邦、HLA、DDS 等)并计算中央评价网络。
TensorFlow 用数据流图描述计算:节点表示数学操作,边表示在节点之间流动的多维数组,即张量,这也是名字的由来。程序由计算图、张量和会话三部分组成。因为计算被表达成图,同一模型可以在 CPU、GPU、服务器或移动设备上执行;分布式运行时,还会按代价模型估算每个节点的输入输出大小和计算时间,据此把节点分配到不同设备。
MXNet 的 KVStore 是基于参数服务器的分布式键值存储,用于训练时交换参数。它采用两层通信结构:第一层处理单机内多个设备(如多块 GPU)之间的通信,第二层处理机器之间的网络通信;第一层可以先把设备间的数据合并,再与第二层通信,降低网络带宽消耗。机器内外带宽和延迟不同,所以可用不同一致性模型,如内层强一致、外层弱一致,以减少同步开销。
Mahout 是基于 Hadoop 最早的分布式机器学习平台。它本身只是一个 Java 算法库,分布式能力借用 Hadoop 的 MapReduce 引擎,并没有另外实现一套分布式计算框架。它的算法丰富、非常稳定;迭代型算法的性能可能比 Spark 稍差,但对超大训练数据集更稳定,有些 Spark 没有的算法它也有,两者可以互补。
Mahout 的分布式算法可以不写 Java 代码,直接通过 Shell 脚本给算法入口类传参数,提交到 Hadoop 上运行;很多算法还能用参数切换为本地单机运行。这让不会编程的人也能做分布式训练,只要掌握算法的核心思想和对应参数。但前提仍是熟悉 Hadoop 的相关知识和命令,数据也要先按要求预处理,如文本需先向量化。
分布式训练不是为了显得复杂,而是单机同时撞上数据量、参数量、训练时效和在线更新压力。只有把数据、模型或训练过程切开,才能把内存墙、计算墙和通信墙分别转化为可调度的系统问题。
深度训练的并行可从三个维度切:数据并行切样本,追求计算吞吐;模型并行切网络结构,解决单设备装不下;流水线并行切网络层,让层间像流水一样接力。选型时先问瓶颈是数据、显存还是设备空闲。
分布式训练需同时处理跨机参数通信、进度不均与故障恢复。增加机器只缩短可并行的计算部分;若网络、同步和调度成本超过收益,甚至会慢于单机。因此先分清计算、通信和等待时间,再选择并行与同步方式,不能以机器数直接推断加速比。
严格同步在每轮设屏障,快任务等待慢任务;异步允许工作者独立推进并使用尚未包含全部最新更新的参数;部分同步为陈旧度设界,超过界限才等待。三者改变等待和信息新鲜度,收敛仍取决于具体算法、步长等条件,并非同步就自动正确、异步就必然更快。
数据并行切分训练样本,各工作者执行相同学习算法并融合参数更新;模型并行切分模型参数或计算层,各机器联合完成训练。前者主要解决数据规模,后者主要解决单机容纳不下模型等限制;同一训练系统也可把两者组合,代价是增加不同维度的通信。
BSP、SSP、ASP体现的是一致性约束逐步放松:同步越严格,模型状态越清楚但慢节点拖累越大;越异步,吞吐越高但陈旧梯度更容易伤害收敛。选哪种协议,就是在收敛稳定性与系统效率之间取舍。
参数服务器把“参数存储与更新”提升成独立系统组件,让 Worker 专注计算梯度,Server 专注维护模型状态,Scheduler 管理集群。它像为迭代收敛工作负载定制的分布式内存数据库。
PS-Lite 的架构边界很清楚:Worker 计算并推拉键值梯度,Server 保存和更新参数,Scheduler 负责协调节点。这个三角色划分让训练逻辑、状态管理和集群治理分开演进。
Customer 是应用对象在通信系统里的代理:发送时追踪请求回复,接收时维护消息队列。这个设计把业务节点从底层收发状态里解放出来,也让同步等待、回调和消息分发有统一入口。
Van 的价值在于把网络通信从 Postoffice 的节点管理中隔离出来。上层只关心节点、Customer 和应用抽象,底层收发、绑定、连接、接收循环都由 Van 承担,系统才不会在业务类里散落通信细节。
DataParallel 简单但有天然主卡瓶颈:输入、输出、损失和梯度都要围绕 GPU 0 聚集或分发。它适合快速利用单机多卡,却不适合追求高扩展性的严肃分布式训练。
DP 的一次迭代是“分发数据、复制模型、并行前向、聚集输出、分发损失、反向归约、主卡更新”。它的易用性来自框架代管这些步骤,但性能问题也来自这些固定搬运路径。
DDP 的正确性目标是让每个进程像独立训练同一个模型:起点相同,反向后梯度相同,优化器各自更新后状态仍相同。通信不是附加功能,而是维持数学等价性的条件。
Horovod 的 DistributedOptimizer 选择包装原生优化器,而不是重写训练框架。它让本地优化器照常算梯度,再把同步通信嵌入梯度处理流程,这是库级扩展比框架侵入更轻的原因。
分布式优化器先按并行形态分类:数据并行优化器处理“每个副本都有全量参数”的同步问题,模型并行优化器处理“参数分散在不同节点”的归属和远程更新问题。
数据并行里优化器通常不需要理解分布式,因为每个副本最终拿到同样梯度。DP 把梯度归到主卡,DDP/Horovod 在反向或 step 前同步,本质都是让本地优化器继续可用。
TensorFlow 分布式从集群视角拆成 Cluster、Job、Task:集群定义整体训练目标,Job 聚合一类任务,Task 对应具体服务进程。清楚这三层,才不会把业务角色和进程实例混在一起。
TensorFlow 的 Master 是计算图执行的调度中介:Client 构图,Master 裁剪和切分图,Worker 执行分片。这个设计把“我要算什么”和“在哪里算”分成两次决策。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
分布式人工智能与多智能体类
书籍类型:工程实践
清单覆盖 7/7
35 张卡片
来源书籍
大数据与机器学习平台工程类
书籍类型:工程实践
清单覆盖 7/7
34 张卡片
来源书籍
分布式训练框架与系统类
书籍类型:工程实践
清单覆盖 7/7
59 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 3/6
125 张卡片
来源书籍
书籍类型:未标注
424 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 2/6
97 张卡片
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。
主题索引
TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。
主题索引
比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类