主题对照

训练并行策略

数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。

58 张卡片 · 3 本书

本层 58 张卡片 · 含下级覆盖 58 张卡片

本主题的卡片

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介

联邦学习流程

联邦学习面向手机等小型设备:设备先下载云端的共享模型,用本地历史数据训练更新;再把更新抽取成小文件,只将模型的差异部分加密上传;云端把各用户的差异模型平均后,改进共享模型。这样既聚合了大量边缘设备的数据和算力,原始数据又不必集中上传。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · TensorFlow框架介绍

数据并行与模型并行

数据并行在多块 GPU 上运行同一个模型、各用不同的训练样本。同步方式下各 GPU 计算梯度后汇总求平均再更新参数;异步方式下各 GPU 各自更新、互不等待。模型并行则把同一个神经网络的不同部分放到不同设备上,例如输入层放在 GPU0、隐藏层放在 GPU1。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进

分布式学习三瓶颈

分布式机器学习要应对三类瓶颈:计算量过大,可用共享内存、多线程、多机并行计算;训练数据过大,可把数据划分给多个工作节点各自训练子模型,再整合成全局模型;模型规模过大,可把模型分配到不同节点训练,节点之间通信并协调整体工作。先判断瓶颈类型,再选并行方式。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进

数据切分保持同分布

按样本划分训练数据时,要让每个节点的局部数据保持原数据的分布。书中给出两种方法:随机采样,按各节点容量有放回地抽样分配;置乱切分,先打乱数据再按节点数切分,各节点训练一段时间后重新全局打乱、再次分配,以获得更好的随机采样效果。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进

模型并行要传中间值

模型并行把神经网络的神经元分给不同节点,每个节点存储自己负责的参数、权重和输入输出。训练时节点之间要不断传数据:前向传播时,下游节点依赖上游节点算出的隐含层激活值;反向传播时,上游节点依赖下游节点传回的误差值来更新权重。跨节点依赖越多,通信开销越大。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式机器学习

分布训练动因

分布式训练不是为了显得复杂,而是单机同时撞上数据量、参数量、训练时效和在线更新压力。只有把数据、模型或训练过程切开,才能把内存墙、计算墙和通信墙分别转化为可调度的系统问题。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式机器学习

三种并行

深度训练的并行可从三个维度切:数据并行切样本,追求计算吞吐;模型并行切网络结构,解决单设备装不下;流水线并行切网络层,让层间像流水一样接力。选型时先问瓶颈是数据、显存还是设备空闲。

查看卡片与原书出处

大数据日知录_架构与算法 · 第15章 机器学习:范型与架构

分布式ML瓶颈

分布式训练需同时处理跨机参数通信、进度不均与故障恢复。增加机器只缩短可并行的计算部分;若网络、同步和调度成本超过收益,甚至会慢于单机。因此先分清计算、通信和等待时间,再选择并行与同步方式,不能以机器数直接推断加速比。

查看卡片与原书出处

大数据日知录_架构与算法 · 第15章 机器学习:范型与架构

三种同步范型

严格同步在每轮设屏障,快任务等待慢任务;异步允许工作者独立推进并使用尚未包含全部最新更新的参数;部分同步为陈旧度设界,超过界限才等待。三者改变等待和信息新鲜度,收敛仍取决于具体算法、步长等条件,并非同步就自动正确、异步就必然更快。

查看卡片与原书出处

大数据日知录_架构与算法 · 第15章 机器学习:范型与架构

数据模型并行

数据并行切分训练样本,各工作者执行相同学习算法并融合参数更新;模型并行切分模型参数或计算层,各机器联合完成训练。前者主要解决数据规模,后者主要解决单机容纳不下模型等限制;同一训练系统也可把两者组合,代价是增加不同维度的通信。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式机器学习

同步宽松度

BSP、SSP、ASP体现的是一致性约束逐步放松:同步越严格,模型状态越清楚但慢节点拖累越大;越异步,吞吐越高但陈旧梯度更容易伤害收敛。选哪种协议,就是在收敛稳定性与系统效率之间取舍。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DataParallel

DP主卡瓶颈

DataParallel 简单但有天然主卡瓶颈:输入、输出、损失和梯度都要围绕 GPU 0 聚集或分发。它适合快速利用单机多卡,却不适合追求高扩展性的严肃分布式训练。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DataParallel

DP复制流程

DP 的一次迭代是“分发数据、复制模型、并行前向、聚集输出、分发损失、反向归约、主卡更新”。它的易用性来自框架代管这些步骤,但性能问题也来自这些固定搬运路径。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构

DDP等价性

DDP 的正确性目标是让每个进程像独立训练同一个模型:起点相同,反向后梯度相同,优化器各自更新后状态仍相同。通信不是附加功能,而是维持数学等价性的条件。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Horovod

Horovod包装器

Horovod 的 DistributedOptimizer 选择包装原生优化器,而不是重写训练框架。它让本地优化器照常算梯度,再把同步通信嵌入梯度处理流程,这是库级扩展比框架侵入更轻的原因。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式优化器

优化器分类

分布式优化器先按并行形态分类:数据并行优化器处理“每个副本都有全量参数”的同步问题,模型并行优化器处理“参数分散在不同节点”的归属和远程更新问题。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式优化器

数据并行优化

数据并行里优化器通常不需要理解分布式,因为每个副本最终拿到同样梯度。DP 把梯度归到主卡,DDP/Horovod 在反向或 step 前同步,本质都是让本地优化器继续可用。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Megatron

并行组组合

Megatron 同时维护模型并行组和数据并行组:前者共同持有一个模型切片集合,后者在相同位置上做梯度归约。大模型训练的关键是让通信范围匹配参数共享范围。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · GPipe

流水线并行

流水线并行按层切模型,让不同 stage 接力处理微批量。它的优势不是少算,而是每个设备只保存部分层,并且只在相邻 stage 传激活,通信量不随总模型大小线性膨胀。

查看卡片与原书出处

大数据日知录_架构与算法 · 第15章 机器学习:范型与架构

并行聚类要按样本加权

书以KMeans说明MR迭代:Mapper把样本分配给当前最近中心,Reducer按簇汇总后重算中心。合并时应保存各簇坐标和与样本数,再用总和除以总数;直接平均不同分区的局部中心,在分区样本量不等时会得到错误结果。空簇处理与终止条件也需另外明确。

查看卡片与原书出处

大数据日知录_架构与算法 · 第16章 机器学习:分布式算法

独立SGD副本末尾求均值

书中并行SGD让每个Worker获得完整训练数据,独立随机抽样执行T步,最后收集参数向量取均值。它通过独立轨迹减少训练中的通信,不是把样本分片后逐步聚合梯度。适用的收敛结论有目标、抽样和步长等假设,不能把参数平均普遍用于任意非凸网络并保证等同单机最优。

查看卡片与原书出处

大数据日知录_架构与算法 · 第16章 机器学习:分布式算法

细粒度数据调度减轻拖尾

Sandblaster把训练集切成比每副本固定份额更小的数据片,空闲副本领取未完成片,快机器一轮内做更多工作,从而减少等待最慢静态分片的时间。动态调度改善负载均衡,不取消本轮梯度齐备的屏障;还须按片跟踪完成和重试,避免同一片贡献重复计入或遗漏。

查看卡片与原书出处

大数据日知录_架构与算法 · 机器学习:分布式算法

CTR稀疏学习

CTR 预估不能只用历史点击率,因为查询、广告和用户组合极度稀疏。逻辑回归把离散特征组合映射到可训练权重,用正则化和并行优化在海量样本中学习泛化规律。

查看卡片与原书出处

大数据日知录_架构与算法 · 机器学习:分布式算法

矩阵分解并行

ALS-WR 交替固定一个矩阵训练另一个:固定商品矩阵时按用户切分评分矩阵并行更新用户矩阵,固定用户矩阵时按商品切分评分矩阵并行更新商品矩阵。交替避免了两个矩阵同时更新的依赖冲突。

查看卡片与原书出处

大数据日知录_架构与算法 · 机器学习:分布式算法

倒排算相似

文档两两相似度直接计算是 O(n²)。倒排索引把视角转为“同一词贡献哪些文档对”,只累加共享词的贡献,利用文本向量稀疏性省掉大量零乘法。

查看卡片与原书出处

大数据日知录_架构与算法 · 第16章 机器学习:分布式算法

学习排序并行

分布式LambdaMART让各工作服务器用本地训练子集生成候选子树,把候选交由其他分片评估,主控按评估分数选择其中一棵加入已有模型,再进入下一轮。这样避免逐树节点发送大量训练数据,但与集中式训练不等价:选择的是给定候选集合中的较优树,不能宣称始终得到全体数据上的精确最优切分。 作为对照,逐树节点汇总切分信息可保留更接近集中式的决策,却使通信随训练样本增长;候选交换降低这一成本,也限制了可搜索的树集合。

查看卡片与原书出处

大数据日知录_架构与算法 · 机器学习:分布式算法

深度模型并行

DistBelief 通过模型并行和数据并行训练大规模神经网络:模型切分解决参数过大,数据切分提高样本吞吐。异步更新提升速度,但需要接受参数陈旧带来的收敛噪声。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · GPipe

微批量累积

梯度累积把一个大批量拆成多个微批量,多次前向/反向后再统一归约和更新。它用更多本地计算换更低同步频率,适合通信昂贵或显存无法一次容纳大批量的训练。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · GPipe

重计算换内存

Checkpointing 的核心是用额外计算换显存:前向只保留边界激活,反向时重跑一段前向恢复中间值。它不是免费优化,适合内存是瓶颈而算力仍可接受的模型。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch流水线并行

自动平衡

流水线分区不能只按层数平均切,而要按时间或显存 profile 找平衡点。torchgpipe.balance 用 profile 测量资源占用来计算分区,让各分区资源差别尽量小。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1780 分布式ML瓶颈 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
    • 1780.a 三种同步范型 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
    • 展开或收起下级: 1780.b 数据模型并行 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 展开或收起下级: 1780.b.1 MR迭代显式传递模型 路径上下文 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 1780.b.1.a 并行聚类要按样本加权 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
  • 展开或收起下级: 1781 CTR稀疏学习 主题成员 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 1781.a 矩阵分解并行 主题成员 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 1781.b 倒排算相似 主题成员 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 1781.c 学习排序并行 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:高级
    • 1781.d 深度模型并行 主题成员 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 1781.p 细粒度数据调度减轻拖尾 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:中级
  • 展开或收起下级: 2791 三层分布式 路径上下文 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介 理解等级:未标注
    • 2791.d 联邦学习流程 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介 理解等级:未标注
  • 展开或收起下级: 2793 计算图前后端分工 路径上下文 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · TensorFlow框架介绍 理解等级:未标注
    • 2793.a 数据并行与模型并行 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · TensorFlow框架介绍 理解等级:未标注
  • 展开或收起下级: 2795 分布式学习三瓶颈 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进 理解等级:未标注
    • 2795.a 数据切分保持同分布 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进 理解等级:未标注
    • 2795.b 模型并行要传中间值 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进 理解等级:未标注
  • 展开或收起下级: 2829 分布训练动因 主题成员 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
    • 2829.a 三种并行 主题成员 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
    • 2829.b 同步宽松度 主题成员 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
    • 2829.c 拓扑即瓶颈 主题成员 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
  • 展开或收起下级: 2830 通信模式分层 主题成员 分布式机器学习:系统、工程与实战 · 集合通信 理解等级:未标注
    • 2830.a AllReduce拼装 主题成员 分布式机器学习:系统、工程与实战 · 集合通信 理解等级:未标注
    • 2830.b Ring去中心 主题成员 分布式机器学习:系统、工程与实战 · 集合通信 理解等级:未标注
  • 展开或收起下级: 2832 DP主卡瓶颈 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DataParallel 理解等级:未标注
    • 2832.a DP复制流程 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DataParallel 理解等级:未标注
  • 展开或收起下级: 2833 DDP等价性 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构 理解等级:未标注
    • 2833.a 通信四件套 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构 理解等级:未标注
    • 2833.b 梯度分桶 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构 理解等级:未标注
  • 展开或收起下级: 2834 Reducer核心 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑 理解等级:未标注
    • 2834.a 桶副本边界 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑 理解等级:未标注
    • 2834.b Join补通信 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的动态逻辑 理解等级:未标注
  • 展开或收起下级: 2835 Horovod包装器 主题成员 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
    • 2835.a Driver探测网络 主题成员 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
    • 2835.b 后台线程协调 主题成员 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
    • 2835.c 框架融合层 主题成员 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
  • 展开或收起下级: 2836 流水线并行 主题成员 分布式机器学习:系统、工程与实战 · GPipe 理解等级:未标注
    • 2836.a 微批量累积 主题成员 分布式机器学习:系统、工程与实战 · GPipe 理解等级:未标注
    • 2836.b 重计算换内存 主题成员 分布式机器学习:系统、工程与实战 · GPipe 理解等级:未标注
  • 展开或收起下级: 2837 自动平衡 主题成员 分布式机器学习:系统、工程与实战 · PyTorch流水线并行 理解等级:未标注
    • 2837.a 显式依赖 主题成员 分布式机器学习:系统、工程与实战 · PyTorch流水线并行 理解等级:未标注
    • 2837.b 流并行通信 主题成员 分布式机器学习:系统、工程与实战 · PyTorch流水线并行 理解等级:未标注
  • 展开或收起下级: 2838 一前一后 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之基础架构 理解等级:未标注
    • 2838.a Profile分区 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之基础架构 理解等级:未标注
    • 2838.b 动态规划切层 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之基础架构 理解等级:未标注
    • 2838.c 模型转换 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之基础架构 理解等级:未标注
  • 展开或收起下级: 2839 Runtime职责 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑 理解等级:未标注
    • 2839.a 生产者消费者 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑 理解等级:未标注
    • 2839.b 权重版本治理 主题成员 分布式机器学习:系统、工程与实战 · PipeDream之动态逻辑 理解等级:未标注
  • 展开或收起下级: 2840 张量并行 主题成员 分布式机器学习:系统、工程与实战 · Megatron 理解等级:未标注
    • 2840.a 列行线性层 主题成员 分布式机器学习:系统、工程与实战 · Megatron 理解等级:未标注
    • 2840.b 并行组组合 主题成员 分布式机器学习:系统、工程与实战 · Megatron 理解等级:未标注
  • 展开或收起下级: 2841 RPC像本地调用 主题成员 分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行 理解等级:未标注
    • 2841.a 求导上下文 主题成员 分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行 理解等级:未标注
    • 2841.b GraphTask执行 主题成员 分布式机器学习:系统、工程与实战 · PyTorch如何实现模型并行 理解等级:未标注
  • 展开或收起下级: 2842 优化器分类 主题成员 分布式机器学习:系统、工程与实战 · 分布式优化器 理解等级:未标注
    • 2842.a 数据并行优化 主题成员 分布式机器学习:系统、工程与实战 · 分布式优化器 理解等级:未标注
    • 2842.b 本地子模型优化 主题成员 分布式机器学习:系统、工程与实战 · 分布式优化器 理解等级:未标注
  • 2846 跨设备归约 主题成员 分布式机器学习:系统、工程与实战 · MirroredStrategy 理解等级:未标注
  • 5442 独立SGD副本末尾求均值 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:高级

来源书籍

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

分布式机器学习训练

比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。

80 张卡片 · 6 本书

主题索引

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书

主题索引

模型并行:流水线、张量与RPC

比较流水线并行、张量切分和基于 RPC 的模型并行在切分方式、显存、调度与权重一致性上的做法和代价。

20 张卡片 · 1 本书

主题索引

集合通信与梯度同步

比较点对点与集合通信、All-Reduce 与 Ring 拓扑、梯度分桶和后台协调等梯度同步机制的性能与容错取舍。

13 张卡片 · 1 本书