主题对照

分布式机器学习训练

比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。

80 张卡片 · 6 本书

本层 80 张卡片 · 含下级覆盖 80 张卡片

本主题的卡片

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介

联邦学习流程

联邦学习面向手机等小型设备:设备先下载云端的共享模型,用本地历史数据训练更新;再把更新抽取成小文件,只将模型的差异部分加密上传;云端把各用户的差异模型平均后,改进共享模型。这样既聚合了大量边缘设备的数据和算力,原始数据又不必集中上传。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · TensorFlow框架介绍

计算图前后端分工

TensorFlow 把计算图的构造和执行分开:前端提供编程模型,由 Client 构造计算图、建立会话,并把图交给后端的分布式 Master;后端提供分布式运行环境,Master 把图的边和节点分解给不同的 Worker 执行,节点之间通过 send/recv 完成数据归并和同步。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · TensorFlow框架介绍

数据并行与模型并行

数据并行在多块 GPU 上运行同一个模型、各用不同的训练样本。同步方式下各 GPU 计算梯度后汇总求平均再更新参数;异步方式下各 GPU 各自更新、互不等待。模型并行则把同一个神经网络的不同部分放到不同设备上,例如输入层放在 GPU0、隐藏层放在 GPU1。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进

分布式学习三瓶颈

分布式机器学习要应对三类瓶颈:计算量过大,可用共享内存、多线程、多机并行计算;训练数据过大,可把数据划分给多个工作节点各自训练子模型,再整合成全局模型;模型规模过大,可把模型分配到不同节点训练,节点之间通信并协调整体工作。先判断瓶颈类型,再选并行方式。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进

数据切分保持同分布

按样本划分训练数据时,要让每个节点的局部数据保持原数据的分布。书中给出两种方法:随机采样,按各节点容量有放回地抽样分配;置乱切分,先打乱数据再按节点数切分,各节点训练一段时间后重新全局打乱、再次分配,以获得更好的随机采样效果。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进

模型并行要传中间值

模型并行把神经网络的神经元分给不同节点,每个节点存储自己负责的参数、权重和输入输出。训练时节点之间要不断传数据:前向传播时,下游节点依赖上游节点算出的隐含层激活值;反向传播时,上游节点依赖下游节点传回的误差值来更新权重。跨节点依赖越多,通信开销越大。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进

异步SGD用权重插值

异步 SGD 中各计算节点不必互相等待,把参数交给参数服务器后立即取回全局参数进入下一轮,因此会同时存在多个全局参数版本,直接用梯度更新全局参数对收敛影响很大。书中的改进是:节点先用梯度更新本地权重,再把本地权重发给参数服务器,服务器按系数 α 对本地与全局权重做线性插值来更新全局参数。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 开发群体智能仿真对抗系统

RTOS承载分布式训练

书中把 MADDPG 部署到分布式环境时,用 RTOSNode 做数据通道:各计算节点分别运行一个智能体的算法,通过 SDK 连到 RTOSNode 中控节点,在数据模型上与其他节点互通,为本地 Critic 提供其他智能体的策略和中央评价信息;另一个节点负责路由、加载群体智能模型(联邦、HLA、DDS 等)并计算中央评价网络。

查看卡片与原书出处

分布式机器学习实战 · 分布式深度学习实战

TensorFlow数据流图

TensorFlow 用数据流图描述计算:节点表示数学操作,边表示在节点之间流动的多维数组,即张量,这也是名字的由来。程序由计算图、张量和会话三部分组成。因为计算被表达成图,同一模型可以在 CPU、GPU、服务器或移动设备上执行;分布式运行时,还会按代价模型估算每个节点的输入输出大小和计算时间,据此把节点分配到不同设备。

查看卡片与原书出处

分布式机器学习实战 · 分布式深度学习实战

参数服务器分两层

MXNet 的 KVStore 是基于参数服务器的分布式键值存储,用于训练时交换参数。它采用两层通信结构:第一层处理单机内多个设备(如多块 GPU)之间的通信,第二层处理机器之间的网络通信;第一层可以先把设备间的数据合并,再与第二层通信,降低网络带宽消耗。机器内外带宽和延迟不同,所以可用不同一致性模型,如内层强一致、外层弱一致,以减少同步开销。

查看卡片与原书出处

分布式机器学习实战 · Mahout分布式机器学习平台

Mahout借MR运行

Mahout 是基于 Hadoop 最早的分布式机器学习平台。它本身只是一个 Java 算法库,分布式能力借用 Hadoop 的 MapReduce 引擎,并没有另外实现一套分布式计算框架。它的算法丰富、非常稳定;迭代型算法的性能可能比 Spark 稍差,但对超大训练数据集更稳定,有些 Spark 没有的算法它也有,两者可以互补。

查看卡片与原书出处

分布式机器学习实战 · Mahout分布式机器学习平台

用脚本参数跑分布式

Mahout 的分布式算法可以不写 Java 代码,直接通过 Shell 脚本给算法入口类传参数,提交到 Hadoop 上运行;很多算法还能用参数切换为本地单机运行。这让不会编程的人也能做分布式训练,只要掌握算法的核心思想和对应参数。但前提仍是熟悉 Hadoop 的相关知识和命令,数据也要先按要求预处理,如文本需先向量化。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式机器学习

分布训练动因

分布式训练不是为了显得复杂,而是单机同时撞上数据量、参数量、训练时效和在线更新压力。只有把数据、模型或训练过程切开,才能把内存墙、计算墙和通信墙分别转化为可调度的系统问题。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式机器学习

三种并行

深度训练的并行可从三个维度切:数据并行切样本,追求计算吞吐;模型并行切网络结构,解决单设备装不下;流水线并行切网络层,让层间像流水一样接力。选型时先问瓶颈是数据、显存还是设备空闲。

查看卡片与原书出处

大数据日知录_架构与算法 · 第15章 机器学习:范型与架构

分布式ML瓶颈

分布式训练需同时处理跨机参数通信、进度不均与故障恢复。增加机器只缩短可并行的计算部分;若网络、同步和调度成本超过收益,甚至会慢于单机。因此先分清计算、通信和等待时间,再选择并行与同步方式,不能以机器数直接推断加速比。

查看卡片与原书出处

大数据日知录_架构与算法 · 第15章 机器学习:范型与架构

三种同步范型

严格同步在每轮设屏障,快任务等待慢任务;异步允许工作者独立推进并使用尚未包含全部最新更新的参数;部分同步为陈旧度设界,超过界限才等待。三者改变等待和信息新鲜度,收敛仍取决于具体算法、步长等条件,并非同步就自动正确、异步就必然更快。

查看卡片与原书出处

大数据日知录_架构与算法 · 第15章 机器学习:范型与架构

数据模型并行

数据并行切分训练样本,各工作者执行相同学习算法并融合参数更新;模型并行切分模型参数或计算层,各机器联合完成训练。前者主要解决数据规模,后者主要解决单机容纳不下模型等限制;同一训练系统也可把两者组合,代价是增加不同维度的通信。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式机器学习

同步宽松度

BSP、SSP、ASP体现的是一致性约束逐步放松:同步越严格,模型状态越清楚但慢节点拖累越大;越异步,吞吐越高但陈旧梯度更容易伤害收敛。选哪种协议,就是在收敛稳定性与系统效率之间取舍。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 参数服务器之PS-Lite

参数服务器

参数服务器把“参数存储与更新”提升成独立系统组件,让 Worker 专注计算梯度,Server 专注维护模型状态,Scheduler 管理集群。它像为迭代收敛工作负载定制的分布式内存数据库。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 参数服务器之PS-Lite

PS三角色

PS-Lite 的架构边界很清楚:Worker 计算并推拉键值梯度,Server 保存和更新参数,Scheduler 负责协调节点。这个三角色划分让训练逻辑、状态管理和集群治理分开演进。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 参数服务器之PS-Lite

Customer代理

Customer 是应用对象在通信系统里的代理:发送时追踪请求回复,接收时维护消息队列。这个设计把业务节点从底层收发状态里解放出来,也让同步等待、回调和消息分发有统一入口。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 参数服务器之PS-Lite

Van隔离通信

Van 的价值在于把网络通信从 Postoffice 的节点管理中隔离出来。上层只关心节点、Customer 和应用抽象,底层收发、绑定、连接、接收循环都由 Van 承担,系统才不会在业务类里散落通信细节。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DataParallel

DP主卡瓶颈

DataParallel 简单但有天然主卡瓶颈:输入、输出、损失和梯度都要围绕 GPU 0 聚集或分发。它适合快速利用单机多卡,却不适合追求高扩展性的严肃分布式训练。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DataParallel

DP复制流程

DP 的一次迭代是“分发数据、复制模型、并行前向、聚集输出、分发损失、反向归约、主卡更新”。它的易用性来自框架代管这些步骤,但性能问题也来自这些固定搬运路径。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构

DDP等价性

DDP 的正确性目标是让每个进程像独立训练同一个模型:起点相同,反向后梯度相同,优化器各自更新后状态仍相同。通信不是附加功能,而是维持数学等价性的条件。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · Horovod

Horovod包装器

Horovod 的 DistributedOptimizer 选择包装原生优化器,而不是重写训练框架。它让本地优化器照常算梯度,再把同步通信嵌入梯度处理流程,这是库级扩展比框架侵入更轻的原因。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式优化器

优化器分类

分布式优化器先按并行形态分类:数据并行优化器处理“每个副本都有全量参数”的同步问题,模型并行优化器处理“参数分散在不同节点”的归属和远程更新问题。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式优化器

数据并行优化

数据并行里优化器通常不需要理解分布式,因为每个副本最终拿到同样梯度。DP 把梯度归到主卡,DDP/Horovod 在反向或 step 前同步,本质都是让本地优化器继续可用。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式运行环境之静态架构

集群三层

TensorFlow 分布式从集群视角拆成 Cluster、Job、Task:集群定义整体训练目标,Job 聚合一类任务,Task 对应具体服务进程。清楚这三层,才不会把业务角色和进程实例混在一起。

查看卡片与原书出处

分布式机器学习:系统、工程与实战 · 分布式运行环境之静态架构

Master协调图

TensorFlow 的 Master 是计算图执行的调度中介:Client 构图,Master 裁剪和切分图,Worker 执行分片。这个设计把“我要算什么”和“在哪里算”分成两次决策。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1780 分布式ML瓶颈 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
    • 展开或收起下级: 1780.a 三种同步范型 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 1780.a.1 异步消除逐轮屏障 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 展开或收起下级: 1780.a.3 SSP规定更新可见下界 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 1780.a.3.a SSP以等待限制进度差 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 1780.a.4 陈旧度界不自动保收敛 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 1780.a.5 值界VAP限制未传播增量 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 展开或收起下级: 1780.a.6 SSPTable分离增量与推进 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 展开或收起下级: 1780.a.6.a 参数读取逐层检查新鲜度 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
    • 展开或收起下级: 1780.b 数据模型并行 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 展开或收起下级: 1780.b.1 MR迭代显式传递模型 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 1780.b.1.a 并行聚类要按样本加权 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 1780.b.2 训练服务可以分别部署 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 展开或收起下级: 1780.b.3 迭代缓存需稳定数据位置 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 1780.b.3.a Twister用消息网络传结果 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
    • 展开或收起下级: 1780.c 参数服务器 路径上下文 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
    • 1780.d RDD支撑迭代 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
  • 展开或收起下级: 1781 CTR稀疏学习 主题成员 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 1781.a 矩阵分解并行 主题成员 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 1781.b 倒排算相似 主题成员 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 1781.c 学习排序并行 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:高级
    • 展开或收起下级: 1781.d 深度模型并行 主题成员 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 展开或收起下级: 1781.e 逻辑回归把特征映为概率 路径上下文 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:中级
    • 1781.f 二维切分同时分样本与特征 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:中级
    • 1781.g 先归并内积再分列梯度 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:高级
    • 展开或收起下级: 1781.o 全量梯度齐备后推进批优化 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:高级
      • 展开或收起下级: 1781.o.1 参数分片执行向量操作 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:高级
    • 1781.p 细粒度数据调度减轻拖尾 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:中级
  • 展开或收起下级: 2580 数据源可插拔 路径上下文 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark API 理解等级:未标注
  • 展开或收起下级: 2791 三层分布式 路径上下文 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介 理解等级:未标注
    • 2791.d 联邦学习流程 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介 理解等级:未标注
  • 展开或收起下级: 2793 计算图前后端分工 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · TensorFlow框架介绍 理解等级:未标注
    • 2793.a 数据并行与模型并行 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · TensorFlow框架介绍 理解等级:未标注
  • 展开或收起下级: 2795 分布式学习三瓶颈 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进 理解等级:未标注
    • 2795.a 数据切分保持同分布 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进 理解等级:未标注
    • 2795.b 模型并行要传中间值 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进 理解等级:未标注
    • 2795.c 异步SGD用权重插值 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 机器学习算法与分布式改进 理解等级:未标注
  • 展开或收起下级: 2798 协作需中央评判 路径上下文 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 开发群体智能仿真对抗系统 理解等级:未标注
    • 2798.a RTOS承载分布式训练 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 开发群体智能仿真对抗系统 理解等级:未标注
  • 展开或收起下级: 2824 Hadoop三大核心 路径上下文 分布式机器学习实战 · 大数据基础 理解等级:未标注
    • 2824.e Spark擅长迭代计算 主题成员 分布式机器学习实战 · 大数据基础 理解等级:未标注
  • 展开或收起下级: 2825 Mahout借MR运行 主题成员 分布式机器学习实战 · Mahout分布式机器学习平台 理解等级:未标注
    • 2825.a 用脚本参数跑分布式 主题成员 分布式机器学习实战 · Mahout分布式机器学习平台 理解等级:未标注
  • 展开或收起下级: 2827 深度学习学表示 路径上下文 分布式机器学习实战 · 分布式深度学习实战 理解等级:未标注
    • 2827.a TensorFlow数据流图 主题成员 分布式机器学习实战 · 分布式深度学习实战 理解等级:未标注
    • 2827.b 参数服务器分两层 主题成员 分布式机器学习实战 · 分布式深度学习实战 理解等级:未标注
  • 展开或收起下级: 2829 分布训练动因 主题成员 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
    • 2829.a 三种并行 主题成员 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
    • 2829.b 同步宽松度 主题成员 分布式机器学习:系统、工程与实战 · 分布式机器学习 理解等级:未标注
  • 展开或收起下级: 2831 参数服务器 主题成员 分布式机器学习:系统、工程与实战 · 参数服务器之PS-Lite 理解等级:未标注
    • 2831.a PS三角色 主题成员 分布式机器学习:系统、工程与实战 · 参数服务器之PS-Lite 理解等级:未标注
    • 2831.b Customer代理 主题成员 分布式机器学习:系统、工程与实战 · 参数服务器之PS-Lite 理解等级:未标注
    • 2831.c Van隔离通信 主题成员 分布式机器学习:系统、工程与实战 · 参数服务器之PS-Lite 理解等级:未标注
  • 展开或收起下级: 2832 DP主卡瓶颈 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DataParallel 理解等级:未标注
    • 2832.a DP复制流程 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DataParallel 理解等级:未标注
  • 2833 DDP等价性 主题成员 分布式机器学习:系统、工程与实战 · PyTorch DDP的基础架构 理解等级:未标注
  • 2835 Horovod包装器 主题成员 分布式机器学习:系统、工程与实战 · Horovod 理解等级:未标注
  • 2836 流水线并行 主题成员 分布式机器学习:系统、工程与实战 · GPipe 理解等级:未标注
  • 展开或收起下级: 2840 张量并行 路径上下文 分布式机器学习:系统、工程与实战 · Megatron 理解等级:未标注
    • 2840.b 并行组组合 主题成员 分布式机器学习:系统、工程与实战 · Megatron 理解等级:未标注
  • 展开或收起下级: 2842 优化器分类 主题成员 分布式机器学习:系统、工程与实战 · 分布式优化器 理解等级:未标注
    • 2842.a 数据并行优化 主题成员 分布式机器学习:系统、工程与实战 · 分布式优化器 理解等级:未标注
  • 展开或收起下级: 2843 集群三层 主题成员 分布式机器学习:系统、工程与实战 · 分布式运行环境之静态架构 理解等级:未标注
    • 2843.a Master协调图 主题成员 分布式机器学习:系统、工程与实战 · 分布式运行环境之静态架构 理解等级:未标注
    • 2843.b Rendezvous通道 主题成员 分布式机器学习:系统、工程与实战 · 分布式运行环境之静态架构 理解等级:未标注
  • 展开或收起下级: 2844 Session角色 主题成员 分布式机器学习:系统、工程与实战 · 分布式运行环境之动态逻辑 理解等级:未标注
    • 2844.a 接收方拉取 主题成员 分布式机器学习:系统、工程与实战 · 分布式运行环境之动态逻辑 理解等级:未标注
  • 展开或收起下级: 2845 Strategy作用域 主题成员 分布式机器学习:系统、工程与实战 · 分布式策略基础 理解等级:未标注
    • 2845.a 分布式变量 主题成员 分布式机器学习:系统、工程与实战 · 分布式策略基础 理解等级:未标注
    • 2845.b 变量分片 主题成员 分布式机器学习:系统、工程与实战 · 分布式策略基础 理解等级:未标注
  • 展开或收起下级: 2846 跨设备归约 路径上下文 分布式机器学习:系统、工程与实战 · MirroredStrategy 理解等级:未标注
    • 2846.a 镜像线程执行 主题成员 分布式机器学习:系统、工程与实战 · MirroredStrategy 理解等级:未标注
    • 2846.b 远程Eager执行 主题成员 分布式机器学习:系统、工程与实战 · MirroredStrategy 理解等级:未标注
  • 展开或收起下级: 2847 协调器调度 主题成员 分布式机器学习:系统、工程与实战 · ParameterServerStrategy 理解等级:未标注
    • 2847.a Closure任务封装 主题成员 分布式机器学习:系统、工程与实战 · ParameterServerStrategy 理解等级:未标注
    • 2847.b 失败重排 主题成员 分布式机器学习:系统、工程与实战 · ParameterServerStrategy 理解等级:未标注
  • 5439 MLBase搜索学习执行计划 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
  • 5442 独立SGD副本末尾求均值 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:高级
  • 展开或收起下级: 5443 社交图对称化决定相似关系 路径上下文 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:中级
    • 5443.c 按阶段混合MR与MPI 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:中级

未编号或编号待整理

来源书籍

来源书籍

分布式机器学习实战

大数据与机器学习平台工程类

Skill 版本:v8

书籍类型:工程实践

清单覆盖 7/7

34 张卡片

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

训练并行策略

数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。

58 张卡片 · 3 本书

主题索引

训练运行时与迭代引擎

TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。

33 张卡片 · 7 本书

主题索引

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书