主题索引
大数据计算范式
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
来源书籍
7/7
作者:王静逸
出版社:北京华章图文信息有限公司
出版时间:2020-11-30
Skill 版本:未记录
类别:分布式人工智能与多智能体类(2026-09-27 按授权新建,见 category-checklists.md)
本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。书中 TensorFlow 1.x、SintolRTOS 等实现细节以出版时(2020 年)为准。
四象限评级:工程实践(高信息浓度 + 低稳定性)
评级理由: 本书围绕分布式人工智能、群体智能、RTI/RTOS、TensorFlow 分布式图计算、分布式机器学习、强化学习和多智能体博弈展开,很多章节不只是列操作步骤,而是在解释任务拆分、同步/异步、数据并行、模型并行、集中训练分布式执行、博弈收敛等设计理由,因此信息浓度较高。与此同时,书中大量案例绑定 TensorFlow 1.x 式 Session/ClusterSpec、Windows/Spyder 安装流程、SintolRTOS SDK、UnrealRTOS、Pysc2 和具体 GitHub 工程,且第9章以仿真环境操作为主,工具时效性明显,所以稳定性低于纯算法或分布式系统原理书。综合判断为“工程实践”。
精读章节优先选择能迁移到分布式系统设计、机器学习工程、多智能体强化学习和技术职业判断中的内容;略读章节主要是通用背景、环境安装、代码清单或强绑定特定框架版本的实操流程。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 | 理由 |
|---|---|---|---|---|---|
| 01 | 分布式系统简介 | 精读 | done | 5 | 介绍分布式层次、并行计算、边缘计算、联邦学习和多智能体,是全书的概念底座。 |
| 02 | 分布式智能计算基础 | 精读 | done | 5 | CAP、同步/异步、RTI、任务分发、HLA/MAS 与 MDP 具有较强可迁移性。 |
| 03 | TensorFlow框架介绍 | 精读 | done | 2 | 环境与 API 内容偏旧,但计算图、前后端分工、数据并行/模型并行值得沉淀。 |
| 04 | 分布式智能计算核心 | 精读 | done | 4 | SintolRTOS 虽是特定框架,但协议抽象、节点分层、模型文件和代理机制有架构参考价值。 |
| 05 | 大数据与存储系统框架 | 略读 | done | 0 | 多为大数据概念、Hadoop/Spark 环境与组合流程,重复性和工具绑定较强。 |
| 06 | 机器学习算法与分布式改进 | 精读 | done | 5 | 讨论数据/模型并行、分布式 SGD、维数灾难和优化器,适合形成工程判断卡。 |
| 07 | 生成网络和强化学习 | 精读 | done | 5 | GAN、MADDPG、Q-learning、Sarsa、DQN 是群体智能算法主干。 |
| 08 | 对抗和群体智能博弈 | 精读 | done | 5 | 博弈矩阵、WoLF、学习自动机、QMix 与群体智能研究方向信息密度高。 |
| 09 | 体验群体智能对抗仿真环境 | 略读 | done | 0 | 主要是星际争霸2/Pysc2 环境安装、导入、启动和回放步骤,时效性低。 |
| 10 | 开发群体智能仿真对抗系统 | 精读 | done | 3 | 虽有大量工程代码,但 MADDPG+RTOS、状态机+RL、数据平台结构有可迁移价值。 |
| 11 | 后记 | 精读 | done | 1 | 从职业波动和长期学习角度提炼计算机从业者的能力建设原则。 |
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 对比同步与异步数据并行 | 行为实验 | done | 第3、6章 | 吞吐与收敛对照表及曲线 |
| 2 | 读QMix混合网络实现 | 实现深读 | done | 第8章 | mixer 结构图与单调约束说明 |
| 必答维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 分布式计算体系 | 已覆盖 | [[三层分布式]]、[[并行三条件]]、[[云边互补]]、[[RTI是HLA总线]]、[[MAS自治协作]]、[[DDS以主题分发数据]] |
| 一致性与时序 | 已覆盖 | [[分区期的应对策略]]、[[逻辑时钟排序]] |
| 分布式训练并行方式 | 已覆盖 | [[数据并行与模型并行]]、[[分布式学习三瓶颈]]、[[数据切分保持同分布]]、[[模型并行要传中间值]]、[[异步SGD用权重插值]]、[[联邦学习流程]] |
| 强化学习决策基础 | 已覆盖 | [[MDP决策骨架]]、[[Q表的局限]]、[[Sarsa在策略更新]]、[[DQN目标网络]] |
| 多智能体协作训练 | 已覆盖 | [[MADDPG集中训练]]、[[协作需中央评判]]、[[QMix单调分解]]、[[Agent联盟]] |
| 博弈与均衡 | 已覆盖 | [[混合策略保证有解]]、[[WoLF赢慢输快]]、[[学习自动机只看自身]]、[[群智算法迭代框架]]、[[GAN博弈]] |
| 平台与工程落地 | 已覆盖 | [[多协议支撑群体智能]]、[[节点三层复用]]、[[模型文件先行]]、[[RTOS承载分布式训练]]、[[分层状态机加强化学习]] |
本书讲分布式系统基础与 HLA/DDS/MAS 协作体系、TensorFlow 计算图与并行方式、SintolRTOS 平台、分布式机器学习改进、GAN 与强化学习、多智能体博弈和群体智能仿真系统;卡片复用架构风格、一致性、逻辑时钟、组件连接器、边缘计算、机器学习基础、架构师成长等既有主题,并新建“强化学习与多智能体博弈”“分布式机器学习训练”两个主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 三层分布式 | 已复用 | notes/_topics/architecture-styles.md、notes/_topics/internet-architecture-template.md |
| 并行三条件 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 云边互补 | 已复用 | notes/_topics/iot-edge-computing.md |
| Agent联盟 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| 联邦学习流程 | 已创建 | notes/_topics/distributed-ml-training.md、notes/_topics/data-ethics-privacy.md |
| 分区期的应对策略 | 已复用 | notes/_topics/consistency-models.md |
| 逻辑时钟排序 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| RTI是HLA总线 | 已复用 | notes/_topics/components-connectors.md |
| MAS自治协作 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| MDP决策骨架 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| 计算图前后端分工 | 已创建 | notes/_topics/distributed-ml-training.md |
| 数据并行与模型并行 | 已创建 | notes/_topics/distributed-ml-training.md |
| 多协议支撑群体智能 | 已复用 | notes/_topics/components-connectors.md |
| DDS以主题分发数据 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 节点三层复用 | 已复用 | notes/_topics/components-connectors.md |
| 模型文件先行 | 已复用 | notes/_topics/model-implementation-separation.md |
| 分布式学习三瓶颈 | 已创建 | notes/_topics/distributed-ml-training.md |
| 数据切分保持同分布 | 已创建 | notes/_topics/distributed-ml-training.md |
| 模型并行要传中间值 | 已创建 | notes/_topics/distributed-ml-training.md |
| 异步SGD用权重插值 | 已创建 | notes/_topics/distributed-ml-training.md |
| 维数灾难 | 已复用 | notes/_topics/ml-fundamentals.md |
| GAN博弈 | 已复用 | notes/_topics/ml-fundamentals.md |
| MADDPG集中训练 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| Q表的局限 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| Sarsa在策略更新 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| DQN目标网络 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| 群智算法迭代框架 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| 混合策略保证有解 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| WoLF赢慢输快 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| 学习自动机只看自身 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| QMix单调分解 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| 协作需中央评判 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| RTOS承载分布式训练 | 已创建 | notes/_topics/distributed-ml-training.md |
| 分层状态机加强化学习 | 已创建 | notes/_topics/reinforcement-learning-multiagent.md |
| 持续学习夯实基础 | 已复用 | notes/_topics/architect-growth.md、notes/_topics/programmer-thinking-models.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较架构风格作为预制约束集的价值与代价、风格与模式的区别,以及大泥球、镜像、回调等具体风格。
主题索引
比较架构师所需的判断力、执行力、创新力及其积累方式与成长阶段。
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
MDP 与 Q-learning/Sarsa/DQN 的单体学习路径,多智能体的集中训练分布式执行、联合动作分解、博弈矩阵与均衡学习,以及群体智能算法与强化学习在反馈来源上的差别。
主题索引
比较 MDP、Q-learning/Sarsa/DQN 等单体强化学习方法,以及多智能体的集中训练分布式执行、联合动作分解、博弈矩阵与均衡学习、群体智能算法。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
比较抽象、逻辑、结构化、批判、维度、分类、分治、简单、解耦、契约、模型、工具化、量化、数据与产品等思维模型如何指导软件设计、问题分析与团队协作。
主题索引
比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。
主题索引
比较逻辑模型与物理实现、值与变量、派生视图与存储结构之间的边界。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。
主题索引
CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。
主题索引
比较组件与模块的区别、连接器承担的工作、端口与绑定、不变量,以及架构不匹配的隐含假设。
主题索引
TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。
主题索引
监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。
主题索引
比较互联网业务常见的存储层、开发层、服务层、网络层、用户层与平台层技术及其选型要点。
主题索引
比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。
主题索引
移动与电池供电系统承担哪些物理约束,边缘节点与网关在采集、过滤、协议转换和本地决策上承担什么,设备侧算力与云端算力如何划分。
主题索引
参数服务器的三角色与两层结构,SSP 用陈旧度下界放宽同步、VAP 限制增量传播;参数分片、缓存新鲜度、拉推周期与二维切分怎样决定训练吞吐,以及宽松同步为什么不自动保证收敛。
主题索引
比较物联网平台的设备建模与接入、边缘节点就近处理的时延与带宽动因,以及云边协同中预处理、聚合与回传的分工。