主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
2/6
Skill 版本:v7
作者:彭渊(以原 EPUB 的 OPF 元数据及书名页为准;历史记录“季晓明”已更正)
四象限结论:工程实践(高信息浓度 + 低稳定性)
评级理由:
全书以作者自研的开源框架Fourinone为教学载体,逐一拆解分布式并行计算、分布式协调、分布式缓存、消息队列、分布式文件系统、分布式作业调度六大模块各自”为什么这样设计”。第2章从最朴素的master-slave结构讲起,指出它把”任务调度”和”协同一致性”两种职责耦合在同一个master角色上是根本缺陷,进而演化出”包工头-职介所-手工仓库-工人”四角色分离模型,并对比消息中枢模式(松耦合但易成瓶颈单点)与网状直接交互模式(工头-工人、工人-工人两套独立API,从设计上规避死锁)的取舍;第3章讨论协调服务的节点模型、事件监听、权限机制,并专门用两节篇幅分析自己的实现与ZooKeeper、Paxos算法的区别(不是简单照搬,而是针对具体场景做了取舍);第4章围绕一致性哈希算法的原理、在数据服务器故障/集群扩容/负载不均三种场景下的改进方案展开;第7章把资源隔离、调度算法组合成一个调度平台,并与MPI、Mesos、YARN等同类系统做定位对比。这些内容大多是先摆出朴素方案的具体缺陷,再逐步推导出改进设计,信息浓度较高。
稳定性偏低的原因:全书大量实现细节、API命名、配置项和产品对比都绑定在Fourinone框架自身(一个2014年前后开源、代码量控制在1万行以内的教学性质框架)以及彼时的Hadoop 1.0/Storm/Spark/Mesos/YARN技术栈快照上,书中引用的部分产品版本判断(如”Hadoop的Map/Reduce 2.0已经完全重构成资源调度框架”)和具体API已经明显过时,Fourinone框架本身也未成为主流生产级系统。但书中反复出现的设计推导过程——”朴素方案是什么、它的具体缺陷在哪、改进后的方案怎么解决这些缺陷”——这类分布式系统设计权衡本身仍有迁移价值,因此定为工程实践而非速查手册。
类别:分布式系统类(命中category-checklists.md已定义类别,判定依据:全书围绕分布式并行计算、协调一致性、缓存路由、容错等分布式系统核心问题展开)
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| spine 04 | 前言 | done | 0 |
| spine 05 | 第1章 概述 | done | 0 |
| spine 06 | 1.1 分布式计算、并行计算、云计算概述 | done | 3 |
| spine 07 | 1.2 分布式产品Hadoop、ZooKeeper、HBase概述 | done | 4 |
| spine 08 | 1.3 Fourinone的产生背景 | done | 1 |
| spine 09 | 第2章 分布式并行计算的原理与实践 | done | 0 |
| spine 10 | 2.1 分布式并行计算模式 | done | 1 |
| spine 11 | 2.1.2 “包工头-职介所-手工仓库-工人”模式 | done | 0 |
| spine 12 | 2.1.3 基于消息中枢的计算模式 | done | 1 |
| spine 13 | 2.1.4 基于网状直接交互的计算模式 | done | 1 |
| spine 14 | 2.1.5 并行结合串行模式 | done | 1 |
| spine 15 | 2.1.6 包工头内部批量多阶段处理模式 | done | 0 |
| spine 16 | 2.1.7 计算集群模式和兼容遗留计算系统 | done | 1 |
| spine 17 | 2.1.8 工人计算的服务化模式 | done | 2 |
| spine 18 | 2.2 跟Hadoop的区别 | done | 1 |
| spine 19 | 2.3 关于分布式的一些概念与产品 | done | 9 |
| spine 20 | 2.4 配置文件和核心API介绍 | done | 0 |
| spine 21 | 2.5 实践与应用 | done | 1 |
| spine 22 | 2.5.2 工头工人计算模式更完整的示例 | done | 1 |
| spine 23 | 2.5.3 工人合并互相say hello的示例 | done | 1 |
| spine 24 | 2.5.4 实现Hadoop经典实例Word Count | done | 2 |
| spine 25 | 2.5.5 分布式多机部署的示例 | done | 1 |
| spine 26 | 2.5.6 分布式计算自动部署的示例 | done | 1 |
| spine 27 | 2.5.7 计算过程中的故障和容灾处理 | done | 3 |
| spine 28 | 2.5.8 计算过程中的相关时间属性设置 | done | 2 |
| spine 29 | 2.5.9 如何在一台计算机上一次性启动多个进程 | done | 3 |
| spine 30 | 2.5.10 如何调用C/C++程序实现 | done | 1 |
| spine 31 | 2.5.11 如何中止工人计算和超时中止 | done | 2 |
| spine 32 | 2.5.12 使用并行计算大幅提升递归算法效率 | done | 3 |
| spine 33 | 2.5.13 使用并行计算求圆周率π | done | 2 |
| spine 34 | 2.5.14 从赌钱游戏看PageRank算法 | done | 3 |
| spine 35 | 2.5.15 使用并行计算实现上亿排序 | done | 0 |
| spine 36 | 2.5.16 工人服务化模式应用示例 | done | 0 |
| spine 37 | 2.6 实时流计算 | done | 2 |
| spine 38 | 第3章 分布式协调的实现 | done | 0 |
| spine 39 | 3.1 协调架构原理简介 | done | 1 |
| spine 40 | 3.2 核心API | done | 3 |
| spine 41 | 3.3 权限机制 | done | 1 |
| spine 42 | 3.4 相对于ZooKeeper的区别 | done | 1 |
| spine 43 | 3.5 与Paxos算法的区别 | done | 1 |
| spine 44 | 3.6 实践与应用 | done | 2 |
| spine 45 | 3.6.2 如何实现分布式锁 | done | 1 |
| spine 46 | 3.6.3 如何实现集群管理 | done | 0 |
| spine 47 | 3.6.4 多节点权限操作示例 | done | 0 |
| spine 48 | 3.6.5 领导者选举相关属性设置 | done | 1 |
| spine 49 | 第4章 分布式缓存的实现 | done | 0 |
| spine 50 | 4.1 小型网站或企业应用的缓存实现架构 | done | 1 |
| spine 51 | 4.2 大型分布式缓存系统实现过程 | done | 2 |
| spine 52 | 4.3 一致性哈希算法的原理、改进和实现 | done | 1 |
| spine 53 | 4.4 解决任意扩容的问题 | done | 1 |
| spine 54 | 4.5 解决扩容后数据均匀的问题 | done | 0 |
| spine 55 | 4.6 分布式Session的架构设计和实现 | done | 1 |
| spine 56 | 4.7 缓存容量的相关属性设置 | done | 1 |
| spine 57 | 4.8 缓存清空的相关属性设置 | done | 1 |
| spine 58 | 第5章 消息队列的实现 | done | 0 |
| spine 59 | 5.1 闲话中间件与MQ | done | 1 |
| spine 60 | 5.2 JMS的两种经典模式 | done | 2 |
| spine 61 | 5.3 如何实现发送接收的队列模式 | done | 1 |
| spine 62 | 5.4 如何实现主题订阅模式 | done | 1 |
| spine 63 | 第6章 分布式文件系统的实现 | done | 1 |
| spine 64 | 6.1 FTTP架构原理解析 | done | 1 |
| spine 65 | 6.2 搭建配置FttpAdapter环境 | done | 0 |
| spine 66 | 6.3 访问集群文件根目录 | done | 1 |
| spine 67 | 6.4 访问和操作远程文件 | done | 2 |
| spine 68 | 6.5 集群内文件复制和并行复制 | done | 2 |
| spine 69 | 6.6 读写远程文件 | done | 2 |
| spine 70 | 6.7 解析远程文件 | done | 1 |
| spine 71 | 6.8 并行读写远程文件 | done | 1 |
| spine 72 | 6.9 批量并行读写远程文件和事务补偿处理 | done | 1 |
| spine 73 | 6.10 如何进行整型读写 | done | 2 |
| spine 74 | 6.11 基于整型读写的上亿排序 | done | 1 |
| spine 75 | 第7章 分布式作业调度平台的实现 | done | 0 |
| spine 76 | 7.1 调度平台的设计与实现 | done | 1 |
| spine 77 | 7.2 资源隔离的实现 | done | 1 |
| spine 78 | 7.3 资源调度算法 | done | 1 |
| spine 79 | 7.4 其他作业调度平台简介 | done | 0 |
| spine 80 | 7.4.1 其他MPI作业资源调度技术 | done | 1 |
| spine 81 | 7.4.2 Mesos和Yarn简介 | done | 1 |
卡片数按每张历史卡引用的首个正文源文件暂归属;跨文件证据和取材完整性待 S2 全文复核。
| 章节 | 知识卡数 | 正文覆盖状态 |
|---|---|---|
| 前言 | 0 | done;仅写作背景,无独立候选 |
| 第1章 | 8 | done |
| 第2章 | 45 | done |
| 第3章 | 11 | done |
| 第4章 | 8 | done |
| 第5章 | 5 | done |
| 第6章 | 15 | done |
| 第7章 | 5 | done |
卡片数按 cards/ch01~ch07 文件前缀统计;正文单元和候选去向以 _coverage.md 为准。
| spine项 | 类型 | 排除理由 |
|---|---|---|
titlepage / titlepage.xhtml |
非正文 | 封面,仅封面图 |
id_1 / OEBPS/text00000.html |
非正文 | 书名页与出版信息,无正文 |
id_2 / OEBPS/text00001.html |
非正文 | 纯目录,正文位于后续 spine 项 |
id_81 / OEBPS/text00080.html |
非正文 | 光盘下载链接页,无实质正文 |
说明:78 个正文 spine 项已按原书重读并逐项记录候选去向;非正文排除维持 4 项。
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | Fourinone框架现状的证据验证 | 证据验证 | done | 全书/第3章 | Fourinone项目现状核验备忘录 |
| 2 | 谦让式选举与多数派协议在现代系统中的分层验证 | 证据验证 | done | 第3章 | etcd/Kubernetes双层选举机制对照笔记 |
| 3 | 一致性哈希与日期key取模的横向对照 | 横向学习 | done | 第4章 | 五维度算法对照表 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| Apache Hama | 第二章 | 作为 BSP 思想的实现示例出现;BSP 栅栏机制已成卡,未展开 Hama 自身的架构细节 |
| 微软Dryad | 第二章 | 提及作为DAG任务流调度平台的来源,核心DAG概念已并入相关卡片,未展开Dryad具体架构 |
| Google Chubby | 第三章 | 提及作为Google内部分布式协调实现、与ZooKeeper类似的系统,未展开Chubby具体架构 |
| 分布式锁实现示例(LockDemo,节点竞争排队方式) | 第三章 | 提及通过在共享domain下各自建node、轮询判断自己是否排在最前来实现分布式锁,属具体demo代码,未生成独立卡片 |
| 一致性哈希算法起源(MIT,1997年,解决因特网热点问题) | 第四章 | 提及一致性哈希算法的历史出处,核心原理已并入相关卡片,未展开原始论文内容 |
| Corba/DCOM/EJB中间件发展史 | 第五章 | 提及作为MQ流行之前的分布式中间件技术(Corba因两大阵营竞争而式微),未展开具体技术细节 |
| FTTP与FTP/HTTP的区别 | 第六章 | 提及FTP/HTTP均不支持获取和管理文件元数据、不适合做分布式文件系统,属背景说明,未生成独立卡片 |
| Cgroup各子系统(Blkio/Cpu/Cpuacct/Cpuset/Devices/Freezer/memory/net_cls/Ns) | 第七章 | 提及Linux Cgroup资源限制的具体子系统与命令,属操作细节,未逐条生卡 |
| Sigar(System Information Gatherer And Reporter) | 第七章 | 提及作为弥补Java系统监控不足的开源跨平台信息采集库,未展开具体API |
| PBS/Torque历史脉络(NASA Ames研究中心开发,OpenPBS/PBS Pro/Torque三分支) | 第七章 | 提及PBS批处理系统的历史渊源,核心局限已并入相关卡片,未展开具体版本演化 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| 《Pregel: A System for Large-Scale Graph Processing》(Google) | 论文 | 第二章 | 提及作为Hama/BSP思想的原始出处,未展开论文完整内容 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 一致性模型(强一致性/最终一致性/因果一致性的定义与取舍) | 未覆盖 | 经关键词检索确认”强一致性/最终一致性/因果一致性”全书0次出现;书中虽讨论了[[Paxos与谦让选主边界]]涉及的一致性协议实现,但未从”一致性模型”这一理论框架正面定义或对比三种模型,非漏判 |
| 共识算法(Paxos/Raft等如何达成节点间一致) | 已覆盖 | [[Paxos与谦让选主边界]]、[[ZooKeeper差异待核验]](领导者选举机制对比);实践点子卡[[谦让式选举与多数派协议在现代系统中的分层验证]]进一步用etcd/Kubernetes案例补充验证 |
| 容错假设(故障模型:崩溃/拜占庭,系统能容忍什么样的故障) | 未覆盖 | 全书容错设计均针对崩溃故障(如ParkServer主备切换、任务调度器分布式锁竞争主备),经关键词检索确认”拜占庭/Byzantine”全书0次出现;书中未显式讨论故障模型分类框架,非漏判 |
| 时钟与顺序问题(物理时钟/逻辑时钟/向量时钟的作用) | 部分覆盖 | [[日期键取模路由]]用物理时间戳(数据key生成时间 vs 服务器加入集群时间)做缓存路由依据,但这是应用层的绝对时间戳分片使用,并非用于判定分布式事件因果顺序的逻辑时钟/向量时钟机制;经关键词检索确认”逻辑时钟/向量时钟/Lamport clock”全书0次出现(仅”Lamport”作为Paxos理论提出者姓名出现),故整体判定为部分覆盖而非已覆盖 |
| 分区处理策略(网络分区下系统如何取舍,CAP权衡) | 未覆盖 | 经关键词检索确认”CAP”全书未被实质讨论;书中虽有ParkServer/任务调度器的主备切换设计,但未用CAP框架正面讨论”网络分区下选一致性还是选可用性”这一权衡,非漏判 |
| 复制与数据分布(数据分片/复制,一致性哈希等) | 已覆盖 | [[缓存路由与存储分工]]、[[一致性哈希路由边界]]、[[日期键取模路由]]、[[外部排序分类粒度]];实践点子卡[[一致性哈希与日期key取模的横向对照]]进一步系统对比两种分片路由算法 |
| 幂等与重试设计(分布式调用失败后的恢复机制) | 未覆盖 | 经关键词检索确认”幂等/idempotent”全书0次出现;书中虽有任务超时重试(如MPI调度器超时杀进程重新调度)、批量事务补偿处理([[批量读写补偿边界]])等重试/补偿机制,但均未从”幂等性”这一设计原则的角度加以讨论,非漏判 |
| 章节号 | 对应文件 |
|---|---|
| 前言 | OEBPS/text00002.html |
| 第1章 | OEBPS/text00003.html - text00006.html |
| 第2章 | OEBPS/text00007.html - text00035.html |
| 第3章 | OEBPS/text00036.html - text00046.html |
| 第4章 | OEBPS/text00047.html - text00055.html |
| 第5章 | OEBPS/text00056.html - text00060.html |
| 第6章 | OEBPS/text00061.html - text00072.html |
| 第7章 | OEBPS/text00073.html - text00079.html |
| 光盘内容(跳过) | OEBPS/text00080.html |
按 2026-09-29 的稳定知识卡标题逐张核对现有主题;只复用语义吻合的既有主题,未创建新主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 分布式计算拆分任务 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 并行计算需可拆分 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 云计算组合资源与服务 | 已复用 | notes/_topics/cloud-infrastructure-control-plane.md |
| HDFS分离元数据与数据块 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 协调服务从调度器解耦 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| HBase分层管理Region | 已复用 | notes/_topics/distributed-storage-replication.md |
| 观察节点变化触发通知 | 已复用 | notes/_topics/dynamic-reconfiguration.md |
| 任务切分不能破坏语义 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 调度与协调职责拆分 | 已复用 | notes/_topics/cloud-infrastructure-control-plane.md |
| 消息中枢与网状通信 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 链式与批量阶段划分 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 递归组合计算单元 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 分布式产品看机制 | 已复用 | notes/_topics/architecture-design-process.md |
| 数据规模决定搬运方向 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 服务依赖约定输入输出 | 已复用 | notes/_topics/components-connectors.md |
| 工人节点可转共享服务 | 已复用 | notes/_topics/scalability-dimensions.md |
| 基准比较要交代并发配置 | 已复用 | notes/_topics/time-space-efficiency.md |
| 离线计算先存后分析 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 实时计算按增量处理 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 迭代计算用前轮结果 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 流式处理由消息分发驱动 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 内存可减少迭代数据读写 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| MPI定义进程通信接口 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| BSP用栅栏推进阶段 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| DAG表达任务依赖 | 已复用 | notes/_topics/workflow-engine-bpmn.md |
| 异步任务用状态取结果 | 已复用 | notes/_topics/async-composition.md |
| 工人槽位完成后再派新任务 | 已复用 | notes/_topics/capacity-scheduling.md |
| 批量屏障与逐个续派的取舍 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 词频统计先局部后合并 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 分块计数需守住词边界 | 已复用 | notes/_topics/stream-processing-backpressure.md |
| 多机节点共用发现服务地址 | 已复用 | notes/_topics/service-discovery-gateway.md |
| 工头按需分发工人代码 | 已复用 | notes/_topics/cloud-infrastructure-control-plane.md |
| 系统故障与业务错误分层 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 故障发生时点决定发现路径 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 异常状态不等于任务恢复 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 心跳失联只是故障怀疑 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 心跳宽限期平衡误判与延迟 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 进程运行状态不等于服务就绪 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 杀死父进程不会清理子进程 | 已复用 | notes/_topics/resource-ownership-lifetime.md |
| 并行进程日志单独收集 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 跨语言边界按数据形态选择 | 已复用 | notes/_topics/remote-interface-distribution.md |
| 协作式中止依赖工人检查 | 已复用 | notes/_topics/high-availability-architecture.md |
| 超时处理先确定责任方 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 枚举与计数是不同任务 | 已复用 | notes/_topics/time-space-efficiency.md |
| 按前缀分割递归搜索树 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 迭代中间结果转移资源瓶颈 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 独立级数项可分段求和 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 慢收敛级数需较多项 | 已复用 | notes/_topics/time-space-efficiency.md |
| 链接按出度分配权重 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 基线项防止零值锁死 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 按链接消息或按页汇总 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 工人内嵌下级调度形成流拓扑 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 多作业用平台单业务用系统 | 已复用 | notes/_topics/capacity-scheduling.md |
| 域与节点协调模型 | 已复用 | notes/_topics/service-discovery-gateway.md |
| 域删除绕过节点权限 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| ZooKeeper差异待核验 | 已复用 | notes/_topics/service-discovery-gateway.md |
| Paxos与谦让选主边界 | 已复用 | notes/_topics/distributed-consensus.md |
| 心跳节点绑定创建进程存活 | 已复用 | notes/_topics/service-discovery-gateway.md |
| 旧值对照可辨认节点更新 | 已复用 | notes/_topics/dynamic-reconfiguration.md |
| 监听回调返回值控制订阅寿命 | 已复用 | notes/_topics/dynamic-reconfiguration.md |
| 配置变化可轮询或订阅 | 已复用 | notes/_topics/centralized-config-management.md |
| 配置服务切主要核验状态 | 已复用 | notes/_topics/centralized-config-management.md |
| 排队节点锁需故障清理 | 已复用 | notes/_topics/distributed-lock-id.md |
| 无主重试须明确退出边界 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 缓存路由与存储分工 | 已复用 | notes/_topics/caching-strategies.md |
| 一致性哈希路由边界 | 已复用 | notes/_topics/caching-strategies.md |
| 日期键取模路由 | 已复用 | notes/_topics/caching-strategies.md |
| Cookie键映射会话 | 已复用 | notes/_topics/session-state-management.md |
| 路由副本须同版配置 | 已复用 | notes/_topics/caching-strategies.md |
| 缓存键目录与数据分离 | 已复用 | notes/_topics/caching-strategies.md |
| 缓存写入须处理容量拒绝 | 已复用 | notes/_topics/caching-strategies.md |
| 过期时间与清理周期分离 | 已复用 | notes/_topics/caching-strategies.md |
| JMS队列与主题 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 协调原语实现消息模式 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 消息中间件隔离异构通信 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| JMS对象按连接与消息分工 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 订阅节点监听控制回调续订 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| FTTP元数据分散管理 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 批量读写补偿边界 | 已复用 | notes/_topics/distributed-transactions.md |
| 外部排序分类粒度 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 远程访问不等于分布式存储 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 集群节点与磁盘根目录分层发现 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 重命名复制后使用新适配器 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 删除延迟时先隔离待删文件 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 复制追加语义须核对 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 并行复制须逐项核验结果 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 远程读写范围由起点和长度确定 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 整型偏移与字节偏移不可混用 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 分块解析须保留跨块尾段 | 已复用 | notes/_topics/stream-processing-backpressure.md |
| 并行分段读写须隔离适配器 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 整数追加前须重取写入器 | 无需加入 | 本卡是特定示例或接口边界;现有主题的比较范围未覆盖其专门语义 |
| 整数容器性能比较须限定环境 | 已复用 | notes/_topics/time-space-efficiency.md |
| 调度架构与高可用边界 | 已复用 | notes/_topics/capacity-scheduling.md |
| 资源限制与监测控制 | 已复用 | notes/_topics/capacity-scheduling.md |
| 四种作业资源调度算法的递进演化 | 已复用 | notes/_topics/capacity-scheduling.md |
| Torque调度能力须逐项核验 | 已复用 | notes/_topics/capacity-scheduling.md |
| Mesos与YARN职责对照 | 已复用 | notes/_topics/capacity-scheduling.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较渐近复杂度、摊销分析、基准测试以及以抽象换空间、局部性等时间与空间效率的权衡。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
主题索引
比较工作流引擎的持久化、调度与版本化能力,BPMN/DMN 建模要素,模型与代码的分工,以及批处理、流处理、actor、有状态函数等替代方案的取舍。
主题索引
比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。
主题索引
日志该记什么、怎么分级与结构化,采集管道与存储成本,以及审计证据与安全事件还原。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
IaaS 云平台如何把异构资源封装成服务:API 与执行分离、调度与执行分离、数据库中介、驱动与插件适配后端、代理进入实例,以及以同样模式构建的数据、DNS、容器等上层服务。
主题索引
比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。
主题索引
何时才需要分布、远程接口为何要粗粒度,以及远程外观、数据传输对象与序列化格式的设计。
主题索引
有状态与无状态会话的取舍,以及会话状态存放在客户端、服务器或数据库的代价与清理。
主题索引
比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。
主题索引
同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。
主题索引
消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。
主题索引
批处理、actor 模型、有状态函数、代码编排、编舞与服务编排在同一件事上的差别:长期运行与等待、状态归属、可观察性、改流程要不要重新部署,以及低代码与 RPA 各自的能力边界。
主题索引
比较以MAPE-K闭环为代表的运行时自适应机制,以及集中式与分布式重配置在协调、自治和规划上的取舍。
主题索引
比较组件与模块的区别、连接器承担的工作、端口与绑定、不变量,以及架构不匹配的隐含假设。
主题索引
TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。
主题索引
以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。
主题索引
从全量重算转向增量维护:变化怎样传播、结果缓存与复用条件、物化视图的维护成本、Percolator 式快照与提交、观察通知与传播阈值,以及省计算为什么不等于省延迟。