主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
四象限结论:工程实践(高浓度 + 低稳定性)
评级理由:本书围绕 Fourinone 展开,讨论分布式并行计算、协调、缓存、消息队列、文件系统和作业调度的实现方案。第2章对 master-slave 的职责过载、消息中枢与网状直接通信、链式并行流程、故障分层处理等有明确设计取舍;第3章围绕协调节点、事件监听、权限、Paxos 和分布式锁提炼机制;第4章讨论一致性哈希、日期 key 取模和分布式 Session 的扩容设计;第7章把任务队列、资源池、调度器、执行器和资源隔离组合成调度平台。这些内容信息浓度较高。
稳定性偏低的原因是,书中大量实现、API、配置和产品对比绑定 Fourinone 1.x 及 2014 年前后的 Hadoop、Storm、Spark、Mesos、Yarn 生态,许多实践细节随技术栈演进已经过时;但其背后的分布式设计权衡仍有迁移价值,因此不归入“速查手册”,而归为“工程实践”。
| 章节号 | 章节标题 | 精读/略读 | 状态(pending/done) | 卡片数 |
|---|---|---|---|---|
| 1 | 概述 | 略读 | done | 0 |
| 2 | 分布式并行计算的原理与实践 | 精读 | done | 9 |
| 3 | 分布式协调的实现 | 精读 | done | 6 |
| 4 | 分布式缓存的实现 | 精读 | done | 6 |
| 5 | 消息队列的实现 | 精读 | done | 3 |
| 6 | 分布式文件系统的实现 | 精读 | done | 5 |
| 7 | 分布式作业调度平台的实现 | 精读 | done | 4 |
notes/大规模分布式系统架构与设计实战 (大数据技术丛书)/cards/从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
主题索引
比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
比较 REP、CCP、CRP 的组件聚合张力,以及无依赖环、稳定依赖、稳定抽象原则与 I/A 指标对组件耦合的度量。
主题索引
线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
比较远程方法调用中代理、消息定界、编解码与传输分层,以及泛化调用如何复用框架链路。
主题索引
比较延迟执行、异常展开、恢复与返回值错误等机制的语义边界。
主题索引
同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。
主题索引
消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。
主题索引
比较类继承、原型继承、函数化构造与组合在代码复用上的取舍。
主题索引
谁在消费:消费组与队列的区别、竞争消费者、分区分配策略、再均衡的四阶段与代价、并行度受分区数约束。