主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
全书分四部分(概述、高可用、高并发、案例实战)共21章,围绕"亿级流量网站怎么扛住"这个核心问题反复展开为什么要拆分、隔离、限流、降级、缓存、连接池化、异步化、数据闭环等设计决策,而非单纯罗列步骤。抽样精读第1章(交易型系统设计原则,用墨菲定律/康威定律/二八定律解释系统设计取舍)、第4章(限流详解,完整对比令牌桶与漏桶算法的机制差异及各自适用场景)、第16章(京东详情页架构三代,围绕"数据闭环/数据异构/数据聚合"讲清楚每一次架构升级要解决的具体痛点)后确认:信息浓度高——不是"点哪个按钮"式的操作手册,而是持续追问"为什么这样设计、这样设计解决了什么问题、代价是什么"。但稳定性明显偏低——书中大量内容直接绑定2016-2017年前后的具体工具版本与配置语法(Nginx `limit_conn`/`limit_req`模块的具体指令、Guava `RateLimiter`的Java代码示例、京东内部的JIMDB/Twemproxy/SSDB等基础设施选型),部分内容甚至具体到`ab`压测工具的输出日志逐行解读,这类内容会随工具迭代快速过时。此外第18/20/21三章("使用OpenResty开发XXX"系列)明显偏操作教程/项目搭建步骤,不是全书主流形态,但也拉低了这几章的稳定性。综合判定为"工程实践"而非"经典原理"。 **内容说明**:本书此前已有一版旧笔记(无"Skill 版本"声明,判定为v7之前的版本),已按v7重跑规则用`git rm -rq`整体清空重建;本次评级结论、章节筛选、卡片内容均从零重新生成。EPUB内部结构较特殊:全书正文仅打包进4个巨大的`text0000N.html`文件(每个约230-280KB),不是传统的每章一个spine文件,`toc.ncx`用`filepos`锚点定位412个导航项(21个顶层章节+大量二至四级小节),已确认无重复"第1章"起始点,是单本完整的书(张开涛著),非合集。 **提取脚本**:`notes/亿级流量网站架构核心技术/_extract.py`(已随笔记一起提交到git,`_epub-src/EPUB/`为配套解压后的EPUB内容,同样已提交) (用法:`python3 notes/亿级流量网站架构核心技术/_extract.py <起始playOrder> <结束playOrder> <输出文件>`,playOrder取自`_epub-src/EPUB/toc.ncx`中`<navPoint playOrder="N">`;21个顶层章节的playOrder范围见下方章节筛选表"节点范围"列)
7/7
Skill 版本:v7
类别:系统架构类
本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。v8 修订:100 张卡标题压缩到 15 字内、非结构图卡正文压缩到 200 字内,摘录改为严格逐字,旧组件卡补版本语境。
四象限结论:工程实践(高信息浓度 × 低稳定性)
理由:全书分四部分(概述、高可用、高并发、案例实战)共21章,围绕”亿级流量网站怎么扛住”这个核心问题反复展开为什么要拆分、隔离、限流、降级、缓存、连接池化、异步化、数据闭环等设计决策,而非单纯罗列步骤。抽样精读第1章(交易型系统设计原则,用墨菲定律/康威定律/二八定律解释系统设计取舍)、第4章(限流详解,完整对比令牌桶与漏桶算法的机制差异及各自适用场景)、第16章(京东详情页架构三代,围绕”数据闭环/数据异构/数据聚合”讲清楚每一次架构升级要解决的具体痛点)后确认:信息浓度高——不是”点哪个按钮”式的操作手册,而是持续追问”为什么这样设计、这样设计解决了什么问题、代价是什么”。但稳定性明显偏低——书中大量内容直接绑定2016-2017年前后的具体工具版本与配置语法(Nginx limit_conn/limit_req模块的具体指令、Guava RateLimiter的Java代码示例、京东内部的JIMDB/Twemproxy/SSDB等基础设施选型),部分内容甚至具体到ab压测工具的输出日志逐行解读,这类内容会随工具迭代快速过时。此外第18/20/21三章(”使用OpenResty开发XXX”系列)明显偏操作教程/项目搭建步骤,不是全书主流形态,但也拉低了这几章的稳定性。综合判定为”工程实践”而非”经典原理”。
内容说明:本书此前已有一版旧笔记(无”Skill 版本”声明,判定为v7之前的版本),已按v7重跑规则用git rm -rq整体清空重建;本次评级结论、章节筛选、卡片内容均从零重新生成。EPUB内部结构较特殊:全书正文仅打包进4个巨大的text0000N.html文件(每个约230-280KB),不是传统的每章一个spine文件,toc.ncx用filepos锚点定位412个导航项(21个顶层章节+大量二至四级小节),已确认无重复”第1章”起始点,是单本完整的书(张开涛著),非合集。
提取脚本:notes/亿级流量网站架构核心技术/_extract.py(已随笔记一起提交到git,_epub-src/EPUB/为配套解压后的EPUB内容,同样已提交)
(用法:python3 notes/亿级流量网站架构核心技术/_extract.py <起始playOrder> <结束playOrder> <输出文件>,playOrder取自_epub-src/EPUB/toc.ncx中<navPoint playOrder="N">;21个顶层章节的playOrder范围见下方章节筛选表”节点范围”列)
全书21章信息浓度整体偏高(”为什么”论证充分),按”硬性优先”规则全部标记精读;第18/20/21章虽整体偏操作教程风格(含大量项目搭建/配置文件步骤),但各自开篇的架构模式分类小节(如18.2”基于OpenResty的常用架构模式”)仍有实质性原理讲解,故仍标记精读,阶段三取材时对纯步骤类小节按信息浓度过滤、不强制生卡。
| 章节号 | 章节标题 | playOrder范围 | 精读/略读 | 状态(pending/done) | 卡片数 |
|---|---|---|---|---|---|
| 1 | 交易型系统设计的一些原则 | 17-40 | 精读 | done | 8 |
| 2 | 负载均衡与反向代理 | 42-61 | 精读 | done | 4 |
| 3 | 隔离术 | 62-80 | 精读 | done | 6 |
| 4 | 限流详解 | 81-100 | 精读 | done | 4 |
| 5 | 降级特技 | 102-121 | 精读 | done | 5 |
| 6 | 超时与重试机制 | 122-134 | 精读 | done | 4 |
| 7 | 回滚机制 | 135-140 | 精读 | done | 3 |
| 8 | 压测与预案 | 141-147 | 精读 | done | 4 |
| 9 | 应用级缓存 | 148-172 | 精读 | done | 6 |
| 10 | HTTP缓存 | 173-197 | 精读 | done | 5 |
| 11 | 多级缓存 | 198-215 | 精读 | done | 7 |
| 12 | 连接池线程池详解 | 216-229 | 精读 | done | 6 |
| 13 | 异步并发实战 | 230-237 | 精读 | done | 4 |
| 14 | 如何扩容 | 238-257 | 精读 | done | 9 |
| 15 | 队列术 | 258-281 | 精读 | done | 8 |
| 16 | 构建需求响应式亿级商品详情页 | 282-316 | 精读 | done | 4 |
| 17 | 京东商品详情页服务闭环实践 | 317-336 | 精读 | done | 6 |
| 18 | 使用OpenResty开发高性能Web应用 | 337-362 | 精读 | done | 2 |
| 19 | 应用数据静态化架构高性能单页Web应用 | 363-370 | 精读 | done | 3 |
| 20 | 使用OpenResty开发Web服务 | 371-385 | 精读 | done | 1 |
| 21 | 使用OpenResty开发商品详情页 | 386-411 | 精读 | done | 1 |
(前置内容:封面/书名页/内容简介/版权页/书评/序1-8/前言/目录/第N部分分隔页,playOrder 1-16及各部分标题页,均为非正文内容,不进入精读/略读表,不生卡)
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | OpenResty接入网关:从手写Lua到插件化网关平台的演进核验 | 证据验证 | done | 第18/20/21章 | 已通过WebSearch核验OpenResty持续活跃维护,且Apache APISIX/Kong等基于同一内核的开源网关平台已成为接入网关领域主流选择,产出书中能力清单与平台化插件的对照框架,见ideas/idea-001-OpenResty接入网关从手写Lua到插件化网关平台的演进核验.md |
| 2 | Canal源码与官方文档实现深读:验证”伪装成slave”的binlog订阅机制 | 实现深读 | done | 第15章 | 已通过WebSearch核验alibaba/canal仓库存在且持续活跃维护,官方Wiki对工作原理的描述与书中结论一致,制定了协议层面的详细阅读计划,见ideas/idea-002-Canal源码与官方文档实现深读验证伪装成slave的binlog订阅机制.md |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 消息队列的解耦/异步/削峰能力、大流量缓冲两种设计(Redis扣减库存+Worker同步、订单Redis+队列表+同步Worker)、数据校对 | 1 | 1.1.4节内容,属于消息队列在交易场景下的初步展开,本章未深入讲消息队列本身机制,留待后续章节(如涉及队列/异步的第13、15章)出现更系统讲解时再关联 |
| 数据异构与数据闭环三步法(数据异构→数据聚合→前端展示)、Hash Tag机制 | 1 | 1.1.5节内容,是第16-17章”构建需求响应式亿级商品详情页”“京东商品详情页服务闭环实践”两章数据闭环案例的方法论预告,留待精读那两章时再展开生卡,避免重复 |
| 缓存银弹六层缓存体系(浏览器端/APP客户端/CDN/接入层/应用层/分布式缓存)具体展开 | 1 | 1.1.6节内容,是第9-11章”应用级缓存”“HTTP缓存”“多级缓存”的预告性总览,留待那三章精读时再展开生卡 |
| 并发化:依赖关系图并行获取数据提升性能(60ms→30ms→25ms示例) | 1 | 1.1.7节内容,是第13章”异步并发实战”的预告,留待该章精读时再展开生卡 |
| 降级四种设计思路(开关集中化管理/可降级多级读服务/开关前置化/业务降级) | 1 | 1.2.1节内容,是第5章”降级特技”的预告,留待该章精读时再展开生卡 |
| 限流的目的与基本原则(限制流量穿透到后端薄弱应用层) | 1 | 1.2.2节内容,是第4章”限流详解”的预告,第4章将有完整的令牌桶/漏桶算法及应用级/分布式/接入层限流讲解,留待该章生卡 |
| 可回滚设计(版本化实现可审计可追溯可回滚,涵盖事务/代码库/部署版本/数据版本/静态资源版本回滚) | 1 | 1.2.4节内容,是第7章”回滚机制”的预告,留待该章精读时再展开生卡 |
| 大Value缓存的应对(多线程Memcached/压缩/拆分小Value客户端聚合)、单机全量缓存+主从架构的具体展开、分布式缓存分片取模与一致性哈希在故障恢复时的影响范围差异(核心机制已在ch02-003一致性哈希减少迁移中概括,此处为同一原理在缓存分片场景的复现)、Twemproxy/redis-cluster等具体分片中间件选型 | 11 | 属于具体技术组件选型和已在其他章节概括过的一致性哈希原理复现,核心可迁移方法论(多级缓存三层架构分工/过期与不过期缓存的选择依据/维度化缓存/轮询与一致性哈希动态切换/热点发现预先推送/更新缓存原子性四方案/缓存集群渐进式恢复)已在ch11-001至ch11-007中概括,未单独展开生卡 |
| Age/Vary/Via响应头的代理层用途、HttpClient 4.3客户端缓存的完整源码分析(CachingExec职责链/CacheKeyGenerator/CachedResponseSuitabilityChecker等)与请求响应处理流程、Nginx expires/if-modified-since/proxy_cache_path等完整指令配置语法、Nginx proxy_cache_lock解决Dog-pile effect的具体机制(与ch09-005 Read-Through解决同一问题的原理相同,仅实现层面不同)、Nginx清理缓存工具(ngx_cache_purge)、Heuristic Cache启发式缓存参数、10.6节其余经验点(只缓存200状态码/AB测试禁用浏览器缓存/响应头加源服务器IP便于排障/tmpfs与一致性哈希提升命中率) | 10 | 属于HttpClient源码走查和Nginx具体指令配置语法,强绑定2016年前后HttpClient 4.3/Nginx版本,核心可迁移方法论(Last-Modified与ETag验证机制/浏览器三种刷新行为区别/Cache-Control指令分组/HTTP请求路径多级缓存架构/内容未变但逻辑变了导致的过期失效)已在ch10-001至ch10-005中概括,未单独展开生卡 |
| 商品页数据四分类与差异化存储策略(与ch14-005数据异构两种类型/ch16-002数据闭环四步骤重复)、商品介绍第二屏懒加载理念、动态服务回源限流保护(与ch04限流详解重复)、技术选型清单(ActiveMQ/Dubbo/SSDB/ARDB/Twemproxy)、SSDB与Redis集群完整部署配置(主从/分片/启动测试)、动态服务Java项目搭建与核心代码、前端展示Lua完整实现代码、local cache/nginx proxy cache/GZIP压缩的完整优化配置 | 21 | 本章是全书篇幅最长的纯项目搭建教程(21.3-21.6),涵盖SSDB/Redis集群部署、Java动态服务开发、Nginx+Lua前端渲染的完整代码与配置,核心新增方法论(聚合页取最晚修改)已在ch21-001中概括,未单独展开生卡 |
| 单DB架构演进阶梯(直连→读写分离/缓存→本地Redis→Redis集群+Twemproxy,与ch14数据库拆分演进路径/ch17两种读服务部署拓扑重复)、降级开关基于极限值预设的具体展开(与ch04/ch05重复)、Redis+Twemproxy/MySQL+Atlas分库分表/Java+Tomcat安装/Nginx+Lua逻辑开发的完整项目搭建教程与配置代码 | 20 | 本章后半部分(20.3.3-20.3.8)是完整的OpenResty+Java项目搭建教程,架构演进部分与ch14/ch17已概括方法论高度重复,核心新增方法论(按访问模式分存储)已在ch20-001中概括,未单独展开生卡 |
| Redis Hash多版本存储的具体key/field设计细节、前端展示系统三级读取兜底链路(本机Redis→主Redis→CMS API直查MySQL,与ch11-001多级缓存三层架构分工精神重复)、控制系统版本降级与灰度发布的具体实现(与ch07-002部署版本回滚四种粒度重叠)、前后端开发人员通过CMS分离协作的模式、展示系统Lua渲染伪代码 | 19 | 属于具体存储字段设计和已在其他章节概括过的降级/灰度方法论重述,核心新增方法论(模板数据快照绑定/渐进发布的缓存保护窗口/异常处理的分层坦诚)已在ch19-001至ch19-003中概括,未单独展开生卡 |
| Nginx/Lua/ngx_lua基础介绍(单进程多工作进程模型/Lua协程/OpenResty生态组件)、OpenResty应用场景清单(Web应用/接入网关/防火墙/缓存服务器)、接入网关核心与业务层功能清单(与ch04/ch05/ch09-11/ch13/ch17已概括内容高度重复)、降级主动与被动的分类(主动降级请求量太大提前降/被动降级后端挂了超时被限流才降,对ch05已有降级分类的小幅补充)、整个18.3节项目搭建/启停脚本/配置文件/业务代码/模板/功能开发的完整OpenResty教程步骤、18.5节编码与DNS解析等具体问题排查经验 | 18 | 本章整体偏操作教程风格,18.1⁄18.2的架构模式内容与ch04/ch05/ch09-11/ch13/ch14/ch17已概括方法论高度重复,18.3节是完整的项目搭建步骤教程,核心新增方法论(单机闭环到分布式/核心Nginx与业务Nginx两层职责分工)已在ch18-001至ch18-002中概括,未单独展开生卡 |
| 数据异构闭环收益重述(与ch16-002数据闭环四步骤重复)、维度化缓存增量获取失效数据的具体命中率数据、缓存前置到接入层的具体展开、降级开关总开关与原子开关的粒度划分(与ch05降级特技系列有一定细化补充但核心思路重叠)、A/B测试与灰度发布流量切换的Nginx upstream分组实现(与ch07-002部署版本回滚四种粒度重复)、监控服务质量的具体指标(status/request_time/response_time)、限流的具体展开(IP限流/用户限流/ngx.sleep/假数据应对爬虫,与ch04限流详解系列重叠)、前端接口服务器端聚合的Lua协程并发实现细节(与ch13异步并发实战重叠)、服务隔离三粒度(应用内线程池/部署分组/拆应用隔离,与ch03隔离术重叠) | 17 | 属于与前面章节(ch03/ch04/ch05/ch07/ch13/ch16)方法论高度重复的具体案例复现和实现细节,核心新增方法论(统一服务层收拢入口/两种读服务部署拓扑/低命中率缓存兜底防雪崩的价值/域名区分用户请求消除协议依赖/业务逻辑前置的重启速度原因/前端逻辑后置的故障恢复速度原因)已在ch17-001至ch17-006中概括,未单独展开生卡 |
| Worker无状态化+任务多队列化设计(核心机制与ch15-006四队列设计重复)、异步化并发化的收益(与ch13四种调用模式的演进/请求缓存请求合并重复)、多级缓存化具体展开(与ch09Java缓存四层架构/ch10 HTTP缓存/ch11多级缓存重复)、降级开关与业务线程池隔离(与ch03 Servlet3异步化/ch05降级特技重复)、两种压测方案(与ch08压测仿真度阶梯重复)、SSD性能差与RAID配置排查、键值存储选型压测(LevelDB/RocksDB/LMDB读写混合抖动对比)、JIMDB数据同步磁盘瓶颈解决、主从切换从一主二从改一主三从、Twemproxy分片配置迁移、模板元数据存储优化(Lua渲染+JIMDB只存元数据)、微信接口调用量暴增的限流方案、Nginx Proxy Cache性能反降的内核参数调优、配送至服务网络抖动502的Twemproxy超时配置、双11机器流量过大将压缩下放业务层的具体案例、16.8节其他运维经验(灰度引流/无Cookie域名/非阻塞锁应对本地缓存失效等) | 16 | 属于与前15章方法论高度重复的复现内容,以及JD内部具体运维排障案例,强绑定2014-2016年前后的具体基础设施(JIMDB/Twemproxy/SSD型号),核心新增方法论(架构1.0到3.0演进/数据闭环四步骤/低成本防刷用短TTL缓存/预取依赖数据回传)已在ch16-001至ch16-004中概括,未单独展开生卡 |
| 请求队列/优先级队列/副本队列/镜像队列的简短提及、队列并发数需按实际场景设置(非线性增长)的提醒、Disruptor RingBuffer/WorkPool/WorkProcessor等组件的完整XML配置与源码实现、Canal Server/Client具体部署步骤(ZooKeeper/instance.properties配置/binlog三种记录模式row-statement-mixed)、otter/databus/kettle等数据同步工具选型细节、任务队列具体示例(线程池LinkedBlockingQueue/Disruptor RingBuffer的用户注册/删除SKU场景) | 15 | 属于具体队列类型简短提及、Disruptor/Canal框架完整部署配置和源码实现细节,核心可迁移方法论(队列适用场景判断依据/四大核心应用场景分类/缓冲队列让处理变平滑/双写与订阅binlog的一致性权衡/消息体推送拉取设计/四队列设计换可重放/下单缓冲表架构/Canal伪装slave实现无侵入数据异构)已在ch15-001至ch15-008中概括,未单独展开生卡 |
| 硬件垂直扩容具体细节(CPU/内存/HDD换SSD/RAID裸盘/万兆网卡)、分布式事务五种最终一致性手段(事务表/消息队列/补偿机制/TCC/Sagas,核心内容与ch07-001跨系统改用最终一致完全重复,本书内部重述)、购物车双写架构与Redis主从复制缓冲区机制的具体实现、sharding-jdbc具体配置代码(分库分表算法表达式/事务管理器/柔性事务最大努力送达)、Elastic-Job-Lite具体配置参数(ZK注册中心/Simple与Dataflow任务类型/sharding-item-parameters等)、京东一元夺宝取模+分区组合案例细节 | 14 | 属于具体硬件参数、sharding-jdbc/Elastic-Job-Lite框架配置代码,以及与ch07-001重复的分布式事务方法论重述,核心可迁移方法论(扩容三级路径/应用拆分演进/数据库拆分演进/取模与分区权衡/数据异构两种类型/中间件与应用层分库分表取舍/写后读一致性自动路由/任务系统四种选择/分布式任务分片动态扩缩容)已在ch14-001至ch14-009中概括,未单独展开生卡 |
| CompletableFuture三种编排场景的具体代码实现、Servlet 3+CompletableFuture异步Web服务实现的具体代码、Hystrix Collapser具体配置参数(collapserKey/maxRequestsInBatch/timerDelayInMilliseconds/scope/shardRequests)与HashTag分片机制细节 | 13 | 属于CompletableFuture/Hystrix Collapser具体API代码实现,核心可迁移方法论(真正的异步是IO未就绪时让出CPU/异步并发两种收益来源/四种调用模式的演进/请求缓存与请求合并)已在ch13-001至ch13-004中概括,未单独展开生卡 |
| DBCP2具体参数配置(initialSize/minIdle/maxIdle/maxWaitMillis等)与验证连接有效性的三种方式细节、HttpClient连接复用判定条件源码分析(Transfer-Encoding/Content-Length/Connection头判断)、HttpClient 3.x/4.x锁机制性能对比数据、HttpClient连接池问题排查案例(库存项目1500万并发/天的具体故障分析)、Java ExecutorService五种创建方式的具体API(newSingleThreadExecutor/newFixedThreadPool/newCachedThreadPool/newWorkStealingPool等)、ThreadPoolExecutor四种拒绝策略具体行为(Abort/Discard/DiscardOldest/CallerRuns)、Tomcat Executor共享线程池配置方式细节(namePrefix/prestartminSpareThreads等) | 12 | 属于具体连接池/线程池框架的API配置参数和源码分析,强绑定DBCP2/HttpClient 3.x-4.x/Tomcat 8特定版本,核心可迁移方法论(池化通用目的与快速失败原则/驱动超时线程开销/HttpClient总量与单路由限额独立约束/线程池容量规划与无界队列OOM隐患/Tomcat并发容量三层模型/容器化CPU核数误判)已在ch12-001至ch12-006中概括,未单独展开生卡 |
| 缓存命中率计算公式(信息浓度低的定义性内容)、Guava Cache/Ehcache 3.x/MapDB三种缓存框架的具体API配置代码(CacheBuilder/CacheConfigurationBuilder参数、堆外缓存/磁盘缓存/分布式缓存(Ehcache+Terracotta server)具体实现步骤)、多级缓存API封装的具体代码实现、强制获取最新数据(ThreadLocal开关)/失败统计/延迟报警三个应用示例的具体实现代码、Write-Behind异步批量写的详细配置参数(queueSize/concurrencyLevel/batchSize等)、JMH基准性能测试的具体用法 | 9 | 属于具体缓存框架API配置代码和实现细节,强绑定Guava/Ehcache 3.x/MapDB特定版本,核心可迁移方法论(缓存本质是分层就近/缓存回收策略四维度三算法/Java缓存四层架构取舍组合/NULL Cache防穿透/Cache-Aside与Cache-As-SoR三种子模式/Copy Pattern防引用污染)已在ch09-001至ch09-006中概括,未单独展开生卡 |
| 压测方案与压测报告的具体字段清单(压测接口/并发量/压测策略/机器负载/QPS-TPS/JVM参数等)、系统优化的具体手段列举(硬件升级/参数调优/代码同步改异步/加缓存/读写分离/历史数据归档)、扩容倍数评估方法(按GMV增长/业务方沟通/去年流量估算)、监控报警的具体指标清单(服务器/系统/JVM/接口四类监控项与报警策略配置) | 8 | 属于压测报告字段清单、优化手段罗列和监控指标清单,偏操作性细节,核心可迁移方法论(压测仿真度阶梯/压测三个盲区/系统分级差异化资源投入/应急预案四步法与分层责任划分)已在ch08-001至ch08-004中概括,未单独展开生卡 |
| 代码库回滚(SVN/Git版本控制系统的常识性介绍与分支功能)、错误页降级借助Nginx error_page的具体配置、CDN切换与浏览器缓存清理的具体操作细节 | 7 | 属于版本控制系统常识性介绍和具体运维操作细节,核心可迁移方法论(分布式最终一致性回滚五种手段/部署版本回滚四种粒度/全量版本化用不可变路径简化回滚)已在ch07-001至ch07-003中概括,未单独展开生卡 |
| Nginx客户端/DNS解析/代理超时的完整指令配置(client_header_timeout/proxy_connect_timeout/proxy_next_upstream等)与Wireshark抓包分析、Twemproxy超时配置、Tomcat 8.5容器超时参数(connectionTimeout/asyncTimeout等)、JSF/Dubbo/JMQ中间件客户端超时重试具体配置、CXF/HttpClient 4.2.x超时与连接池配置代码、Spring DataSourceTransactionManager事务超时源码分析、MongoDB/Redis(Jedis)客户端超时配置、jQuery Ajax超时与JSONP跨浏览器兼容性问题 | 6 | 属于具体工具/框架的超时参数配置语法和源码分析,强绑定2016年前后Nginx/Tomcat/京东内部中间件(JSF/JMQ)版本,核心可迁移方法论(超时与重试的读写不对称性/多级依赖超时应逐级递减/重试放大等待时间/超时时间设置按业务场景差异化决策)已在ch06-001至ch06-004中概括,未单独展开生卡 |
| 链路上8种具体降级点罗列(页面降级/页面片段降级/页面异步请求降级/服务功能降级/读降级/写降级/爬虫降级/风控降级)、人工开关降级适用场景细节(大促摘除服务/多机房切换/灰度回滚/数据问题屏蔽)、库存扣减四种方案的具体演进细节、配置中心应用层API封装与properties文件WatchService监听实现、Consul KV存储HTTP API的CRUD具体调用示例、Hystrix降级熔断的大量具体参数配置(withFallbackEnabled/withCircuitBreakerErrorThresholdPercentage/withCircuitBreakerRequestVolumeThreshold等)、Hystrix采样统计机制细节(BucketedCounterStream/RollingConcurrencyStream/RollingDistributionStream)、Turbine+Hystrix-Dashboard集群化监控部署步骤 | 5 | 属于具体降级点罗列、工具API参数配置和部署步骤细节,强绑定2016年前后Consul/Hystrix版本,核心可迁移方法论(降级预案四级响应体系/自动降级四种触发依据/读写服务降级不对称性/多级降级的位置对称类比/熔断器三态机制)已在ch05-001至ch05-005中概括,未单独展开生卡 |
| Tomcat Connector参数(acceptCount/maxConnections/maxThreads)具体配置、Guava RateLimiter的SmoothBursty/SmoothWarmingUp Java代码示例与输出数值、Redis+Lua/Nginx+Lua分布式限流具体实现代码、ngx_http_limit_conn_module/ngx_http_limit_req_module的详细指令配置与access log逐行分析(多场景测试)、lua-resty-limit-traffic模块用法 | 4 | 属于具体工具API配置语法和压测输出细节,强绑定2016年前后Nginx/Guava/OpenResty版本,核心可迁移方法论(限流适用场景与有损服务目标/令牌桶漏桶算法核心机制差异/限流三层防线定位与局限/节流与限流的本质区别)已在ch04-001至ch04-004中概括,未单独展开生卡 |
| 读写隔离(主从Redis容错重试)、动静隔离(静态资源放CDN避免带宽打满)、环境隔离/压测隔离/AB测试/缓存隔离/查询隔离等其他隔离术名词罗列、Hystrix具体API配置(HystrixCommandGroupKey/HystrixThreadPoolKey/HystrixCommandProperties等)与动态配置代码、Servlet 3异步化具体压测数据(BIO vs NIO吞吐量对比数字) | 3 | 属于常识性容灾模式的简短提及、名词罗列和具体工具API/压测数字细节,核心可迁移方法论(隔离的两大目的与粒度递进/爬虫隔离的识别演进/热点隔离的可预知不可预知区分/资源隔离的共享物理资源原则/Hystrix解决的级联故障根本问题/Servlet3异步化的线程分离价值)已在ch03-001至ch03-006中概括,未单独展开生卡 |
| upstream/proxy_pass配置语法与权重、失败重试max_fails/fail_timeout、TCP/HTTP心跳检查具体配置、长连接keepalive配置与空闲连接池权衡、HTTP反向代理示例(proxy cache/gzip配置)、Consul+Consul-template/Consul+OpenResty动态负载均衡的完整实现步骤与API调用、Nginx四层负载均衡的stream配置与nginx-stream-upsync-module | 2 | 属于Nginx/Consul具体配置语法和实现步骤,强绑定2016-2017年版本细节,核心可迁移方法论(二/四/七层负载均衡本质区别/DNS负载均衡的粗粒度局限/一致性哈希解决服务器增减问题/静态配置痛点与动态服务发现的价值)已在ch02-001至ch02-004中概括,未单独展开生卡 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 服务拆分原则 | 已覆盖 | [[系统拆分五维度]]、[[应用拆分演进]]、[[数据库拆分演进]]、[[扩容三级路径]] |
| 通信机制(同步/异步取舍) | 已覆盖 | [[真异步要让出线程]]、[[异步与并发两种收益]]、[[四种调用模式演进]]、[[何时适合用队列]] |
| 一致性与事务权衡 | 已覆盖 | [[跨系统改用最终一致]]、[[并发更新缓存四法]]、[[双写与订阅binlog]]、[[写后读自动走主库]] |
| 可观测性设计 | 已覆盖 | [[应急预案四步法]] |
| 容错设计(熔断/降级/重试) | 已覆盖 | [[降级预案四级]]、[[自动降级四种触发]]、[[熔断器三态]]、[[超时重试成对配置]] |
| 扩展性瓶颈与应对 | 已覆盖 | [[扩容三级路径]]、[[取模与分区分片]]、[[单机闭环到分布式]]、[[任务分片支撑扩容]] |
| 部署与发布策略(灰度/回滚) | 已覆盖 | [[部署回滚四种粒度]]、[[发布后先关CDN缓存]] |
7⁄7 维度已覆盖。
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
本书讲交易型系统设计原则、负载均衡、隔离、限流、降级、超时重试、回滚、压测与预案、应用级/HTTP/多级缓存、连接池线程池、异步并发、扩容与分库分表、队列,以及京东商品详情页架构与 OpenResty 实践;卡片复用缓存、过载保护与降级、负载均衡、高可用、扩展维度、数据分片、消息与事件日志、异步编排、线程池容量、发布回滚等既有主题,未新建主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 三定律指导设计取舍 | 已复用 | notes/_topics/architecture-decision-making.md、notes/_topics/org-architecture-alignment.md |
| 无状态利于水平扩展 | 已复用 | notes/_topics/scalability-dimensions.md、notes/_topics/session-state-management.md |
| 系统拆分五维度 | 已复用 | notes/_topics/scalability-dimensions.md、notes/_topics/microservice-boundaries-evolution.md |
| 服务化六阶段演进 | 已复用 | notes/_topics/microservice-boundaries-evolution.md、notes/_topics/service-discovery-gateway.md |
| 切流量的四层手段 | 已复用 | notes/_topics/high-availability-architecture.md、notes/_topics/load-balancing.md |
| 防重与幂等分工 | 已复用 | notes/_topics/distributed-transactions.md |
| 流程可定义与状态机 | 已复用 | notes/_topics/state-activity-modeling.md |
| 后台系统四项卫生 | 已复用 | notes/_topics/security-culture-org.md |
| 二四七层负载均衡 | 已复用 | notes/_topics/load-balancing.md |
| DNS只做粗粒度调度 | 已复用 | notes/_topics/high-availability-architecture.md、notes/_topics/load-balancing.md |
| 一致性哈希减少迁移 | 已复用 | notes/_topics/load-balancing.md、notes/_topics/distributed-data-sharding.md |
| 上游列表动态发现 | 已复用 | notes/_topics/service-discovery-gateway.md、notes/_topics/load-balancing.md |
| 隔离的目的与粒度 | 已复用 | notes/_topics/high-availability-architecture.md、notes/_topics/overload-protection-degradation.md |
| 爬虫隔离防误杀 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 热点按可预知分治 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/caching-strategies.md |
| 资源隔离看共享点 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 共享线程池级联故障 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/thread-pool-capacity-overload.md |
| 解析与业务线程分离 | 已复用 | notes/_topics/thread-pool-capacity-overload.md、notes/_topics/async-composition.md |
| 限流兜住缓存盲区 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 令牌桶与漏桶 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 限流分三层 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 节流是去重不是限速 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 降级预案四级 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 自动降级四种触发 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 读写降级不对称 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 多级降级靠近用户 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 熔断器三态 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 超时重试成对配置 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 超时逐级递减 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 重试放大等待时间 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 超时按场景差异化 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 跨系统改用最终一致 | 已复用 | notes/_topics/distributed-transactions.md |
| 部署回滚四种粒度 | 已复用 | notes/_topics/change-release-safety.md |
| 全量版本化易回滚 | 已复用 | notes/_topics/change-release-safety.md、notes/_topics/web-transport-acceleration.md |
| 压测看流量来源 | 已复用 | notes/_topics/capacity-scheduling.md |
| 压测三个盲区 | 已复用 | notes/_topics/capacity-scheduling.md |
| 系统分级再投入 | 已复用 | notes/_topics/high-availability-architecture.md |
| 应急预案四步法 | 已复用 | notes/_topics/high-availability-architecture.md、notes/_topics/incident-response.md |
| 缓存即就近副本 | 已复用 | notes/_topics/caching-strategies.md |
| 缓存回收策略 | 已复用 | notes/_topics/caching-strategies.md |
| Java缓存四层组合 | 已复用 | notes/_topics/caching-strategies.md |
| NULL缓存防穿透 | 已复用 | notes/_topics/caching-strategies.md |
| Cache-Aside与SoR | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/consistency-models.md |
| Copy防缓存被篡改 | 已复用 | notes/_topics/caching-strategies.md |
| 时间与摘要两种验证 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/web-transport-acceleration.md |
| 三种刷新行为 | 已复用 | notes/_topics/web-transport-acceleration.md |
| Cache-Control分组 | 已复用 | notes/_topics/web-transport-acceleration.md |
| 请求路径多级缓存 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/web-transport-acceleration.md |
| 逻辑变更需主动失效 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/web-transport-acceleration.md |
| 多级缓存三层分工 | 已复用 | notes/_topics/caching-strategies.md |
| 过期与不过期缓存 | 已复用 | notes/_topics/caching-strategies.md |
| 维度化缓存 | 已复用 | notes/_topics/caching-strategies.md |
| 轮询与哈希动态切换 | 已复用 | notes/_topics/load-balancing.md、notes/_topics/caching-strategies.md |
| 实时发现热点并推送 | 已复用 | notes/_topics/caching-strategies.md |
| 并发更新缓存四法 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/consistency-models.md |
| 缓存崩溃渐进恢复 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/caching-strategies.md |
| 池化与快速失败 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/thread-pool-capacity-overload.md |
| 驱动超时线程开销 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 连接池总量与单路由 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 线程池规划与无界队列 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| Tomcat并发三参数 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 容器内CPU核数误判 | 已复用 | notes/_topics/thread-pool-capacity-overload.md、notes/_topics/container-orchestration.md |
| 真异步要让出线程 | 已复用 | notes/_topics/async-composition.md |
| 异步与并发两种收益 | 已复用 | notes/_topics/async-composition.md |
| 四种调用模式演进 | 已复用 | notes/_topics/async-composition.md |
| 请求缓存与请求合并 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/async-composition.md |
| 扩容三级路径 | 已复用 | notes/_topics/scalability-dimensions.md |
| 应用拆分演进 | 已复用 | notes/_topics/scalability-dimensions.md、notes/_topics/microservice-boundaries-evolution.md |
| 数据库拆分演进 | 已复用 | notes/_topics/scalability-dimensions.md、notes/_topics/distributed-data-sharding.md |
| 取模与分区分片 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 数据异构两类 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 中间件与应用层分片 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 写后读自动走主库 | 已复用 | notes/_topics/distributed-data-sharding.md、notes/_topics/consistency-models.md |
| 任务系统四种实现 | 已复用 | notes/_topics/concurrency-tasks-sync.md |
| 任务分片支撑扩容 | 已复用 | notes/_topics/scalability-dimensions.md |
| 何时适合用队列 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 队列四大用途 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 缓冲队列求平滑 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/message-brokers-event-logs.md |
| 双写与订阅binlog | 已复用 | notes/_topics/distributed-transactions.md、notes/_topics/message-brokers-event-logs.md |
| 消息体按需设计 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 四队列可重放 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 下单缓冲表解耦 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/message-brokers-event-logs.md |
| Canal伪装从库 | 已复用 | notes/_topics/message-brokers-event-logs.md、notes/_topics/dataflow-unbundled-databases.md |
| 详情页架构三代 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/business-driven-tech-evolution.md |
| 数据闭环四步 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 短TTL缓存防刷 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/caching-strategies.md |
| 预取数据回传下游 | 已复用 | notes/_topics/async-composition.md |
| 统一服务层收口 | 已复用 | notes/_topics/service-discovery-gateway.md |
| 读服务两种部署 | 已复用 | notes/_topics/caching-strategies.md |
| 低命中缓存层作兜底 | 已复用 | notes/_topics/high-availability-architecture.md、notes/_topics/caching-strategies.md |
| 按域名区分用户请求 | 已复用 | notes/_topics/service-discovery-gateway.md |
| 逻辑前置因重启快 | 已复用 | notes/_topics/service-discovery-gateway.md、notes/_topics/change-release-safety.md |
| 前端逻辑后置因好修 | 已复用 | notes/_topics/change-release-safety.md |
| 单机闭环到分布式 | 已复用 | notes/_topics/scalability-dimensions.md、notes/_topics/caching-strategies.md |
| 核心与业务Nginx分层 | 已复用 | notes/_topics/service-discovery-gateway.md、notes/_topics/load-balancing.md |
| 模板数据快照绑定 | 已复用 | notes/_topics/change-release-safety.md |
| 发布后先关CDN缓存 | 已复用 | notes/_topics/change-release-safety.md、notes/_topics/web-transport-acceleration.md |
| 渲染异常分三层 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/fail-safe-defaults.md |
| 按访问模式分存储 | 已复用 | notes/_topics/storage-model-choices.md |
| 聚合页取最晚修改 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/web-transport-acceleration.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。
主题索引
比较容器隔离与镜像理念、Kubernetes 的资源模型与控制器、应用封装方案,以及容器存储的抽象与扩展机制。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较团队边界、组织结构与技术架构如何对齐,以及组织惯性对架构变革的影响。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
主题索引
比较事故/安全事件的分级、指挥、沟通、演练与交接做法。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
比较 HTTP 缓存、DNS 解析、HTTP/2 与 QUIC、分块传输与 CDN 等加速和分流手段。
主题索引
比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。
主题索引
线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。
主题索引
比较安全/可靠性团队的组织形态、激励机制与推动变革的方法。
主题索引
多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。
主题索引
比较状态机与活动图在表达事件响应、并发、流程与责任划分上的用法。
主题索引
从浏览器到源站的每一跳能省掉什么:强制缓存与协商缓存、DNS 解析与 HTTPDNS、HTTP/2 多路复用与 QUIC、分块传输与范围请求、静态化与动静分离、CDN 就近分发与回源,以及移动网络下减少往返的手段。
主题索引
比较业务规模与复杂度变化如何驱动技术选型和架构分阶段演进。
主题索引
有状态与无状态会话的取舍,以及会话状态存放在客户端、服务器或数据库的代价与清理。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
Reactor 与事件循环的基本结构,Netty 的 IO 线程与业务线程分工,Nginx 的事件模块、posted 请求、子请求调度与缓冲输出,响应式流的建模方式,以及阻塞调用如何破坏异步链路。
主题索引
解耦、异步、削峰、缓冲四类价值各自的机制与代价:什么时候值得用队列,什么情况下队列并不救你,以及队列把复杂度转移到了哪里。
主题索引
比较组件失效时选择开放、关闭或停滞的依据与被利用风险。
主题索引
事件与消息的区别、事件建模与事件设计:事件键与单写者、事件大小与完整性、事件注册表与事件编排。
主题索引
环形缓冲与乒乓缓冲怎样吸收速率差,有界队列的空满约束与 FIFO 余量,生产消费模型如何做限流与并发上限,以及缓冲只能吸收有限速差、不能替代背压。