此笔记位置已失效,请从目录继续阅读。
全书导读
本书面对的是有时间限制的开放式设计讨论。目标不是复刻一家公司的全部产品,而是把模糊问题变成可讨论的功能、规模和约束,再解释组件为何能够共同满足目标。相同题目可以有多种合理方案,前提是清楚说明假设与代价。
全书主线
先从逐层扩展和容量估算认识约束,再用沟通框架组织方案,随后在限流、存储、消息与内容系统中反复练习。后面的系统不是前面所有机制的总装,而是在各自读写模式、时延与故障目标下重新选择组合。
第00章 前言
本书面对的是有时间限制的开放式设计讨论。目标不是复刻一家公司的全部产品,而是把模糊问题变成可讨论的功能、规模和约束,再解释组件为何能够共同满足目标。相同题目可以有多种合理方案,前提是清楚说明假设与代价。
第01章 从单机逐步扩展
扩展从一个同时承担应用与数据处理的服务器开始。当不同资源遇到瓶颈时,把应用层、数据库、缓存和静态资源交付逐步分开,才能让它们独立扩容。负载均衡解决入口分发,复制提供冗余,分片增加容量,消息队列将耗时工作移出同步链路;这些机制处理的瓶颈不同,不能把它们当作必须一次性全部安装的清单。
域名解析把用户输入的主机名转成服务器地址;浏览器再向该地址发送 HTTP 请求,服务器返回页面或数据。DNS 解决的是如何找到入口,应用服务器负责实际业务处理,两者不应混成同一职责。 详见域名解析连接应用。
关系型存储用表与行组织数据并支持跨表关联;键值、文档、图等非关系模型各自优化不同访问方式。选型先检查数据结构、关联需求、延迟与规模,不能只因为用户增长就认定必须替换关系数据库。 详见按访问模式选择存储。
纵向扩容给单机增加 CPU、内存等资源,初期简单,但受硬件上限限制。横向扩容增加机器,需要解决流量分配和状态共享;它为冗余创造条件,却不会自动完成故障切换。 详见纵向与横向扩容。
负载均衡器作为统一访问入口,将请求分到健康的应用服务器。一台应用服务器失效时可将流量转给其他实例;因此应用层可用性提高,但仍须单独考虑负载均衡器本身的冗余。 详见负载均衡隔离故障。
主节点接收数据变更,从节点复制数据并承担读取,可把读负载分散。复制也提供故障恢复副本,但副本可能落后,主库切换时必须检查缺失数据;有副本不等于已实现零数据损失。 详见读写分离与主从复制。
缓存将频繁使用或计算代价高的结果放在快速存储中,减少回源。它适合读多改少的数据;重要事实仍须保存在持久存储中,因为缓存故障或淘汰会使内容消失。 详见缓存承担临时加速。
过期控制结果可被使用多久,淘汰决定空间不足时先移除什么。TTL 太短会频繁回源,太长会增加陈旧风险;LRU、LFU、FIFO 分别按近期性、频率和进入顺序取舍,两类策略解决不同问题。 详见缓存过期与淘汰。
数据库更新和缓存更新往往不在同一事务中,一处成功而另一处失败就可能读到旧值。评估缓存方案时要明确容忍的陈旧程度与失效处理,不能把增加缓存只当作没有一致性代价的提速。 详见缓存与数据库并非原子。
CDN 把静态资源缓存到不同地理位置的边缘节点。命中时就近返回,未命中时向源站取回并缓存;这样既缩短传输距离,也减少源站负载。低访问量资源可能不足以抵偿分发成本。 详见CDN就近分发静态资源。
CDN 的有效期需要兼顾新鲜度与回源量。资源更新可主动失效旧对象,或使用带版本的新 URL;边缘服务异常时还要设计客户端回源路径,避免把所有资源交付依赖在单一入口上。 详见CDN更新与故障回源。
无状态应用层把会话等跨请求状态移入共享存储,使任意应用实例都能处理后续请求。粘性会话把用户绑定在特定机器上,扩缩容和故障处理更困难;外置状态的代价是依赖共享存储。 详见无状态层外置会话。
就近 DNS 路由可以将用户导向附近机房,故障时切到健康机房。但路由成功不代表数据已到位;还须处理跨机房复制、切换后的数据可读性,以及各地部署和测试的一致性。 详见多机房需要数据同步。
生产者将任务放入消息队列,消费者按自身能力异步处理。双方不必同时可用,也可独立扩容;队列积压体现处理能力不足。队列承担缓冲职责,是否耐久仍取决于实际持久化配置。 详见队列解耦生产与消费。
日志帮助追查具体错误,指标反映主机、组件和业务整体状态,自动化使构建测试部署可重复。三者共同缩短发现与处置问题的路径,不能只收集 CPU 等资源指标而不观察业务结果。 详见日志指标与自动化协作。
分片键决定记录落在哪个物理分片,也决定请求能否直接定位数据。应同时检查分布均匀性和查询方式;分布均匀但常用查询不带分片键,仍可能付出跨分片访问成本。 详见分片键决定路由成本。
分片提高总体容量,却使扩容重分布、热点和跨片关联更复杂。反规范化可把部分查询收敛到单表,但会增加冗余;因此分片收益要连同数据迁移及查询改造一起评估。 详见分片引入迁移与关联代价。
第02章 容量与性能估算
估算先固定用户规模、操作频率和单条数据大小,再转换为每秒请求、带宽和长期存储。这里的意义是检查设计是否在数量级上可行。例如,平均每秒操作量由日操作总数除以一天的秒数得出,峰值则依赖另一个明确假设。书中公司的流量及价格示例只作为历史教学输入。
容量估算把用户量、操作频率、数据大小和保留周期转成 QPS、存储与带宽需求,用来排除明显不合适的架构。结果用于判断数量级,假设和单位比表面精确的小数更重要。 详见容量估算检验设计。
一个字节包含八个比特,存储单位常以二的幂递增。估算中要明确字节还是比特、KB 采用什么口径;单位混用会使容量或带宽结论偏离,不能只记录没有量纲的数值。 详见字节单位影响数量级。
内存、磁盘和跨地域通信的成本相差很大。识别这些数量级能帮助发现磁盘寻址或跨地域往返是否主导耗时;书中历史延迟表用于建立直觉,具体硬件与网络数值应另行测量。 详见延迟数量级指导优化。
可用性描述约定时间内服务可工作的比例,SLA 是服务方与客户对交付水平的约定。多个九对应更小的不可用时间预算;讨论目标时须同时说明统计窗口与服务范围,百分比本身并不完整。 详见可用性换算停机预算。
平均 QPS 可按日活用户乘每人日操作次数,再除以一天秒数计算;峰值另加明确假设。存储按新增量乘单条大小和保留期估算。书中 Twitter 数字属于练习假设,不能作为真实公司流量事实。 详见从活跃用户推导QPS。
估算采用易计算的近似值,并把用户量、频率、峰值倍数与单位逐项写出。这样需求变化后可以重算,也便于对方指出不合理输入;追求精确算术不能替代检查模型是否漏项。 详见估算应保留假设和单位。
第03章 面试沟通框架
设计沟通要先确认功能范围和关键约束,否则很可能高效地设计出错误的系统。总体图用于建立共识,深入讨论则聚焦风险或瓶颈最高的部分;最后回顾故障、监控与下一阶段扩展,使方案的边界可见。四阶段是协作框架,时间表不是固定配额。
开放式系统设计问题主要观察如何澄清模糊需求、解释取舍并响应反馈。组件清单再完整,若没有对应约束,也不能证明设计合理;过度设计会增加成本并掩盖真正的瓶颈。 详见设计面试评估协作过程。
先澄清需求和假设,再提出总体方案取得共识,随后选择关键组件深入,最后回顾瓶颈、故障与改进。四步组织的是限时面试沟通;具体时间分配只是参考,不能当成生产研发的完整验收流程。 详见系统设计面试四步法。
原书依据 · 2 处
第04章 限流器
限流器在入口判断请求是否仍在可接受速率内。不同算法不是精度越来越高的单向升级:令牌桶允许受控突发,漏桶平滑出流,固定窗口廉价但有边界突发,滑动日志精确却费内存,滑动计数用近似换空间。多实例运行还把问题分成规则发布、共享计数、原子更新和跨地域传播;只选对算法不能自动解决并发。
限流按用户、IP、设备或接口等维度限制时间范围内的请求数量,防止滥用和过载,也控制按调用计费的外部服务成本。限流阈值必须服务于资源保护目标,而不是任意拒绝请求。 详见限流控制资源消耗。
客户端可减少无效请求,却可能被绕过;真正的保护规则需要在可信服务端或网关执行。放在业务服务中便于定制算法,复用现有网关可减少建设成本,选择取决于能力与维护资源。 详见服务端执行限流规则。
桶以固定速率补充令牌,最多保留桶容量个;请求取得令牌才被放行。补充速率限制长期平均量,容量决定短期突发上限。桶满后多余令牌丢弃,因此空闲不会无限积累额度。 详见令牌桶容许有限突发。
请求进入有界先进先出队列,再以稳定速率离开;队列满时拒绝新请求。它能平滑下游负载,但突发请求会增加等待,老请求占满队列时也可能排斥更新的请求。 详见漏桶平滑处理速率。
固定窗口为每段时间维护计数,下一窗口重置。若请求集中在前一窗口末尾和后一窗口开头,每窗都合规,但跨边界的同长度区间可能通过近两倍额度;自然时间配额不等于滚动限额。 详见固定窗口有边界突发。
滑动日志记录请求时间戳,每次移除窗口外记录,再计入当前请求并判断数量。它能检查任意滚动窗口,但内存随记录数量增长;书中示例连拒绝请求也留在日志,需明确统计的是尝试还是成功请求。 详见滑动日志精确约束窗口。
滑动计数器用当前窗口计数加上一窗口计数乘重叠比例,近似滚动窗口请求量。例:3 加 5 乘 0.7 为 6.5;原文写成 0.7% 是算式笔误。该方法省内存,但依赖上一窗流量近似均匀的假设。 详见滑动计数近似滚动负载。
共享内存存储可让多个限流实例读取同一维度的计数,并通过过期清理窗口状态。INCR 和 EXPIRE 分别表达自增与到期,但把多个调用拼在一起不自然等于一次原子判断,仍需处理并发。 详见限流计数需要快速存储。
被限流时返回明确拒绝状态,并告知剩余额度、窗口上限与重试等待时间,使客户端可以退避。允许延迟处理的业务可选择入队,但排队和丢弃是不同承诺,不能用相同成功语义混淆。 详见限流响应说明重试时机。
规则描述限流维度、时间单位和阈值,可由配置文件维护并加载到缓存。将规则从请求判断逻辑分离便于调整;实际发布时仍须考虑实例何时拿到规则,不能把磁盘文件更新等同于所有节点同步生效。 详见限流规则独立发布。
两个并发请求都读到旧计数,再分别写回相同的新值,会少记一次请求并放过超额流量。共享 Redis 只解决状态集中,不会自动消除多步读改写竞态;检查与变更需要合适的原子执行机制。 详见限流读改写会竞争。
同一客户端可能被路由到不同限流实例,独立本地计数会让额度重复使用。粘性会话约束路由但削弱弹性,共享状态可统一观察配额;跨地域最终一致同步仍须接受传播期间的偏差。 详见多实例限流共享状态。
限流后要观察拒绝的正常请求和突发时的保护效果。规则过严应调整阈值,算法不适配突发则重新选择机制;部署完成不能证明策略有效,算法和业务规则都需要独立观察。 详见监控用于调整限流策略。
硬限流要求不能越过额度,软限流容许短时超出。应用层限流还可与网络层保护组合;客户端则通过缓存、理解配额和退避重试减少无效调用,但这些措施不能代替可信入口的强制控制。 详见硬软限流承诺不同。
第05章 一致性哈希
固定取模的节点数参与每次路由,节点数量变化会打乱大量键。哈希环把变化限制到相邻范围,虚拟节点进一步把一个物理节点的责任分散到多个小区间。这改善整体分布和扩缩容迁移,但不把单个热门键自动拆成可并行服务的多个键。
用 hash(key) 对服务器数取模时,服务器数变化会改变许多键的归属,连原本不在故障节点上的键也可能迁移。在缓存场景中这会集中触发未命中,扩容成本不能只按新增节点的数据量估计。 详见取模扩容导致大量迁移。
一致性哈希将键和服务器映射到同一环,键归属顺时针遇到的第一个节点。增加节点只接管其前驱与自身之间的范围,删除节点把原范围交给后继,避免取模方案的全局重映射。 详见哈希环限制迁移范围。
一个物理节点对应环上多个虚拟位置,使其负责多个较小区间,降低随机位置造成的负载偏斜。节点能力不同时可分配不同数量的虚拟位置;更多位置也需要维护更多映射信息。 详见虚拟节点改善分布。
一致性哈希可缓解多个热点对象恰好落在同一节点的集中负载,但一个键仍通常映射到一个负责节点。不能从整体分布更均匀推出单个极热键已被拆开;这限制了书中热点缓解结论的适用范围。 详见均匀分布不拆分单热点。
第06章 键值存储
键值系统的简单接口把复杂性移到内部:先决定数据属于谁,再决定副本放在哪里,以及何时可以向客户确认读写。分区和复制解决容量与故障冗余,却引入并发版本、修复与可见性约束。成员发现、提示移交与反熵分别处理发现故障、临时接管和长期差异;提交日志与 SSTable 则处理单节点持久化,不能混成同一个一致性协议。
键值存储通过唯一键获取关联值,值可被当作不透明对象处理。put 与 get 形成简单接口,适合按键路由;若主要需求是复杂关联查询,简单键值接口本身并不能直接提供这种能力。 详见键值接口按键访问对象。
哈希表把数据全部放在内存可获得快速访问,但内存容量和成本限制数据规模。压缩或冷热分层可以推迟瓶颈,跨节点分区则进一步扩大总体容量,同时引入复制与协调问题。 详见内存键值存储受容量限制。
网络分区使副本不能及时交换更新;继续接受独立读写可能暴露旧值或冲突,拒绝无法安全处理的请求则牺牲部分可用性。CAP 应结合分区情境讨论,不能把它简化成所有时刻任意三选二。 详见分区时须明确一致性取舍。
沿哈希环选择副本时,要跳过属于同一物理机器的其他虚拟节点,才能获得真正的多机冗余。还应把副本放入不同机房,降低同一电力或网络故障同时击穿所有副本的风险。 详见复制副本须区分故障域。
N 表示副本数,W 表示成功写需等待的确认数,R 表示读需收集的响应数。在固定的同一副本集合内,R 加 W 大于 N 保证读写集合相交;原文把相交直接称作强一致,取材仅保留可由集合关系证明的相交条件。 详见读写Quorum的相交条件。
强一致要求读取满足最新写入的可见性承诺,弱一致允许暂时读不到更新,最终一致承诺更新传播后副本收敛。选择较少确认可减少等待,但不能只从返回更快推导数据一定满足某种更强语义。 详见一致性模型规定可见结果。
两次修改都基于同一旧值时,后来到达的版本未必包含另一修改。给修改保留不可变版本并识别祖先与并发关系,能把覆盖问题显式暴露出来;发现分支后仍需业务决定如何合并。 详见版本记录保留并发分支。
向量时钟为参与者记录计数。若一个版本各分量都不小于另一版本且至少一项更大,可判为后继;若双方各有更大的分量,则表示并发分支。时钟帮助检测冲突,不会自动替应用选择合并结果。 详见向量时钟辨识因果。
参与节点增多会扩大版本向量,设置长度阈值并删除旧条目可以控制元数据开销,却可能丢掉判断祖先关系所需的信息。是否可接受这种代价要看冲突处理需求,不能用某历史系统未遇到问题作普遍保证。 详见向量截断损失因果信息。
节点维护成员与心跳计数,周期性向随机同伴传播,各节点合并更新信息。长时间不增长的心跳形成离线判断依据。它减少全互联通信,但超时反映观察结果,并不能绝对证明远端已停止运行。 详见Gossip传播成员心跳。
预定副本故障时,宽松 Quorum 可让环上其他健康节点临时代收读写,恢复后再交回。这样减少等待故障节点的阻塞,但响应集合可能改变,不能直接套用固定副本集合的相交结论。 详见宽松Quorum提高可用性。
替代节点暂存本应交给故障副本的更新,记录目标,等目标恢复后把数据移交回去。它为暂时不可达提供补偿路径;永久故障还需要额外的副本比较和重建,不能无限依赖原节点回来。 详见提示移交修复临时故障。
Merkle 树把数据范围分桶,叶子和内部节点保存逐级汇总的哈希。先比较根,不同再向下定位具体范围,只同步不一致的部分;它减少差异检查与传输量,但依赖双方一致的范围划分和哈希方式。 详见Merkle树定位副本差异。
书中基于 Cassandra 的写路径先把请求写入提交日志,再更新内存结构,到阈值后刷成磁盘 SSTable。有序键值表便于按键检索,先写日志则为内存内容尚未刷盘时的恢复保留依据。 详见日志先行再形成有序表。
读取先查内存,未命中时借助布隆过滤器筛出可能包含目标键的 SSTable,再读取数据。过滤器用于减少不必要的磁盘访问;“可能存在”仍要读取核实,不能把它当作完整数据或精确索引。 详见布隆过滤减少无效查盘。
第07章 唯一ID
ID 设计需要同时满足唯一、位宽、生成速率和排序范围。步长自增、UUID、集中票号与雪花式编码在这些目标之间作不同取舍。雪花式方法把唯一性空间分给时间、机器身份和局部序列,但时间与身份的运行假设仍是保证的一部分;它不是无条件的数学去重魔法。
多台数据库用不同起点和固定步长产生不重叠序列,可分摊 ID 生成压力;但跨节点 ID 不一定按实际时间递增,增减机器也复杂。唯一、可扩容与按时间排序是不同约束。 详见分步自增难保证时间顺序。
独立生成 UUID 可减少协调,集中票号服务则容易产生短数字序列。前者不自然满足本题的 64 位与时间排序要求,后者有单点及扩容协调成本;选型必须逐项对照题目约束。 详见UUID与票号服务的取舍。
雪花式 ID 把 64 位划成符号、时间戳、机房、机器与毫秒内序列。不同机器用不同身份,同一机器同毫秒用递增序列,组合避免冲突;这种保证依赖身份分配与时钟假设,不能只照抄位数。 详见雪花ID拆分唯一性空间。
41 位毫秒时间戳可覆盖约 69 年,12 位序列在同一毫秒内提供 4096 个取值。调整字段长度是在寿命、部署规模与单机并发间分配空间;纪元和机器身份改变必须考虑旧 ID 兼容与冲突。 详见ID位数分配约束容量。
时间字段参与排序和唯一性,机器时钟不一致会破坏设计假设。原书指出同步问题却未展开完整处理方案;因此不能把提到 NTP 等同于已经解决时钟回拨、重启和身份复用问题。 详见时钟假设限制雪花ID。
第08章 短链
短链系统维护短码到原地址的映射,写入要生成并保存映射,读取要找到地址并执行跳转。短码可来自截断哈希加冲突处理,或唯一 ID 的进制编码;前者处理碰撞,后者依赖 ID 的唯一性。读多写少使缓存有价值,而跳转状态及缓存策略还会影响点击统计能观察到什么。
永久与临时重定向对浏览器后续访问路径有不同影响:允许客户端复用永久跳转结果可减轻服务负载,但访问不再每次经过短链服务,点击统计更难。书中的解释是设计取舍示意,实际缓存行为仍取决于协议与响应配置。 详见短链跳转影响统计路径。
若短码允许 62 种字符,长度 n 可表示 62 的 n 次方个组合;应选满足目标记录数的最小长度。十年每日一亿条是 3650 亿条,七位空间约 3.52 万亿;原文估算段落的年数与存储算式存在笔误,不能照抄。 详见短码长度由编码空间决定。
截取长哈希生成短码会丢失信息,不同长 URL 可能得到同一码。必须检查冲突并重试或采用其他消歧方式;数据库检测也有成本,布隆过滤只可辅助减少检查,不能充当最终唯一性约束。 详见截断哈希必须处理碰撞。
先生成全局唯一数值 ID,再以 Base62 表示,编码本身不引入新碰撞。长 URL 与短码映射仍须持久保存;编码不是对 URL 的可逆压缩,也不解决并发创建同一长 URL 的全部幂等问题。 详见唯一ID转换为Base62。
短链访问通常多于创建,可缓存短码到长 URL 的映射。缓存未命中再查持久存储,不存在则按无效短码处理;缓存承担读加速,映射事实仍须在数据库中可恢复。 详见短链读路径优先查缓存。
第09章 网络爬虫
爬虫是一条不断反馈新链接的流水线。为了既扩大覆盖又不压垮外部站点,前队列选择优先级,后队列约束同主机抓取节奏;下载、解析、过滤和去重再把可继续处理的链接放回队列。URL 身份与页面内容分别去重,重抓策略维持新鲜度,故障状态保存和陷阱过滤保证长时间运行可恢复。
爬虫从种子页面提取链接,再调度下载更多页面。搜索索引、归档和监控对内容类型、更新频率、留存与去重有不同需求;应先约定目标,不能把一套遍历流程当成所有爬取业务的完整方案。 详见爬虫目标决定规模边界。
URL 去重避免同一地址重复入队和形成循环,内容去重避免不同地址的同一页面被反复存储。两者处理对象不同:只比较地址不能消除镜像内容,只比较内容也不能阻止重复下载。 详见URL与内容分别去重。
调度队列提供待抓 URL,下载器处理网络请求,解析器验证和抽取内容,过滤与去重决定哪些链接重新入队。将这些步骤分开便于扩容和处理畸形页面,不把慢解析直接阻塞所有下载工作。 详见爬取流水线分离职责。
标准广度优先只按发现顺序推进,无法表达页面重要性。前队列按流量、更新频率等信号分级,再偏向高优先级队列选择任务;这使有限抓取资源优先处理更有价值的内容。 详见爬取前队列控制优先级。
同一主机的 URL 归入同一后队列,由下载线程顺序处理,并可加入间隔。它避免并行抓取淹没单一网站。前队列决定先抓什么,后队列约束对同一站点抓得多快,两者协同而非互相替代。 详见爬取后队列维护礼貌性。
网页会持续增删改,爬虫需要重新访问。按更新历史和重要性分配不同重抓频率,可比全站等频重抓更节省资源;需要新鲜度的页面应优先获得预算,而不是只追求一次抓到最多地址。 详见更新历史决定重抓频率。
海量待抓 URL 全放内存既昂贵又缺乏持久保障,全走磁盘则访问较慢。主体留在磁盘、入队出队使用内存缓冲并定期落盘,可以平衡容量和效率;恢复能力仍取决于状态保存设计。 详见抓取队列采用冷热分层。
爬虫在下载前读取 robots.txt,按站点声明筛选允许范围,并缓存及定期更新规则。它是抓取行为约束,不能因为目标链接已进入队列就忽略;书中规则示例属于历史文本,不代表站点当前配置。 详见抓取遵守站点排除规则。
下载器对慢响应设置最大等待,避免工作线程长期被占用;缓存域名解析结果减少重复 DNS 调用。两者分别缩短等待和减少外部访问,但过长缓存也可能保留旧地址,需要更新策略。 详见抓取超时与DNS缓存。
无限目录等页面会不断产生新 URL,使遍历无法收敛。长度上限、异常发现量监控及定制 URL 过滤可降低风险;没有一种简单规则能检测所有陷阱,仍需检查误判与异常站点。 详见爬虫陷阱需要多层过滤。
只下载静态 HTML 无法得到由 JavaScript 在运行时生成的链接。对此可以先进行动态渲染再解析;这增加处理成本,适用于确有必要发现动态内容的范围,不应对所有页面无差别开启。 详见动态链接需要渲染后提取。
第10章 通知
通知将业务事件变成某种通道上的用户消息。入口负责校验及读取设置,队列隔离通道,工作器调用对应供应商。持久化与重试保留可恢复的事件,去重减少重复,用户意愿和频率限制决定是否应该发送。处理成功、到达设备和用户互动是不同观察层,监控不能只剩一个成功率。
推送、短信与邮件使用不同的服务接口和目的地址。用户信息与设备信息分开保存,使同一用户可关联多个设备;通道集成应可替换,避免把第三方平台能力当作永久不变的业务前提。 详见通知通道分别集成。
通知入口完成校验、加载用户设置和模板,再把事件送入对应通道队列,由各自工作器发送。不同通道使用独立队列,可减少一个供应商故障拖累其他通道,并分别调整消费能力。 详见通知队列隔离通道故障。
持久化通知事件为失败恢复保留事实,失败发送进入重试路径。它降低丢失风险,却不保证收件人恰好收到一次;重试可能引入重复,还需要按事件身份去重并处理失败边界。 详见通知持久化与重试互补。
用户可按通道选择是否接收通知,发送前检查设置,并对接收频率设上限。模板帮助统一格式,用户设置决定能否发送,两者不能混淆;高到达率也不应以持续打扰用户为代价。 详见发送前检查通知意愿。
队列长度和处理速度反映系统能否及时发送,打开率与点击率反映送达后的互动。扩容消费者解决的是处理积压,不能直接证明内容有用;两类信号应分别观察。 详见通知积压与点击分别衡量。
第11章 信息流
信息流的关键是把发布者的内容转换成读者时间线。写扩散提前计算、读取较快,但粉丝多时成本高;读扩散按需聚合,减少无效写入,却使读取更重。混合设计按用户特征分担成本,缓存只保存必要 ID,再在读取时补齐内容,权限设置必须进入实际分发路径。
写扩散在发布时把帖子 ID 推到好友的时间线,读快但对大粉丝用户写放大严重;读扩散在读取时聚合,节省不活跃用户的预计算却增加读延迟。选择取决于读写比例和关系规模。 详见信息流推拉各有成本。
大部分用户采用写扩散,大粉丝账户采用读取时拉取,可兼顾读取速度和发布成本。混合策略处理的是社交关系带来的扇出差异;不能仅靠数据分布均匀就认定名人写放大已经消失。 详见普通用户与名人混合扩散。
时间线缓存仅保存帖子 ID 与用户关联,读取时再从用户及帖子缓存补齐展示对象,媒体从 CDN 获取。这样减少列表重复保存完整对象的内存成本,并可限制每个用户缓存的近期条数。 详见信息流缓存保存ID列表。
扩散工作先获取好友关系与设置,过滤静音、选择性分享等限制,再把接收者和帖子 ID 入队。好友关系只说明潜在可见范围,不能替代实际的内容访问与隐私规则。 详见扩散前应用可见性设置。
第12章 聊天
聊天同时包含无状态的账号接口和有状态的实时连接。WebSocket 负责持续双向传输,服务发现帮助选节点,持久化历史与设备游标保证断线后可补齐。群消息与在线状态各有扇出问题:小群复制到收件箱简单,大群则要控制广播成本。消息顺序的范围要先说明,不能凭时间戳看起来递增就宣称实现了全局因果顺序。
轮询周期询问是否有消息,空请求多;长轮询等新消息或超时后再发起,减少无效频率;WebSocket 建立持久双向通道,适合实时聊天。持久连接也带来连接归属和失效重连管理。 详见轮询长轮询与双向连接。
登录、资料等接口可由无状态 API 处理,聊天服务则持有客户端长连接。扩容时须知道用户连在哪台服务器,不能把所有功能都按随意路由的无状态请求处理。 详见聊天有状态连接单独管理。
聊天历史量大,近期数据访问最频繁,也有搜索与跳转到旧消息的随机访问需求。存储选型要同时考虑这些模式及分区方式,不能只因近期消息多就丢掉长尾读取要求。 详见聊天存储适配历史访问。
消息 ID 应唯一且能支持所需顺序,单靠创建时间可能遇到同一时刻多条消息。若只要求频道内有序,可采用局部序列;无需为不存在的全局顺序要求付出更多协调成本。 详见消息顺序只需覆盖作用域。
客户端认证后,通过服务发现得到合适的聊天服务器,再建立长连接。选择可考虑位置与容量;注册信息为分配提供基础,具体推荐策略仍属于应用设计,不能把注册系统等同于自动完成全部负载决策。 详见服务发现推荐连接节点。
每台设备保存自己已看到的最大消息 ID,读取属于当前用户且 ID 更大的消息。不同设备分别推进游标,便于离线后补齐;这一方法依赖消息身份及排序承诺,而非只记最后打开应用的时间。 详见设备游标支持增量同步。
小群消息复制进每位接收者的同步队列,客户端只查自己的收件箱即可得到新消息。群较小时复制成本可接受;群很大时每条消息的扇出和存储会增长,不能无限沿用同一方案。 详见小群收件箱简化消息同步。
在线状态服务在一定时间内收到心跳就保留在线判断,超过阈值再标离线,避免网络短暂抖动使状态频繁闪变。心跳间隔与离线阈值是体验和检测及时性的取舍,书中秒数只是演示。 详见在线心跳平滑瞬时断线。
小群可通过发布订阅及时推送好友状态,大群每次状态变化都广播会产生巨大事件量。可改为进入群组或手动刷新时查询,降低扇出;代价是状态新鲜度与即时性的变化。 详见在线状态按群规模分发。
第13章 搜索自动补全
自动补全先把历史查询变成候选排名,再在用户输入前缀时快速返回。前缀树定位共享前缀,节点缓存热门候选减少在线遍历,日志聚合和周期构建把更新成本移出读路径。这个组织方式用新鲜度换吞吐;实时热点、过滤删除和分片偏斜因此需要额外设计。
前缀树让共享前缀的字符串共用从根出发的路径。查询先定位前缀节点,再搜索后代的有效词并排序;树解决前缀定位,不自然保证整棵子树的候选搜索足够快。 详见前缀树组织候选字符串。
在每个前缀节点保存少量最高频候选,查询定位后即可返回,避免反复遍历和排序后代。代价是更大空间与更新传播;所谓常数查询成本依赖前缀长度及返回条数都有固定上限的假设。 详见前缀节点预存热门候选。
原始查询先写日志,再聚合频率、异步构建前缀树并发布缓存。这样在线请求不必同步更新全部祖先节点;周更适合允许陈旧的场景,不能用它满足突发热点的实时补全。 详见补全统计与在线查询分离。
客户端短时缓存重复前缀结果可减少后端请求,日志抽样则减少统计处理量。二者分别优化服务与数据采集,采样后频次是估计,不能把减少记录解释为保留了全部精确查询事实。 详见补全缓存和采样降低成本。
不应展示的补全词可先在查询前置过滤层屏蔽,再异步从持久数据中移除。前者缩短生效延迟,后者使下一轮构建不再带回旧词;只等待周期重建会留出继续展示的窗口。 详见屏蔽与物理删除分开。
按首字母等分服务器简单,但不同字母开头的查询量可能差别很大。按历史分布组合或细分前缀范围,并维护范围到节点的映射,可更贴近真实负载,而非假设字母数量相等就负载相等。 详见前缀分片须考虑分布偏斜。
周期批量构建无法及时反映刚发生的搜索热点。缩小分片数据集、提高近期查询权重和引入流式处理是可讨论方向;原书只给出思路,没有交付完整实时排名算法。 详见实时补全要求更新链路变化。
第14章 视频点播
视频点播将元数据控制与媒体传输分开:原始内容上传后形成可并行的转码任务,处理结果进入对象存储及 CDN,播放端持续取回小段内容。容器、编码、码率和播放协议各有职责。DAG 表达哪些任务能同时执行,资源管理器决定在哪执行,队列提供缓冲;这些调度手段不能取消真实的数据依赖。
上传把原始视频送入存储并启动转码,完成事件更新元数据;播放主要从 CDN 读取处理后的内容。控制元数据的 API 与大流量媒体传输分开,可让二者独立扩容并优化。 详见视频上传与播放分流。
容器组织视频、音频和元数据,编解码器负责压缩与解压内容。文件扩展名通常反映容器,不能直接代表内部编码;为不同设备和网络准备多个格式与码率,才能兼顾兼容性及流畅度。 详见容器与编解码器不同。
有向无环图用任务节点和依赖边描述检测、转码、缩略图与水印等处理。前置结果满足后可并行执行互不依赖的任务;队列解耦调度不等于取消真实数据依赖。 详见DAG表达转码依赖。
资源管理器维护待执行任务、可用工作器和运行中任务,按优先级及利用率分配,再在完成后回收记录。调度器决定谁执行,工作器负责实际计算,二者分开便于扩容和故障重试。 详见资源调度匹配任务与工作器。
按可独立播放的图像组切分视频,可并行上传并在失败后只续传缺失片段。旧客户端不会切分时由预处理器补做,临时保存片段与元数据便于重试;切分边界仍须符合视频处理约束。 详见GOP分片支持并行与续传。
客户端先经 API 获取包含授权的上传 URL,再向对应对象位置传输视频。它使控制权限与搬运数据分开;授权指向特定资源,不能把取得一个 URL 理解为无限制写入整个存储空间。 详见预签名URL授权指定上传。
少数热门视频承担大量访问,而长尾内容访问稀少。可优先将热门内容放 CDN,冷内容按需转码或减少副本,并根据地域热度投放;这些优化应依据真实访问分布,不能只凭全站平均量决定。 详见热门程度指导视频分发。
临时转码或工作器故障可有限重试并重派任务,畸形文件等不可恢复错误应停止相关处理并返回原因。没有区分错误类型的无限重试会持续消耗资源,也不能使无效输入自动变好。 详见视频故障按可恢复性处理。
DRM、加密与可见水印分别提供授权播放控制、内容机密性和归属标识。它们作用不同,不能把添加水印等同于禁止复制;方案还须与播放客户端和授权流程一起设计。 详见内容保护包含多种边界。
第15章 云盘
云盘把文件分解成数据块与版本元数据。块服务器负责分块、压缩和加密,元数据记录路径、版本以及重建顺序,通知促使其他设备拉取变化。增量同步减少传输,版本冲突保留双方副本,上传状态区分有记录和有完整内容。书中对 ACID、缓存失效与强一致性的连接是简化说明,本笔记不把删除缓存或选择 SQL 数据库当作端到端强一致性的充分证明。
文件内容存对象存储,用户、路径、版本和块关系存元数据系统。独立管理便于扩容与查询;重建文件还需可靠的元数据指向,不能只保证数据块存在却丢失组织关系。 详见文件数据与元数据分离。
两人基于同一旧文件提交修改时,可以先接受先处理的版本,让后提交者看到冲突并保留本地及服务端副本,之后选择合并或覆盖。检测冲突与自动协同编辑是不同能力,原书方案不包含完整实时协作。 详见文件冲突保留双方副本。
大文件上传先建立会话获得续传地址,再上传数据并观察进度,网络中断后从已知位置继续。它减少重传成本,但上传会话和进度必须可识别,不能把一次普通重试就称作断点续传。 详见断点续传记录上传进度。
文件切成块后,更新时只同步发生变化的块,再按顺序重建文件;压缩进一步减少传输量。它适合频繁局部修改的大文件,元数据必须准确记录当前版本由哪些块组成。 详见增量同步只传修改块。
文件元数据指向当前版本,历史版本记录保留已有块的组合而不原地改写,支持回看和恢复。块级去重可复用相同内容,但删除旧版本时要遵守引用与保留策略,不能误删仍被其他版本使用的块。 详见文件版本记录保持只读。
元数据先建立待上传状态,块服务器完成分块、压缩、加密和存储后,再将状态改为完成并通知其他客户端。元数据已建立不代表文件已可完整下载,两个阶段不能用同一完成标记掩盖。 详见上传状态区分待传与完成。
通知服务告诉客户端文件有变化,客户端再取元数据并下载所需块;离线客户端回来后补取变更。通知不承担传输完整文件的职责,低频单向变更通知可用长轮询,不必一律采用双向 WebSocket。 详见文件变更通知触发拉取。
块去重减少相同内容,限制版本数和保留更有价值的版本减少历史负担,冷存储降低长期不活跃文件成本。三种方式分别改变重复量、保留量和存储层次,仍须遵守恢复与留存目标。 详见历史版本与冷存储控成本。
API 可由其他无状态实例接手,块处理可重派,元数据与对象存储靠各自副本恢复,长轮询断线后客户端需重连。每层冗余只覆盖对应故障,不能用“多副本”一词代替端到端恢复设计。 详见文件同步须逐层设计恢复。
第16章 继续学习
持续学习的入口是真实架构文章和工程博客。应先问系统面对什么规模与约束,再看技术如何满足目标,最后寻找这些选择失效的场景。本项大量链接属于进一步阅读目录,登记它们不表示已经阅读这些外部文章或核验当前链接有效性。
阅读真实系统应同时关注共同原理、采用的技术及其解决的问题。把案例当成约束与取舍的材料,才能迁移到自己的设计;照抄公司组件清单并不能解释它为何适合当前场景。 详见真实架构材料用于反推约束。
原书依据 · 1 处
第17章 延伸阅读
延伸阅读补充分布式系统基础、简历表达和数据密集型系统设计。三者服务于不同问题:理解技术、表达经历、追问机制。本节只解释原书推荐关系,不将推荐语升级为对这些作品的完整评价。
Understanding Distributed Systems 从网络栈进入一致性、韧性、扩展与可靠性等基础主题,适合作为系统设计案例之前的概念补充。这里依据的是本书推荐段落的范围介绍,不据此声称已读过被推荐书的全部内容。 详见分布式入门书的学习边界。
The Tech Resume Inside-Out 聚焦技术简历,推荐段落强调其结合招聘者和招聘经理的意见。它补充的是求职信息表达,与架构推理属于不同准备任务;不能把架构知识积累等同于已具备有效简历。 详见简历书补充求职表达。
Designing Data-Intensive Applications 被介绍为讨论扩展性、一致性、可靠性、效率与可维护性的深入技术书,可用于追问案例背后的机制。该卡只记录推荐关系与介绍范围,不替代对被推荐原书的独立阅读。 详见数据密集系统拓宽设计基础。
原书依据 · 3 处
第18章 后记
后记强调反复练习并提供反馈和社群入口,没有新增系统机制。它承担全书收束作用;宣传链接不进入知识卡,也不意味着本轮发送反馈、加入社群或执行求职活动。
跨章综合
全书反复出现三个问题:数据由谁保存、工作何时执行、失败后如何知道结果。缓存和 CDN 改变读取位置,队列和预计算改变执行时点,版本、日志和副本修复改变恢复依据。聊天选择长连接,云盘选择低频变更通知,说明通信形式要跟随交互模式;信息流写扩散和小群收件箱则共同说明预计算可换取读效率,却都受接收者规模制约。
阅读边界:滑动窗口比例和短链年数的算术笔误已在相关卡中更正;Quorum 相交仅按固定集合的相交条件解释,不照搬为线性一致保证;哈希环的负载均衡不宣称解决单键热点;队列不取消上游数据依赖,ACID 与失效缓存不单独证明跨层强一致。历史产品份额、价格、SLA 与容量数据均不作为当前事实。
发散与实践
读者延伸:将本书框架应用到本地 cardbox 的一次设计沟通与容量评估。交付的是两份有明确输入、产物和判据的任务计划,尚未执行容量测量、实现系统或开展真实面试。