来源书籍

System Design Interview – An insiders guide, Second Edition

Skill 版本:v23 经典原理 125 张卡片

Alex Xu · Byte Code LLC · 2020-06-09 · Second Edition

全书导读

本书面对的是有时间限制的开放式设计讨论。目标不是复刻一家公司的全部产品,而是把模糊问题变成可讨论的功能、规模和约束,再解释组件为何能够共同满足目标。相同题目可以有多种合理方案,前提是清楚说明假设与代价。

全书主线

先从逐层扩展和容量估算认识约束,再用沟通框架组织方案,随后在限流、存储、消息与内容系统中反复练习。后面的系统不是前面所有机制的总装,而是在各自读写模式、时延与故障目标下重新选择组合。

第00章 前言

本书面对的是有时间限制的开放式设计讨论。目标不是复刻一家公司的全部产品,而是把模糊问题变成可讨论的功能、规模和约束,再解释组件为何能够共同满足目标。相同题目可以有多种合理方案,前提是清楚说明假设与代价。

第01章 从单机逐步扩展

扩展从一个同时承担应用与数据处理的服务器开始。当不同资源遇到瓶颈时,把应用层、数据库、缓存和静态资源交付逐步分开,才能让它们独立扩容。负载均衡解决入口分发,复制提供冗余,分片增加容量,消息队列将耗时工作移出同步链路;这些机制处理的瓶颈不同,不能把它们当作必须一次性全部安装的清单。

域名解析把用户输入的主机名转成服务器地址;浏览器再向该地址发送 HTTP 请求,服务器返回页面或数据。DNS 解决的是如何找到入口,应用服务器负责实际业务处理,两者不应混成同一职责。 详见域名解析连接应用。

关系型存储用表与行组织数据并支持跨表关联;键值、文档、图等非关系模型各自优化不同访问方式。选型先检查数据结构、关联需求、延迟与规模,不能只因为用户增长就认定必须替换关系数据库。 详见按访问模式选择存储。

纵向扩容给单机增加 CPU、内存等资源,初期简单,但受硬件上限限制。横向扩容增加机器,需要解决流量分配和状态共享;它为冗余创造条件,却不会自动完成故障切换。 详见纵向与横向扩容。

负载均衡器作为统一访问入口,将请求分到健康的应用服务器。一台应用服务器失效时可将流量转给其他实例;因此应用层可用性提高,但仍须单独考虑负载均衡器本身的冗余。 详见负载均衡隔离故障。

主节点接收数据变更,从节点复制数据并承担读取,可把读负载分散。复制也提供故障恢复副本,但副本可能落后,主库切换时必须检查缺失数据;有副本不等于已实现零数据损失。 详见读写分离与主从复制。

缓存将频繁使用或计算代价高的结果放在快速存储中,减少回源。它适合读多改少的数据;重要事实仍须保存在持久存储中,因为缓存故障或淘汰会使内容消失。 详见缓存承担临时加速。

过期控制结果可被使用多久,淘汰决定空间不足时先移除什么。TTL 太短会频繁回源,太长会增加陈旧风险;LRU、LFU、FIFO 分别按近期性、频率和进入顺序取舍,两类策略解决不同问题。 详见缓存过期与淘汰。

数据库更新和缓存更新往往不在同一事务中,一处成功而另一处失败就可能读到旧值。评估缓存方案时要明确容忍的陈旧程度与失效处理,不能把增加缓存只当作没有一致性代价的提速。 详见缓存与数据库并非原子。

CDN 把静态资源缓存到不同地理位置的边缘节点。命中时就近返回,未命中时向源站取回并缓存;这样既缩短传输距离,也减少源站负载。低访问量资源可能不足以抵偿分发成本。 详见CDN就近分发静态资源。

CDN 的有效期需要兼顾新鲜度与回源量。资源更新可主动失效旧对象,或使用带版本的新 URL;边缘服务异常时还要设计客户端回源路径,避免把所有资源交付依赖在单一入口上。 详见CDN更新与故障回源。

无状态应用层把会话等跨请求状态移入共享存储,使任意应用实例都能处理后续请求。粘性会话把用户绑定在特定机器上,扩缩容和故障处理更困难;外置状态的代价是依赖共享存储。 详见无状态层外置会话。

就近 DNS 路由可以将用户导向附近机房,故障时切到健康机房。但路由成功不代表数据已到位;还须处理跨机房复制、切换后的数据可读性,以及各地部署和测试的一致性。 详见多机房需要数据同步。

生产者将任务放入消息队列,消费者按自身能力异步处理。双方不必同时可用,也可独立扩容;队列积压体现处理能力不足。队列承担缓冲职责,是否耐久仍取决于实际持久化配置。 详见队列解耦生产与消费。

日志帮助追查具体错误,指标反映主机、组件和业务整体状态,自动化使构建测试部署可重复。三者共同缩短发现与处置问题的路径,不能只收集 CPU 等资源指标而不观察业务结果。 详见日志指标与自动化协作。

分片键决定记录落在哪个物理分片,也决定请求能否直接定位数据。应同时检查分布均匀性和查询方式;分布均匀但常用查询不带分片键,仍可能付出跨分片访问成本。 详见分片键决定路由成本。

分片提高总体容量,却使扩容重分布、热点和跨片关联更复杂。反规范化可把部分查询收敛到单表,但会增加冗余;因此分片收益要连同数据迁移及查询改造一起评估。 详见分片引入迁移与关联代价。

原书依据 · 16 处

第02章 容量与性能估算

估算先固定用户规模、操作频率和单条数据大小,再转换为每秒请求、带宽和长期存储。这里的意义是检查设计是否在数量级上可行。例如,平均每秒操作量由日操作总数除以一天的秒数得出,峰值则依赖另一个明确假设。书中公司的流量及价格示例只作为历史教学输入。

容量估算把用户量、操作频率、数据大小和保留周期转成 QPS、存储与带宽需求,用来排除明显不合适的架构。结果用于判断数量级,假设和单位比表面精确的小数更重要。 详见容量估算检验设计。

一个字节包含八个比特,存储单位常以二的幂递增。估算中要明确字节还是比特、KB 采用什么口径;单位混用会使容量或带宽结论偏离,不能只记录没有量纲的数值。 详见字节单位影响数量级。

内存、磁盘和跨地域通信的成本相差很大。识别这些数量级能帮助发现磁盘寻址或跨地域往返是否主导耗时;书中历史延迟表用于建立直觉,具体硬件与网络数值应另行测量。 详见延迟数量级指导优化。

可用性描述约定时间内服务可工作的比例,SLA 是服务方与客户对交付水平的约定。多个九对应更小的不可用时间预算;讨论目标时须同时说明统计窗口与服务范围,百分比本身并不完整。 详见可用性换算停机预算。

平均 QPS 可按日活用户乘每人日操作次数,再除以一天秒数计算;峰值另加明确假设。存储按新增量乘单条大小和保留期估算。书中 Twitter 数字属于练习假设,不能作为真实公司流量事实。 详见从活跃用户推导QPS。

估算采用易计算的近似值,并把用户量、频率、峰值倍数与单位逐项写出。这样需求变化后可以重算,也便于对方指出不合理输入;追求精确算术不能替代检查模型是否漏项。 详见估算应保留假设和单位。

原书依据 · 6 处

第03章 面试沟通框架

设计沟通要先确认功能范围和关键约束,否则很可能高效地设计出错误的系统。总体图用于建立共识,深入讨论则聚焦风险或瓶颈最高的部分;最后回顾故障、监控与下一阶段扩展,使方案的边界可见。四阶段是协作框架,时间表不是固定配额。

开放式系统设计问题主要观察如何澄清模糊需求、解释取舍并响应反馈。组件清单再完整,若没有对应约束,也不能证明设计合理;过度设计会增加成本并掩盖真正的瓶颈。 详见设计面试评估协作过程。

先澄清需求和假设,再提出总体方案取得共识,随后选择关键组件深入,最后回顾瓶颈、故障与改进。四步组织的是限时面试沟通;具体时间分配只是参考,不能当成生产研发的完整验收流程。 详见系统设计面试四步法。

原书依据 · 2 处

第04章 限流器

限流器在入口判断请求是否仍在可接受速率内。不同算法不是精度越来越高的单向升级:令牌桶允许受控突发,漏桶平滑出流,固定窗口廉价但有边界突发,滑动日志精确却费内存,滑动计数用近似换空间。多实例运行还把问题分成规则发布、共享计数、原子更新和跨地域传播;只选对算法不能自动解决并发。

限流按用户、IP、设备或接口等维度限制时间范围内的请求数量,防止滥用和过载,也控制按调用计费的外部服务成本。限流阈值必须服务于资源保护目标,而不是任意拒绝请求。 详见限流控制资源消耗。

客户端可减少无效请求,却可能被绕过;真正的保护规则需要在可信服务端或网关执行。放在业务服务中便于定制算法,复用现有网关可减少建设成本,选择取决于能力与维护资源。 详见服务端执行限流规则。

桶以固定速率补充令牌,最多保留桶容量个;请求取得令牌才被放行。补充速率限制长期平均量,容量决定短期突发上限。桶满后多余令牌丢弃,因此空闲不会无限积累额度。 详见令牌桶容许有限突发。

请求进入有界先进先出队列,再以稳定速率离开;队列满时拒绝新请求。它能平滑下游负载,但突发请求会增加等待,老请求占满队列时也可能排斥更新的请求。 详见漏桶平滑处理速率。

固定窗口为每段时间维护计数,下一窗口重置。若请求集中在前一窗口末尾和后一窗口开头,每窗都合规,但跨边界的同长度区间可能通过近两倍额度;自然时间配额不等于滚动限额。 详见固定窗口有边界突发。

滑动日志记录请求时间戳,每次移除窗口外记录,再计入当前请求并判断数量。它能检查任意滚动窗口,但内存随记录数量增长;书中示例连拒绝请求也留在日志,需明确统计的是尝试还是成功请求。 详见滑动日志精确约束窗口。

滑动计数器用当前窗口计数加上一窗口计数乘重叠比例,近似滚动窗口请求量。例:3 加 5 乘 0.7 为 6.5;原文写成 0.7% 是算式笔误。该方法省内存,但依赖上一窗流量近似均匀的假设。 详见滑动计数近似滚动负载。

共享内存存储可让多个限流实例读取同一维度的计数,并通过过期清理窗口状态。INCR 和 EXPIRE 分别表达自增与到期,但把多个调用拼在一起不自然等于一次原子判断,仍需处理并发。 详见限流计数需要快速存储。

被限流时返回明确拒绝状态,并告知剩余额度、窗口上限与重试等待时间,使客户端可以退避。允许延迟处理的业务可选择入队,但排队和丢弃是不同承诺,不能用相同成功语义混淆。 详见限流响应说明重试时机。

规则描述限流维度、时间单位和阈值,可由配置文件维护并加载到缓存。将规则从请求判断逻辑分离便于调整;实际发布时仍须考虑实例何时拿到规则,不能把磁盘文件更新等同于所有节点同步生效。 详见限流规则独立发布。

两个并发请求都读到旧计数,再分别写回相同的新值,会少记一次请求并放过超额流量。共享 Redis 只解决状态集中,不会自动消除多步读改写竞态;检查与变更需要合适的原子执行机制。 详见限流读改写会竞争。

同一客户端可能被路由到不同限流实例,独立本地计数会让额度重复使用。粘性会话约束路由但削弱弹性,共享状态可统一观察配额;跨地域最终一致同步仍须接受传播期间的偏差。 详见多实例限流共享状态。

限流后要观察拒绝的正常请求和突发时的保护效果。规则过严应调整阈值,算法不适配突发则重新选择机制;部署完成不能证明策略有效,算法和业务规则都需要独立观察。 详见监控用于调整限流策略。

硬限流要求不能越过额度,软限流容许短时超出。应用层限流还可与网络层保护组合;客户端则通过缓存、理解配额和退避重试减少无效调用,但这些措施不能代替可信入口的强制控制。 详见硬软限流承诺不同。

原书依据 · 14 处

第05章 一致性哈希

固定取模的节点数参与每次路由,节点数量变化会打乱大量键。哈希环把变化限制到相邻范围,虚拟节点进一步把一个物理节点的责任分散到多个小区间。这改善整体分布和扩缩容迁移,但不把单个热门键自动拆成可并行服务的多个键。

用 hash(key) 对服务器数取模时,服务器数变化会改变许多键的归属,连原本不在故障节点上的键也可能迁移。在缓存场景中这会集中触发未命中,扩容成本不能只按新增节点的数据量估计。 详见取模扩容导致大量迁移。

一致性哈希将键和服务器映射到同一环,键归属顺时针遇到的第一个节点。增加节点只接管其前驱与自身之间的范围,删除节点把原范围交给后继,避免取模方案的全局重映射。 详见哈希环限制迁移范围。

一个物理节点对应环上多个虚拟位置,使其负责多个较小区间,降低随机位置造成的负载偏斜。节点能力不同时可分配不同数量的虚拟位置;更多位置也需要维护更多映射信息。 详见虚拟节点改善分布。

一致性哈希可缓解多个热点对象恰好落在同一节点的集中负载,但一个键仍通常映射到一个负责节点。不能从整体分布更均匀推出单个极热键已被拆开;这限制了书中热点缓解结论的适用范围。 详见均匀分布不拆分单热点。

原书依据 · 4 处

第06章 键值存储

键值系统的简单接口把复杂性移到内部:先决定数据属于谁,再决定副本放在哪里,以及何时可以向客户确认读写。分区和复制解决容量与故障冗余,却引入并发版本、修复与可见性约束。成员发现、提示移交与反熵分别处理发现故障、临时接管和长期差异;提交日志与 SSTable 则处理单节点持久化,不能混成同一个一致性协议。

键值存储通过唯一键获取关联值,值可被当作不透明对象处理。put 与 get 形成简单接口,适合按键路由;若主要需求是复杂关联查询,简单键值接口本身并不能直接提供这种能力。 详见键值接口按键访问对象。

哈希表把数据全部放在内存可获得快速访问,但内存容量和成本限制数据规模。压缩或冷热分层可以推迟瓶颈,跨节点分区则进一步扩大总体容量,同时引入复制与协调问题。 详见内存键值存储受容量限制。

网络分区使副本不能及时交换更新;继续接受独立读写可能暴露旧值或冲突,拒绝无法安全处理的请求则牺牲部分可用性。CAP 应结合分区情境讨论,不能把它简化成所有时刻任意三选二。 详见分区时须明确一致性取舍。

沿哈希环选择副本时,要跳过属于同一物理机器的其他虚拟节点,才能获得真正的多机冗余。还应把副本放入不同机房,降低同一电力或网络故障同时击穿所有副本的风险。 详见复制副本须区分故障域。

N 表示副本数,W 表示成功写需等待的确认数,R 表示读需收集的响应数。在固定的同一副本集合内,R 加 W 大于 N 保证读写集合相交;原文把相交直接称作强一致,取材仅保留可由集合关系证明的相交条件。 详见读写Quorum的相交条件。

强一致要求读取满足最新写入的可见性承诺,弱一致允许暂时读不到更新,最终一致承诺更新传播后副本收敛。选择较少确认可减少等待,但不能只从返回更快推导数据一定满足某种更强语义。 详见一致性模型规定可见结果。

两次修改都基于同一旧值时,后来到达的版本未必包含另一修改。给修改保留不可变版本并识别祖先与并发关系,能把覆盖问题显式暴露出来;发现分支后仍需业务决定如何合并。 详见版本记录保留并发分支。

向量时钟为参与者记录计数。若一个版本各分量都不小于另一版本且至少一项更大,可判为后继;若双方各有更大的分量,则表示并发分支。时钟帮助检测冲突,不会自动替应用选择合并结果。 详见向量时钟辨识因果。

参与节点增多会扩大版本向量,设置长度阈值并删除旧条目可以控制元数据开销,却可能丢掉判断祖先关系所需的信息。是否可接受这种代价要看冲突处理需求,不能用某历史系统未遇到问题作普遍保证。 详见向量截断损失因果信息。

节点维护成员与心跳计数,周期性向随机同伴传播,各节点合并更新信息。长时间不增长的心跳形成离线判断依据。它减少全互联通信,但超时反映观察结果,并不能绝对证明远端已停止运行。 详见Gossip传播成员心跳。

预定副本故障时,宽松 Quorum 可让环上其他健康节点临时代收读写,恢复后再交回。这样减少等待故障节点的阻塞,但响应集合可能改变,不能直接套用固定副本集合的相交结论。 详见宽松Quorum提高可用性。

替代节点暂存本应交给故障副本的更新,记录目标,等目标恢复后把数据移交回去。它为暂时不可达提供补偿路径;永久故障还需要额外的副本比较和重建,不能无限依赖原节点回来。 详见提示移交修复临时故障。

Merkle 树把数据范围分桶,叶子和内部节点保存逐级汇总的哈希。先比较根,不同再向下定位具体范围,只同步不一致的部分;它减少差异检查与传输量,但依赖双方一致的范围划分和哈希方式。 详见Merkle树定位副本差异。

书中基于 Cassandra 的写路径先把请求写入提交日志,再更新内存结构,到阈值后刷成磁盘 SSTable。有序键值表便于按键检索,先写日志则为内存内容尚未刷盘时的恢复保留依据。 详见日志先行再形成有序表。

读取先查内存,未命中时借助布隆过滤器筛出可能包含目标键的 SSTable,再读取数据。过滤器用于减少不必要的磁盘访问;“可能存在”仍要读取核实,不能把它当作完整数据或精确索引。 详见布隆过滤减少无效查盘。

原书依据 · 15 处

第07章 唯一ID

ID 设计需要同时满足唯一、位宽、生成速率和排序范围。步长自增、UUID、集中票号与雪花式编码在这些目标之间作不同取舍。雪花式方法把唯一性空间分给时间、机器身份和局部序列,但时间与身份的运行假设仍是保证的一部分;它不是无条件的数学去重魔法。

多台数据库用不同起点和固定步长产生不重叠序列,可分摊 ID 生成压力;但跨节点 ID 不一定按实际时间递增,增减机器也复杂。唯一、可扩容与按时间排序是不同约束。 详见分步自增难保证时间顺序。

独立生成 UUID 可减少协调,集中票号服务则容易产生短数字序列。前者不自然满足本题的 64 位与时间排序要求,后者有单点及扩容协调成本;选型必须逐项对照题目约束。 详见UUID与票号服务的取舍。

雪花式 ID 把 64 位划成符号、时间戳、机房、机器与毫秒内序列。不同机器用不同身份,同一机器同毫秒用递增序列,组合避免冲突;这种保证依赖身份分配与时钟假设,不能只照抄位数。 详见雪花ID拆分唯一性空间。

41 位毫秒时间戳可覆盖约 69 年,12 位序列在同一毫秒内提供 4096 个取值。调整字段长度是在寿命、部署规模与单机并发间分配空间;纪元和机器身份改变必须考虑旧 ID 兼容与冲突。 详见ID位数分配约束容量。

时间字段参与排序和唯一性,机器时钟不一致会破坏设计假设。原书指出同步问题却未展开完整处理方案;因此不能把提到 NTP 等同于已经解决时钟回拨、重启和身份复用问题。 详见时钟假设限制雪花ID。

原书依据 · 5 处

第08章 短链

短链系统维护短码到原地址的映射,写入要生成并保存映射,读取要找到地址并执行跳转。短码可来自截断哈希加冲突处理,或唯一 ID 的进制编码;前者处理碰撞,后者依赖 ID 的唯一性。读多写少使缓存有价值,而跳转状态及缓存策略还会影响点击统计能观察到什么。

永久与临时重定向对浏览器后续访问路径有不同影响:允许客户端复用永久跳转结果可减轻服务负载,但访问不再每次经过短链服务,点击统计更难。书中的解释是设计取舍示意,实际缓存行为仍取决于协议与响应配置。 详见短链跳转影响统计路径。

若短码允许 62 种字符,长度 n 可表示 62 的 n 次方个组合;应选满足目标记录数的最小长度。十年每日一亿条是 3650 亿条,七位空间约 3.52 万亿;原文估算段落的年数与存储算式存在笔误,不能照抄。 详见短码长度由编码空间决定。

截取长哈希生成短码会丢失信息,不同长 URL 可能得到同一码。必须检查冲突并重试或采用其他消歧方式;数据库检测也有成本,布隆过滤只可辅助减少检查,不能充当最终唯一性约束。 详见截断哈希必须处理碰撞。

先生成全局唯一数值 ID,再以 Base62 表示,编码本身不引入新碰撞。长 URL 与短码映射仍须持久保存;编码不是对 URL 的可逆压缩,也不解决并发创建同一长 URL 的全部幂等问题。 详见唯一ID转换为Base62。

短链访问通常多于创建,可缓存短码到长 URL 的映射。缓存未命中再查持久存储,不存在则按无效短码处理;缓存承担读加速,映射事实仍须在数据库中可恢复。 详见短链读路径优先查缓存。

原书依据 · 5 处

第09章 网络爬虫

爬虫是一条不断反馈新链接的流水线。为了既扩大覆盖又不压垮外部站点,前队列选择优先级,后队列约束同主机抓取节奏;下载、解析、过滤和去重再把可继续处理的链接放回队列。URL 身份与页面内容分别去重,重抓策略维持新鲜度,故障状态保存和陷阱过滤保证长时间运行可恢复。

爬虫从种子页面提取链接,再调度下载更多页面。搜索索引、归档和监控对内容类型、更新频率、留存与去重有不同需求;应先约定目标,不能把一套遍历流程当成所有爬取业务的完整方案。 详见爬虫目标决定规模边界。

URL 去重避免同一地址重复入队和形成循环,内容去重避免不同地址的同一页面被反复存储。两者处理对象不同:只比较地址不能消除镜像内容,只比较内容也不能阻止重复下载。 详见URL与内容分别去重。

调度队列提供待抓 URL,下载器处理网络请求,解析器验证和抽取内容,过滤与去重决定哪些链接重新入队。将这些步骤分开便于扩容和处理畸形页面,不把慢解析直接阻塞所有下载工作。 详见爬取流水线分离职责。

标准广度优先只按发现顺序推进,无法表达页面重要性。前队列按流量、更新频率等信号分级,再偏向高优先级队列选择任务;这使有限抓取资源优先处理更有价值的内容。 详见爬取前队列控制优先级。

同一主机的 URL 归入同一后队列,由下载线程顺序处理,并可加入间隔。它避免并行抓取淹没单一网站。前队列决定先抓什么,后队列约束对同一站点抓得多快,两者协同而非互相替代。 详见爬取后队列维护礼貌性。

网页会持续增删改,爬虫需要重新访问。按更新历史和重要性分配不同重抓频率,可比全站等频重抓更节省资源;需要新鲜度的页面应优先获得预算,而不是只追求一次抓到最多地址。 详见更新历史决定重抓频率。

海量待抓 URL 全放内存既昂贵又缺乏持久保障,全走磁盘则访问较慢。主体留在磁盘、入队出队使用内存缓冲并定期落盘,可以平衡容量和效率;恢复能力仍取决于状态保存设计。 详见抓取队列采用冷热分层。

爬虫在下载前读取 robots.txt,按站点声明筛选允许范围,并缓存及定期更新规则。它是抓取行为约束,不能因为目标链接已进入队列就忽略;书中规则示例属于历史文本,不代表站点当前配置。 详见抓取遵守站点排除规则。

下载器对慢响应设置最大等待,避免工作线程长期被占用;缓存域名解析结果减少重复 DNS 调用。两者分别缩短等待和减少外部访问,但过长缓存也可能保留旧地址,需要更新策略。 详见抓取超时与DNS缓存。

无限目录等页面会不断产生新 URL,使遍历无法收敛。长度上限、异常发现量监控及定制 URL 过滤可降低风险;没有一种简单规则能检测所有陷阱,仍需检查误判与异常站点。 详见爬虫陷阱需要多层过滤。

只下载静态 HTML 无法得到由 JavaScript 在运行时生成的链接。对此可以先进行动态渲染再解析;这增加处理成本,适用于确有必要发现动态内容的范围,不应对所有页面无差别开启。 详见动态链接需要渲染后提取。

原书依据 · 11 处

第10章 通知

通知将业务事件变成某种通道上的用户消息。入口负责校验及读取设置,队列隔离通道,工作器调用对应供应商。持久化与重试保留可恢复的事件,去重减少重复,用户意愿和频率限制决定是否应该发送。处理成功、到达设备和用户互动是不同观察层,监控不能只剩一个成功率。

推送、短信与邮件使用不同的服务接口和目的地址。用户信息与设备信息分开保存,使同一用户可关联多个设备;通道集成应可替换,避免把第三方平台能力当作永久不变的业务前提。 详见通知通道分别集成。

通知入口完成校验、加载用户设置和模板,再把事件送入对应通道队列,由各自工作器发送。不同通道使用独立队列,可减少一个供应商故障拖累其他通道,并分别调整消费能力。 详见通知队列隔离通道故障。

持久化通知事件为失败恢复保留事实,失败发送进入重试路径。它降低丢失风险,却不保证收件人恰好收到一次;重试可能引入重复,还需要按事件身份去重并处理失败边界。 详见通知持久化与重试互补。

用户可按通道选择是否接收通知,发送前检查设置,并对接收频率设上限。模板帮助统一格式,用户设置决定能否发送,两者不能混淆;高到达率也不应以持续打扰用户为代价。 详见发送前检查通知意愿。

队列长度和处理速度反映系统能否及时发送,打开率与点击率反映送达后的互动。扩容消费者解决的是处理积压,不能直接证明内容有用;两类信号应分别观察。 详见通知积压与点击分别衡量。

原书依据 · 5 处

第11章 信息流

信息流的关键是把发布者的内容转换成读者时间线。写扩散提前计算、读取较快,但粉丝多时成本高;读扩散按需聚合,减少无效写入,却使读取更重。混合设计按用户特征分担成本,缓存只保存必要 ID,再在读取时补齐内容,权限设置必须进入实际分发路径。

写扩散在发布时把帖子 ID 推到好友的时间线,读快但对大粉丝用户写放大严重;读扩散在读取时聚合,节省不活跃用户的预计算却增加读延迟。选择取决于读写比例和关系规模。 详见信息流推拉各有成本。

大部分用户采用写扩散,大粉丝账户采用读取时拉取,可兼顾读取速度和发布成本。混合策略处理的是社交关系带来的扇出差异;不能仅靠数据分布均匀就认定名人写放大已经消失。 详见普通用户与名人混合扩散。

时间线缓存仅保存帖子 ID 与用户关联,读取时再从用户及帖子缓存补齐展示对象,媒体从 CDN 获取。这样减少列表重复保存完整对象的内存成本,并可限制每个用户缓存的近期条数。 详见信息流缓存保存ID列表。

扩散工作先获取好友关系与设置,过滤静音、选择性分享等限制,再把接收者和帖子 ID 入队。好友关系只说明潜在可见范围,不能替代实际的内容访问与隐私规则。 详见扩散前应用可见性设置。

原书依据 · 4 处

第12章 聊天

聊天同时包含无状态的账号接口和有状态的实时连接。WebSocket 负责持续双向传输,服务发现帮助选节点,持久化历史与设备游标保证断线后可补齐。群消息与在线状态各有扇出问题:小群复制到收件箱简单,大群则要控制广播成本。消息顺序的范围要先说明,不能凭时间戳看起来递增就宣称实现了全局因果顺序。

轮询周期询问是否有消息,空请求多;长轮询等新消息或超时后再发起,减少无效频率;WebSocket 建立持久双向通道,适合实时聊天。持久连接也带来连接归属和失效重连管理。 详见轮询长轮询与双向连接。

登录、资料等接口可由无状态 API 处理,聊天服务则持有客户端长连接。扩容时须知道用户连在哪台服务器,不能把所有功能都按随意路由的无状态请求处理。 详见聊天有状态连接单独管理。

聊天历史量大,近期数据访问最频繁,也有搜索与跳转到旧消息的随机访问需求。存储选型要同时考虑这些模式及分区方式,不能只因近期消息多就丢掉长尾读取要求。 详见聊天存储适配历史访问。

消息 ID 应唯一且能支持所需顺序,单靠创建时间可能遇到同一时刻多条消息。若只要求频道内有序,可采用局部序列;无需为不存在的全局顺序要求付出更多协调成本。 详见消息顺序只需覆盖作用域。

客户端认证后,通过服务发现得到合适的聊天服务器,再建立长连接。选择可考虑位置与容量;注册信息为分配提供基础,具体推荐策略仍属于应用设计,不能把注册系统等同于自动完成全部负载决策。 详见服务发现推荐连接节点。

每台设备保存自己已看到的最大消息 ID,读取属于当前用户且 ID 更大的消息。不同设备分别推进游标,便于离线后补齐;这一方法依赖消息身份及排序承诺,而非只记最后打开应用的时间。 详见设备游标支持增量同步。

小群消息复制进每位接收者的同步队列,客户端只查自己的收件箱即可得到新消息。群较小时复制成本可接受;群很大时每条消息的扇出和存储会增长,不能无限沿用同一方案。 详见小群收件箱简化消息同步。

在线状态服务在一定时间内收到心跳就保留在线判断,超过阈值再标离线,避免网络短暂抖动使状态频繁闪变。心跳间隔与离线阈值是体验和检测及时性的取舍,书中秒数只是演示。 详见在线心跳平滑瞬时断线。

小群可通过发布订阅及时推送好友状态,大群每次状态变化都广播会产生巨大事件量。可改为进入群组或手动刷新时查询,降低扇出;代价是状态新鲜度与即时性的变化。 详见在线状态按群规模分发。

原书依据 · 9 处

第13章 搜索自动补全

自动补全先把历史查询变成候选排名,再在用户输入前缀时快速返回。前缀树定位共享前缀,节点缓存热门候选减少在线遍历,日志聚合和周期构建把更新成本移出读路径。这个组织方式用新鲜度换吞吐;实时热点、过滤删除和分片偏斜因此需要额外设计。

前缀树让共享前缀的字符串共用从根出发的路径。查询先定位前缀节点,再搜索后代的有效词并排序;树解决前缀定位,不自然保证整棵子树的候选搜索足够快。 详见前缀树组织候选字符串。

在每个前缀节点保存少量最高频候选,查询定位后即可返回,避免反复遍历和排序后代。代价是更大空间与更新传播;所谓常数查询成本依赖前缀长度及返回条数都有固定上限的假设。 详见前缀节点预存热门候选。

原始查询先写日志,再聚合频率、异步构建前缀树并发布缓存。这样在线请求不必同步更新全部祖先节点;周更适合允许陈旧的场景,不能用它满足突发热点的实时补全。 详见补全统计与在线查询分离。

客户端短时缓存重复前缀结果可减少后端请求,日志抽样则减少统计处理量。二者分别优化服务与数据采集,采样后频次是估计,不能把减少记录解释为保留了全部精确查询事实。 详见补全缓存和采样降低成本。

不应展示的补全词可先在查询前置过滤层屏蔽,再异步从持久数据中移除。前者缩短生效延迟,后者使下一轮构建不再带回旧词;只等待周期重建会留出继续展示的窗口。 详见屏蔽与物理删除分开。

按首字母等分服务器简单,但不同字母开头的查询量可能差别很大。按历史分布组合或细分前缀范围,并维护范围到节点的映射,可更贴近真实负载,而非假设字母数量相等就负载相等。 详见前缀分片须考虑分布偏斜。

周期批量构建无法及时反映刚发生的搜索热点。缩小分片数据集、提高近期查询权重和引入流式处理是可讨论方向;原书只给出思路,没有交付完整实时排名算法。 详见实时补全要求更新链路变化。

原书依据 · 7 处

第14章 视频点播

视频点播将元数据控制与媒体传输分开:原始内容上传后形成可并行的转码任务,处理结果进入对象存储及 CDN,播放端持续取回小段内容。容器、编码、码率和播放协议各有职责。DAG 表达哪些任务能同时执行,资源管理器决定在哪执行,队列提供缓冲;这些调度手段不能取消真实的数据依赖。

上传把原始视频送入存储并启动转码,完成事件更新元数据;播放主要从 CDN 读取处理后的内容。控制元数据的 API 与大流量媒体传输分开,可让二者独立扩容并优化。 详见视频上传与播放分流。

容器组织视频、音频和元数据,编解码器负责压缩与解压内容。文件扩展名通常反映容器,不能直接代表内部编码;为不同设备和网络准备多个格式与码率,才能兼顾兼容性及流畅度。 详见容器与编解码器不同。

有向无环图用任务节点和依赖边描述检测、转码、缩略图与水印等处理。前置结果满足后可并行执行互不依赖的任务;队列解耦调度不等于取消真实数据依赖。 详见DAG表达转码依赖。

资源管理器维护待执行任务、可用工作器和运行中任务,按优先级及利用率分配,再在完成后回收记录。调度器决定谁执行,工作器负责实际计算,二者分开便于扩容和故障重试。 详见资源调度匹配任务与工作器。

按可独立播放的图像组切分视频,可并行上传并在失败后只续传缺失片段。旧客户端不会切分时由预处理器补做,临时保存片段与元数据便于重试;切分边界仍须符合视频处理约束。 详见GOP分片支持并行与续传。

客户端先经 API 获取包含授权的上传 URL,再向对应对象位置传输视频。它使控制权限与搬运数据分开;授权指向特定资源,不能把取得一个 URL 理解为无限制写入整个存储空间。 详见预签名URL授权指定上传。

少数热门视频承担大量访问,而长尾内容访问稀少。可优先将热门内容放 CDN,冷内容按需转码或减少副本,并根据地域热度投放;这些优化应依据真实访问分布,不能只凭全站平均量决定。 详见热门程度指导视频分发。

临时转码或工作器故障可有限重试并重派任务,畸形文件等不可恢复错误应停止相关处理并返回原因。没有区分错误类型的无限重试会持续消耗资源,也不能使无效输入自动变好。 详见视频故障按可恢复性处理。

DRM、加密与可见水印分别提供授权播放控制、内容机密性和归属标识。它们作用不同,不能把添加水印等同于禁止复制;方案还须与播放客户端和授权流程一起设计。 详见内容保护包含多种边界。

原书依据 · 9 处

第15章 云盘

云盘把文件分解成数据块与版本元数据。块服务器负责分块、压缩和加密,元数据记录路径、版本以及重建顺序,通知促使其他设备拉取变化。增量同步减少传输,版本冲突保留双方副本,上传状态区分有记录和有完整内容。书中对 ACID、缓存失效与强一致性的连接是简化说明,本笔记不把删除缓存或选择 SQL 数据库当作端到端强一致性的充分证明。

文件内容存对象存储,用户、路径、版本和块关系存元数据系统。独立管理便于扩容与查询;重建文件还需可靠的元数据指向,不能只保证数据块存在却丢失组织关系。 详见文件数据与元数据分离。

两人基于同一旧文件提交修改时,可以先接受先处理的版本,让后提交者看到冲突并保留本地及服务端副本,之后选择合并或覆盖。检测冲突与自动协同编辑是不同能力,原书方案不包含完整实时协作。 详见文件冲突保留双方副本。

大文件上传先建立会话获得续传地址,再上传数据并观察进度,网络中断后从已知位置继续。它减少重传成本,但上传会话和进度必须可识别,不能把一次普通重试就称作断点续传。 详见断点续传记录上传进度。

文件切成块后,更新时只同步发生变化的块,再按顺序重建文件;压缩进一步减少传输量。它适合频繁局部修改的大文件,元数据必须准确记录当前版本由哪些块组成。 详见增量同步只传修改块。

文件元数据指向当前版本,历史版本记录保留已有块的组合而不原地改写,支持回看和恢复。块级去重可复用相同内容,但删除旧版本时要遵守引用与保留策略,不能误删仍被其他版本使用的块。 详见文件版本记录保持只读。

元数据先建立待上传状态,块服务器完成分块、压缩、加密和存储后,再将状态改为完成并通知其他客户端。元数据已建立不代表文件已可完整下载,两个阶段不能用同一完成标记掩盖。 详见上传状态区分待传与完成。

通知服务告诉客户端文件有变化,客户端再取元数据并下载所需块;离线客户端回来后补取变更。通知不承担传输完整文件的职责,低频单向变更通知可用长轮询,不必一律采用双向 WebSocket。 详见文件变更通知触发拉取。

块去重减少相同内容,限制版本数和保留更有价值的版本减少历史负担,冷存储降低长期不活跃文件成本。三种方式分别改变重复量、保留量和存储层次,仍须遵守恢复与留存目标。 详见历史版本与冷存储控成本。

API 可由其他无状态实例接手,块处理可重派,元数据与对象存储靠各自副本恢复,长轮询断线后客户端需重连。每层冗余只覆盖对应故障,不能用“多副本”一词代替端到端恢复设计。 详见文件同步须逐层设计恢复。

原书依据 · 9 处

第16章 继续学习

持续学习的入口是真实架构文章和工程博客。应先问系统面对什么规模与约束,再看技术如何满足目标,最后寻找这些选择失效的场景。本项大量链接属于进一步阅读目录,登记它们不表示已经阅读这些外部文章或核验当前链接有效性。

阅读真实系统应同时关注共同原理、采用的技术及其解决的问题。把案例当成约束与取舍的材料,才能迁移到自己的设计;照抄公司组件清单并不能解释它为何适合当前场景。 详见真实架构材料用于反推约束。

原书依据 · 1 处

第17章 延伸阅读

延伸阅读补充分布式系统基础、简历表达和数据密集型系统设计。三者服务于不同问题:理解技术、表达经历、追问机制。本节只解释原书推荐关系,不将推荐语升级为对这些作品的完整评价。

Understanding Distributed Systems 从网络栈进入一致性、韧性、扩展与可靠性等基础主题,适合作为系统设计案例之前的概念补充。这里依据的是本书推荐段落的范围介绍,不据此声称已读过被推荐书的全部内容。 详见分布式入门书的学习边界。

The Tech Resume Inside-Out 聚焦技术简历,推荐段落强调其结合招聘者和招聘经理的意见。它补充的是求职信息表达,与架构推理属于不同准备任务;不能把架构知识积累等同于已具备有效简历。 详见简历书补充求职表达。

Designing Data-Intensive Applications 被介绍为讨论扩展性、一致性、可靠性、效率与可维护性的深入技术书,可用于追问案例背后的机制。该卡只记录推荐关系与介绍范围,不替代对被推荐原书的独立阅读。 详见数据密集系统拓宽设计基础。

原书依据 · 3 处

第18章 后记

后记强调反复练习并提供反馈和社群入口,没有新增系统机制。它承担全书收束作用;宣传链接不进入知识卡,也不意味着本轮发送反馈、加入社群或执行求职活动。

跨章综合

全书反复出现三个问题:数据由谁保存、工作何时执行、失败后如何知道结果。缓存和 CDN 改变读取位置,队列和预计算改变执行时点,版本、日志和副本修复改变恢复依据。聊天选择长连接,云盘选择低频变更通知,说明通信形式要跟随交互模式;信息流写扩散和小群收件箱则共同说明预计算可换取读效率,却都受接收者规模制约。

阅读边界:滑动窗口比例和短链年数的算术笔误已在相关卡中更正;Quorum 相交仅按固定集合的相交条件解释,不照搬为线性一致保证;哈希环的负载均衡不宣称解决单键热点;队列不取消上游数据依赖,ACID 与失效缓存不单独证明跨层强一致。历史产品份额、价格、SLA 与容量数据均不作为当前事实。

发散与实践

读者延伸:将本书框架应用到本地 cardbox 的一次设计沟通与容量评估。交付的是两份有明确输入、产物和判据的任务计划,尚未执行容量测量、实现系统或开展真实面试。

生成进度与管理记录

System Design Interview – An insiders guide, Second Edition

Skill 版本:v23

执行模式:light

建档进度:done

信息浓度:高

稳定性/时效性:高(容量、复制、分片及设计权衡较耐久;产品数据、价格和协议示例须按实际环境另核对)

四象限:经典原理

内容形态:问题思考型,前置基础章节兼用概念解析。

评级依据:限流比较五类算法并讨论分布式竞态;键值存储把分区、副本、版本与修复联系起来;聊天和云盘分别按交互与同步约束选择通信。示例不作为当前生产事实。

整书笔记:_book_note.md;schema 1;SHA-256 f8fc6a583a964289f0c6566ea785b705b01b9d90720416ec01b0d1f1f5e40f6a。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 前言 done 0
01 从单机逐步扩展 done 16
02 容量与性能估算 done 6
03 面试沟通框架 done 2
04 限流器 done 14
05 一致性哈希 done 4
06 键值存储 done 15
07 唯一ID done 5
08 短链 done 5
09 网络爬虫 done 11
10 通知 done 5
11 信息流 done 4
12 聊天 done 9
13 搜索自动补全 done 7
14 视频点播 done 9
15 云盘 done 9
16 继续学习 done 1
17 延伸阅读 done 3
18 后记 done 0

非正文排除

spine项 类型 排除理由
0 / titlepage.xhtml 非正文 封面,仅封面标识
1 / text/part0000.html 非正文 版权与作者履历,无系统设计正文
2 / text/part0001.html 非正文 订阅与社群宣传,无实质方法解释
3 / text/part0002.html 非正文 纯目录,正文另行覆盖
19 / text/part0005.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
26 / text/part0007.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
35 / text/part0011.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
40 / text/part0013.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
49 / text/part0018.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
55 / text/part0020.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
61 / text/part0022.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
67 / text/part0024.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
73 / text/part0026.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
79 / text/part0028.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
85 / text/part0030.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
91 / text/part0032.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
97 / text/part0034.html 非正文 纯参考文献列表;名称与位置另登记引用文献表
103 / text/part0036.html 非正文 纯参考文献列表;名称与位置另登记引用文献表

待关联术语

术语名 出现章节 一句话语境
NTP 07 时钟同步方向,只提名,未给出回拨处理方案。
PageRank 09 页面优先级信号,算法细节未在本书展开。
Unicode 13 多语言扩展的字符表示,不扩写编码规范。
MapReduce、Spark Streaming、Storm、Kafka 13 实时处理的延伸技术入口,未据此编造当前产品能力。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Hypertext Transfer Protocol: https://en.wikipedia.org/wiki/Hypertext_Transfer_Protocol 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Should you go Beyond Relational Databases?: https://blog.teamtreehouse.com/should-you-go-beyond-relational-databases 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Replication: https://en.wikipedia.org/wiki/Replication_(computing) 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Multi-master replication: https://en.wikipedia.org/wiki/Multi-master_replication 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
NDB Cluster Replication: Multi-Master and Circular Replication: https://dev.mysql.com/doc/refman/5.7/en/mysql-cluster-replication-multi-master.html 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Caching Strategies and How to Choose the Right One: https://codeahoy.com/2017/08/11/caching-strategies-and-how-to-choose-the-right-one/ 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
R. Nishtala, “Facebook, Scaling Memcache at,” 10th USENIX Symposium on Networked Systems Design and Implementation (NSDI ’13). 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Single point of failure: https://en.wikipedia.org/wiki/Single_point_of_failure 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Amazon CloudFront Dynamic Content Delivery: https://aws.amazon.com/cloudfront/dynamic-content/ 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Configure Sticky Sessions for Your Classic Load Balancer: https://docs.aws.amazon.com/elasticloadbalancing/latest/classic/elb-sticky-sessions.html 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Active-Active for Multi-Regional Resiliency: https://netflixtechblog.com/active-active-for-multi-regional-resiliency-c47719f6685b 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
Amazon EC2 High Memory Instances: https://aws.amazon.com/ec2/instance-types/high-memory/ 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
What it takes to run Stack Overflow: http://nickcraver.com/blog/2013/11/22/what-it-takes-to-run-stack-overflow 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
What The Heck Are You Actually Using NoSQL For: http://highscalability.com/blog/2010/12/6/what-the-heck-are-you-actually-using-nosql-for.html 论文/框架/源码项目(按条目) 01 原书延伸阅读;本轮未阅读或验证链接现状。
J. Dean.Google Pro Tip: Use Back-Of-The-Envelope-Calculations To Choose The Best Design: http://highscalability.com/blog/2011/1/26/google-pro-tip-use-back-of-the-envelope-calculations-to-choo.html 论文/框架/源码项目(按条目) 02 原书延伸阅读;本轮未阅读或验证链接现状。
System design primer: https://github.com/donnemartin/system-design-primer 论文/框架/源码项目(按条目) 02 原书延伸阅读;本轮未阅读或验证链接现状。
Latency Numbers Every Programmer Should Know: https://colin-scott.github.io/personal_website/research/interactive_latency.html 论文/框架/源码项目(按条目) 02 原书延伸阅读;本轮未阅读或验证链接现状。
Amazon Compute Service Level Agreement: https://aws.amazon.com/compute/sla/ 论文/框架/源码项目(按条目) 02 原书延伸阅读;本轮未阅读或验证链接现状。
Compute Engine Service Level Agreement (SLA): https://cloud.google.com/compute/sla 论文/框架/源码项目(按条目) 02 原书延伸阅读;本轮未阅读或验证链接现状。
SLA summary for Azure services: https://azure.microsoft.com/en-us/support/legal/sla/summary/ 论文/框架/源码项目(按条目) 02 原书延伸阅读;本轮未阅读或验证链接现状。
Rate-limiting strategies and techniques: https://cloud.google.com/solutions/rate-limiting-strategies-techniques 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Twitter rate limits: https://developer.twitter.com/en/docs/basics/rate-limits 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Google docs usage limits: https://developers.google.com/docs/api/limits 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
IBM microservices: https://www.ibm.com/cloud/learn/microservices 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Throttle API requests for better throughput: https://docs.aws.amazon.com/apigateway/latest/developerguide/api-gateway-request-throttling.html 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Stripe rate limiters: https://stripe.com/blog/rate-limiters 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Shopify REST Admin API rate limits: https://help.shopify.com/en/api/reference/rest-admin-api-rate-limits 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Better Rate Limiting With Redis Sorted Sets: https://engineering.classdojo.com/blog/2015/02/06/rolling-rate-limiter/ 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
System Design — Rate limiter and Data modelling: https://medium.com/@saisandeepmopuri/system-design-rate-limiter-and-data-modelling-9304b0d18250 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
How we built rate limiting capable of scaling to millions of domains: https://blog.cloudflare.com/counting-things-a-lot-of-different-things/ 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Redis website: https://redis.io/ 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Lyft rate limiting: https://github.com/lyft/ratelimit 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Scaling your API with rate limiters: https://gist.github.com/ptarjan/e38f45f2dfe601419ca3af937fff574d#request-rate-limiter 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
What is edge computing: https://www.cloudflare.com/learning/serverless/glossary/what-is-edge-computing/ 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Rate Limit Requests with Iptables: https://blog.programster.org/rate-limit-requests-with-iptables 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
OSI model: https://en.wikipedia.org/wiki/OSI_model#Layer_architecture 论文/框架/源码项目(按条目) 04 原书延伸阅读;本轮未阅读或验证链接现状。
Consistent hashing: https://en.wikipedia.org/wiki/Consistent_hashing 论文/框架/源码项目(按条目) 05 原书延伸阅读;本轮未阅读或验证链接现状。
Consistent Hashing: https://tom-e-white.com/2007/11/consistent-hashing.html 论文/框架/源码项目(按条目) 05 原书延伸阅读;本轮未阅读或验证链接现状。
Dynamo: Amazon’s Highly Available Key-value Store: https://www.allthingsdistributed.com/files/amazon-dynamo-sosp2007.pdf 论文/框架/源码项目(按条目) 05 原书延伸阅读;本轮未阅读或验证链接现状。
Cassandra - A Decentralized Structured Storage System: http://www.cs.cornell.edu/Projects/ladis2009/papers/Lakshman-ladis2009.PDF 论文/框架/源码项目(按条目) 05 原书延伸阅读;本轮未阅读或验证链接现状。
How Discord Scaled Elixir to 5,000,000 Concurrent Users: https://blog.discord.com/scaling-elixir-f9b8e1e7c29b 论文/框架/源码项目(按条目) 05 原书延伸阅读;本轮未阅读或验证链接现状。
CS168: The Modern Algorithmic Toolbox Lecture #1: Introduction and Consistent Hashing: http://theory.stanford.edu/~tim/s16/l/l1.pdf 论文/框架/源码项目(按条目) 05 原书延伸阅读;本轮未阅读或验证链接现状。
Maglev: A Fast and Reliable Software Network Load Balancer: https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/44824.pdf 论文/框架/源码项目(按条目) 05 原书延伸阅读;本轮未阅读或验证链接现状。
Amazon DynamoDB: https://aws.amazon.com/dynamodb/ 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
memcached: https://memcached.org/ 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
Redis: https://redis.io/ 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
Dynamo: Amazon’s Highly Available Key-value Store: https://www.allthingsdistributed.com/files/amazon-dynamo-sosp2007.pdf 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
Cassandra: https://cassandra.apache.org/ 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
Bigtable: A Distributed Storage System for Structured Data: https://static.googleusercontent.com/media/research.google.com/en//archive/bigtable-osdi06.pdf 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
Merkle tree: https://en.wikipedia.org/wiki/Merkle_tree 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
Cassandra architecture: https://cassandra.apache.org/doc/latest/architecture/ 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
SStable: https://www.igvita.com/2012/02/06/sstable-and-log-structured-storage-leveldb/ 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
Bloom filter https://en.wikipedia.org/wiki/Bloom_filter 论文/框架/源码项目(按条目) 06 原书延伸阅读;本轮未阅读或验证链接现状。
Universally unique identifier: https://en.wikipedia.org/wiki/Universally_unique_identifier 论文/框架/源码项目(按条目) 07 原书延伸阅读;本轮未阅读或验证链接现状。
Ticket Servers: Distributed Unique Primary Keys on the Cheap: https://code.flickr.net/2010/02/08/ticket-servers-distributed-unique-primary-keys-on-the-cheap/ 论文/框架/源码项目(按条目) 07 原书延伸阅读;本轮未阅读或验证链接现状。
Announcing Snowflake: https://blog.twitter.com/engineering/en_us/a/2010/announcing-snowflake.html 论文/框架/源码项目(按条目) 07 原书延伸阅读;本轮未阅读或验证链接现状。
Network time protocol: https://en.wikipedia.org/wiki/Network_Time_Protocol 论文/框架/源码项目(按条目) 07 原书延伸阅读;本轮未阅读或验证链接现状。
A RESTful Tutorial: https://www.restapitutorial.com/index.html 论文/框架/源码项目(按条目) 08 原书延伸阅读;本轮未阅读或验证链接现状。
Bloom filter: https://en.wikipedia.org/wiki/Bloom_filter 论文/框架/源码项目(按条目) 08 原书延伸阅读;本轮未阅读或验证链接现状。
US Library of Congress: https://www.loc.gov/websites/ 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
EU Web Archive: http://data.europa.eu/webarchive 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
Digimarc: https://www.digimarc.com/products/digimarc-services/piracy-intelligence 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
Heydon A., Najork M. Mercator: A scalable, extensible web crawler World Wide Web, 2 (4) (1999), pp. 219-229 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
By Christopher Olston, Marc Najork: Web Crawling. http://infolab.stanford.edu/~olston/publications/crawling_survey.pdf 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
29% Of Sites Face Duplicate Content Issues: https://tinyurl.com/y6tmh55y 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
Rabin M.O., et al. Fingerprinting by random polynomials Center for Research in Computing Techn., Aiken Computation Laboratory, Univ. (1981) 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
B. H. Bloom, “Space/time trade-offs in hash coding with allowable errors,” Communications of the ACM, vol. 13, no. 7, pp. 422–426, 1970. 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
Donald J. Patterson, Web Crawling: https://www.ics.uci.edu/~lopes/teaching/cs221W12/slides/Lecture05.pdf 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
L. Page, S. Brin, R. Motwani, and T. Winograd, “The PageRank citation ranking: Bringing order to the web,” Technical Report, Stanford University, 1998. 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
Burton Bloom. Space/time trade-offs in hash coding with allowable errors. Communications of the ACM, 13(7), pages 422–426, July 1970. 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
Google Dynamic Rendering: https://developers.google.com/search/docs/guides/dynamic-rendering 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
T. Urvoy, T. Lavergne, and P. Filoche, “Tracking web spam with hidden style similarity,” in Proceedings of the 2nd International Workshop on Adversarial Information Retrieval on the Web, 2006. 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
H.-T. Lee, D. Leonard, X. Wang, and D. Loguinov, “IRLbot: Scaling to 6 billion pages and beyond,” in Proceedings of the 17th International World Wide Web Conference, 2008. 论文/框架/源码项目(按条目) 09 原书延伸阅读;本轮未阅读或验证链接现状。
Twilio SMS: https://www.twilio.com/sms 论文/框架/源码项目(按条目) 10 原书延伸阅读;本轮未阅读或验证链接现状。
Nexmo SMS: https://www.nexmo.com/products/sms 论文/框架/源码项目(按条目) 10 原书延伸阅读;本轮未阅读或验证链接现状。
Sendgrid: https://sendgrid.com/ 论文/框架/源码项目(按条目) 10 原书延伸阅读;本轮未阅读或验证链接现状。
Mailchimp: https://mailchimp.com/ 论文/框架/源码项目(按条目) 10 原书延伸阅读;本轮未阅读或验证链接现状。
You Cannot Have Exactly-Once Delivery: https://bravenewgeek.com/you-cannot-have-exactly-once-delivery/ 论文/框架/源码项目(按条目) 10 原书延伸阅读;本轮未阅读或验证链接现状。
Security in Push Notifications: https://cloud.ibm.com/docs/services/mobilepush?topic=mobile-pushnotification-security-in-push-notifications 论文/框架/源码项目(按条目) 10 原书延伸阅读;本轮未阅读或验证链接现状。
RadditMQ: https://bit.ly/2sotIa6 论文/框架/源码项目(按条目) 10 原书延伸阅读;本轮未阅读或验证链接现状。
How News Feed Works: https://www.facebook.com/help/327131014036297/ 论文/框架/源码项目(按条目) 11 原书延伸阅读;本轮未阅读或验证链接现状。
Friend of Friend recommendations Neo4j and SQL Sever: http://geekswithblogs.net/brendonpage/archive/2015/10/26/friend-of-friend-recommendations-with-neo4j.aspx 论文/框架/源码项目(按条目) 11 原书延伸阅读;本轮未阅读或验证链接现状。
Erlang at Facebook: https://www.erlang-factory.com/upload/presentations/31/EugeneLetuchy-ErlangatFacebook.pdf 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
Messenger and WhatsApp process 60 billion messages a day: https://www.theverge.com/2016/4/12/11415198/facebook-messenger-whatsapp-number-messages-vs-sms-f8-2016 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
Long tail: https://en.wikipedia.org/wiki/Long_tail 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
The Underlying Technology of Messages: https://www.facebook.com/notes/facebook-engineering/the-underlying-technology-of-messages/454991608919/ 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
How Discord Stores Billions of Messages: https://blog.discordapp.com/how-discord-stores-billions-of-messages-7fa6ec7ee4c7 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
Announcing Snowflake: https://blog.twitter.com/engineering/en_us/a/2010/announcing-snowflake.html 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
Apache ZooKeeper: https://zookeeper.apache.org/ 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
From nothing: the evolution of WeChat background system (Article in Chinese): https://www.infoq.cn/article/the-road-of-the-growth-weixin-background 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
End-to-end encryption: https://faq.whatsapp.com/en/android/28030015/ 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
Flannel: An Application-Level Edge Cache to Make Slack Scale: https://slack.engineering/flannel-an-application-level-edge-cache-to-make-slack-scale-b8a6400e2f6b 论文/框架/源码项目(按条目) 12 原书延伸阅读;本轮未阅读或验证链接现状。
The Life of a Typeahead Query: https://www.facebook.com/notes/facebook-engineering/the-life-of-a-typeahead-query/389105248919/ 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
How We Built Prefixy: A Scalable Prefix Search Service for Powering Autocomplete: https://medium.com/@prefixyteam/how-we-built-prefixy-a-scalable-prefix-search-service-for-powering-autocomplete-c20f98e2eff1 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
Prefix Hash Tree An Indexing Data Structure over Distributed Hash Tables: https://people.eecs.berkeley.edu/~sylvia/papers/pht.pdf 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
MongoDB wikipedia: https://en.wikipedia.org/wiki/MongoDB 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
Unicode frequently asked questions: https://www.unicode.org/faq/basic_q.html 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
Apache hadoop: https://hadoop.apache.org/ 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
Spark streaming: https://spark.apache.org/streaming/ 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
Apache storm: https://storm.apache.org/ 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
Apache kafka: https://kafka.apache.org/documentation/ 论文/框架/源码项目(按条目) 13 原书延伸阅读;本轮未阅读或验证链接现状。
YouTube by the numbers: https://www.omnicoreagency.com/youtube-statistics/ 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
2019 YouTube Demographics: https://blog.hubspot.com/marketing/youtube-demographics 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Cloudfront Pricing: https://aws.amazon.com/cloudfront/pricing/ 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Netflix on AWS: https://aws.amazon.com/solutions/case-studies/netflix/ 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Akamai homepage: https://www.akamai.com/ 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Binary large object: https://en.wikipedia.org/wiki/Binary_large_object 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Here’s What You Need to Know About Streaming Protocols: https://www.dacast.com/blog/streaming-protocols/ 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
SVE: Distributed Video Processing at Facebook Scale: https://www.cs.princeton.edu/~wlloyd/papers/sve-sosp17.pdf 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Weibo video processing architecture (in Chinese): https://www.upyun.com/opentalk/399.html 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Delegate access with a shared access signature: https://docs.microsoft.com/en-us/rest/api/storageservices/delegate-access-with-shared-access-signature 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
YouTube scalability talk by early YouTube employee: https://www.youtube.com/watch?v=w5WVu624fY8 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Understanding the characteristics of internet short video sharing: A youtube-based measurement study. https://arxiv.org/pdf/0707.3670.pdf 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Content Popularity for Open Connect: https://netflixtechblog.com/content-popularity-for-open-connect-b86d56f613b 论文/框架/源码项目(按条目) 14 原书延伸阅读;本轮未阅读或验证链接现状。
Google Drive: https://www.google.com/drive/ 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Upload file data: https://developers.google.com/drive/api/v2/manage-uploads 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Amazon S3: https://aws.amazon.com/s3 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Differential Synchronization https://neil.fraser.name/writing/sync/ 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Differential Synchronization youtube talk https://www.youtube.com/watch?v=S2Hp_1jqpY8 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
How We’ve Scaled Dropbox: https://youtu.be/PE4gwstWhmc 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Tridgell, A., & Mackerras, P. (1996). The rsync algorithm. 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Librsync. (n.d.). Retrieved April 18, 2015, from https://github.com/librsync/librsync 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
ACID: https://en.wikipedia.org/wiki/ACID 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Dropbox security white paper: https://www.dropbox.com/static/business/resources/Security_Whitepaper.pdf 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Amazon S3 Glacier: https://aws.amazon.com/glacier/faqs/ 论文/框架/源码项目(按条目) 15 原书延伸阅读;本轮未阅读或验证链接现状。
Timeline 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/FCNrbm Scale at Facebook 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
Building Timeline 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/8p5wDV Erlang at Facebook (Facebook chat) 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/zSLHrj Facebook Chat 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/qzSiWC Finding a needle in Haystack 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/edj4FL Serving Facebook Multifeed 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/adFVMQ Scaling Memcache at Facebook 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
TAO 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/Tk1DyH Amazon Architecture 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/k4feoW Dynamo 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
A 360 Degree View Of The Entire Netflix Stack 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/rYSDTz It’s All A/Bout Testing 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/agbA4K Netflix Recommendations 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/A4FkYi Netflix Recommendations 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/XNPMXm Google Architecture 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/dvkDiY The Google File System (Google Docs) 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/xj5n9R Differential Synchronization (Google Docs) 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/9zqG7x YouTube Architecture 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/mCPRUF Seattle Conference on Scalability 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/dH3zYq Bigtable 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
Terabytes Of Photos, 100s Of Instances, Dozens Of Technologies 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
Architecture Twitter Uses To Deal With 150M Active Users 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/EwvfRd Scaling Twitter 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
ID numbers at high scale with some simple guarantees) 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/GzVWYm Timelines at Scale 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/8KbqTy How Uber Scales Their Real-Time Market Platform 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/kGZuVy Scaling Pinterest 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/KtmjW3 Pinterest Architecture Update 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/w6rRsf A Brief History of Scaling LinkedIn 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/8A1Pi8 Flickr Architecture 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/dWtgYa How We’ve Scaled Dropbox 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。
goo.gl/NjBDtC The WhatsApp Architecture Facebook Bought For $19 Billion 论文/框架/源码项目(按条目) 16 原书延伸阅读;本轮未阅读或验证链接现状。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

本书提到银行余额一致性与付费 API 成本,但未展开具体转账竞态或重复扣款案例,不补造资金案例。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 为cardbox组织设计沟通 真实任务 done 03 计划
2 明确cardbox容量假设 真实任务 done 02 计划

实践候选筛选:done

采用可立即以本地项目为输入的沟通与估算任务;未采用重新实现聊天、云盘和完整视频平台,避免没有实际目标的重复造轮子。算法实现深读需要具体项目和版本核验,本轮未交付这种研究计划。以上为计划交付,尚未实际执行。

本轮说明

完整阅读范围及候选在 _coverage.md。未执行笔记复核、独立审查及审查结果优化;不将历史预检当作独立审查。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

过载保护与优雅降级

比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。

386 张卡片 · 68 本书

主题索引

指标与监控

时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。

382 张卡片 · 58 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

缓存架构与失效问题

比较缓存穿透、雪崩、热点等问题的成因与应对方案。

345 张卡片 · 58 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

服务发现与网关

比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。

286 张卡片 · 70 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

单机高性能与I/O模型

比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。

226 张卡片 · 46 本书

主题索引

并发任务与同步原语

比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。

215 张卡片 · 41 本书

主题索引

工作流引擎与BPMN建模

比较工作流引擎的持久化、调度与版本化能力,BPMN/DMN 建模要素,模型与代码的分工,以及批处理、流处理、actor、有状态函数等替代方案的取舍。

201 张卡片 · 18 本书

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

性能剖析与诊断工具

比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。

168 张卡片 · 34 本书

主题索引

负载均衡

比较负载均衡的分层组合方式与各类分配算法的取舍。

163 张卡片 · 55 本书

主题索引

HTTP传输与内容分发

比较 HTTP 缓存、DNS 解析、HTTP/2 与 QUIC、分块传输与 CDN 等加速和分流手段。

158 张卡片 · 25 本书

主题索引

架构师成长路径

比较架构师所需的判断力、执行力、创新力及其积累方式与成长阶段。

157 张卡片 · 36 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

分布式锁与全局ID

跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。

140 张卡片 · 27 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

技术沟通与架构表达

比较面向不同受众的技术写作、演示与架构图方法:循序渐进的讲解、文档与幻灯片的取舍,以及让图表达连接与语义。

124 张卡片 · 27 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

服务水平目标与错误预算

比较如何定义 SLI/SLO/SLA、设定可靠性目标,以及用错误预算平衡稳定性与变更速度。

107 张卡片 · 23 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

配置中心与配置治理

比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。

99 张卡片 · 29 本书

主题索引

Web 交付链路优化

从浏览器到源站的每一跳能省掉什么:强制缓存与协商缓存、DNS 解析与 HTTPDNS、HTTP/2 多路复用与 QUIC、分块传输与范围请求、静态化与动静分离、CDN 就近分发与回源,以及移动网络下减少往返的手段。

90 张卡片 · 24 本书

主题索引

事务日志与崩溃恢复

比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。

88 张卡片 · 27 本书

主题索引

日志、崩溃与恢复

预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。

88 张卡片 · 27 本书

主题索引

互斥、条件与死锁

互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。

81 张卡片 · 21 本书

主题索引

会话状态管理

有状态与无状态会话的取舍,以及会话状态存放在客户端、服务器或数据库的代价与清理。

81 张卡片 · 37 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

内置数据结构的底层实现

比较字符串、数组、切片、哈希表等内置结构的内存布局、扩容与复制代价。

74 张卡片 · 10 本书

主题索引

数值表示与精度

比较浮点、定点等数值表示的精度误差与特殊值陷阱。

62 张卡片 · 9 本书

主题索引

错误与异常处理机制

比较延迟执行、异常展开、恢复与返回值错误等机制的语义边界。

62 张卡片 · 27 本书

主题索引

RPC重试与期限管理

比较远程调用在不同失败语义下的重试条件、幂等边界、总期限与目标节点选择。

61 张卡片 · 25 本书

主题索引

形态与交互:通道、总线还是代理

消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。

55 张卡片 · 29 本书

主题索引

数据治理与生命周期

数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。

55 张卡片 · 15 本书

主题索引

编排方案取舍

批处理、actor 模型、有状态函数、代码编排、编舞与服务编排在同一件事上的差别:长期运行与等待、状态归属、可观察性、改流程要不要重新部署,以及低代码与 RPA 各自的能力边界。

54 张卡片 · 17 本书

主题索引

顺序保证与延时消息

比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。

49 张卡片 · 18 本书

主题索引

锁的实现与竞争优化

比较锁状态存储、锁膨胀、自旋与排队队列、同步器骨架等锁实现机制及其竞争开销。

45 张卡片 · 7 本书

主题索引

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书

主题索引

深网采集与搜索策略

比较深网页面发现、查询模板构造、搜索空间扩展、页面噪声去除及自动化采集的安全边界。

23 张卡片 · 3 本书

主题索引

端侧推送与消息扩散

比较长连接与推送通道、在线状态、群扩散与收件箱,以及到达率、推送模型与多端同步的取舍。

21 张卡片 · 4 本书

主题索引

缓冲、队列与限流

环形缓冲与乒乓缓冲怎样吸收速率差,有界队列的空满约束与 FIFO 余量,生产消费模型如何做限流与并发上限,以及缓冲只能吸收有限速差、不能替代背压。

19 张卡片 · 9 本书

主题索引

架构恢复与模式识别

比较从源代码等低层信息恢复实际架构、识别所用架构模式的技术路线及其精度与自动化局限。

16 张卡片 · 7 本书