主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
尚未完成类别清单核对。
图式:思维导图
选择理由:已按 EPUB 顺序回读 81 个正文项并对照九个分部标题。各分部围绕不同系统问题与工程案例展开,没有一条贯穿全书的单一状态流;用 Markmap 的主题树表示问题范围与主要取舍,比强行串成线性实施步骤更贴近原文。末尾工具速览与通用素质篇是不同知识形态,单列分支,避免误写成技术架构的后续阶段。
核心主旨:面对业务负载、数据一致性、故障恢复和团队协作等真实约束,架构师应说明问题、比较代价、验证方案,并随着业务阶段调整设计。
论述主线:方法论篇从秒杀、容量和可用性切入;数据库与缓存篇处理数据规模及一致性;服务化、消息系统与消息总线篇讨论跨进程通信及投递;搜索篇转向索引与检索;架构实践篇用推荐、监控、并发和迁移案例检验方案边界;一分钟系列提供工具与基础概念速览,通用素质篇收束到协作、成长和表达。这是原书按主题编排的顺序,并不表示所有系统都必须依次采用这些技术。
# 面对真实约束选择架构
## 方法论与高并发
- 秒杀热点与分层限流
- 容量、可用性和负载均衡
## 数据库与缓存
- 分片、复制与一致性
- 扩容、迁移和恢复
## 服务化与微服务
- 服务边界与依赖
- RPC 序列化和异步收发
## 消息系统
- 在线与离线消息
- 重传、去重与时序
## 消息总线
- 定时与延迟触发
- 分段确认和重试
## 搜索架构
- 正排与倒排索引
- 实时索引与服务封装
## 架构实践
- 推荐、监控与并发控制
- 机房迁移的分批与回退
## 一分钟系列
- 基础设施机制
- awk、perl、sed 等工具
## 通用素质
- 管理与成长
- 技术沟通和演讲
章节作用:以秒杀这种共享库存热点,展示如何把有限库存与瞬时请求量之间的矛盾转化为分层限流、缓存和业务规则设计;Q&A 补充各层方案的适用边界。
内容脉络:先指出大量查询和少量集中写入同一库存造成锁冲突,再按客户端、站点、服务、数据库逐层控制放行量;随后用分时售卖、粗粒度库存展示、下单支付分离削峰;最后讨论本地限流与缓存不一致、独立队列、过载快速失败和未支付库存回仓。数据库保留真实库存的最终判断。
# 秒杀系统如何保护有限库存
## 负载特征
- 读多写少
- 共享库存形成热点与锁冲突
## 分层拦截
- 客户端限制重复提交
- 站点按 UID 限速并缓存页面
- 服务队列控制写请求与数据缓存承接读请求
- 数据库处理受控请求与真实库存
## 结合业务削峰
- 分时放票
- 有票无票的粗粒度展示
- 下单与支付分离
## Q&A 的边界
- 本地计数不等于全局精确限流
- 页面缓存可不一致但真实库存要准确
- 服务实例可分摊写入配额
- 过载时拒绝部分请求并快速失败
- 未付款库存超时回仓
相关卡片:秒杀系统的读写冲突模式、秒杀系统的分层拦截设计、架构优化要结合业务语义、Fail fast胜过失败重放、站点本地限流的边界、服务队列分摊写入配额、页面缓存可容忍不一致、过载时舍弃部分请求、未付款库存超时回仓
章节作用:从记录标识的唯一性与时间排序需求出发,比较集中取号和本地生成方案,再用位段编码解决多节点生成的区分问题,并补充分片取模对低位分布的约束。
内容脉络:先以消息、订单和帖子按时间分页说明“全局唯一、趋势有序”;然后比较数据库自增、多库步长、批量取号服务、UUID、纯时间戳各自的单点、远程调用、顺序或碰撞代价;继而推导类 Snowflake 的时间、节点和序列号位段;最后指出用 ID 取模分片时须考虑序列号低位分布。
# 如何生成全局唯一且趋势有序的 ID
## 需求来自查询
- 全局唯一
- 趋势有序支持按 ID 取最新记录
## 集中生成
- 数据库自增简单但写主库受限
- 多库步长避免重复但失去全局严格递增
- 批量取号降低数据库写压但仍有服务单点
## 本地生成
- UUID 低时延但无时间趋势
- 单独时间戳可能碰撞
- 位段组合时间、节点与序列号
## 下游使用约束
- 分库分表取模要求低位分布均匀
- 跨毫秒序列号随机起点避免零值偏多
相关卡片:分布式ID的两大核心需求、数据库自增ID的扩展代价、批量取号降低数据库写压、UUID本地生成的取舍、时间戳不能独自保证唯一、snowflake类算法的设计思想、分库分表场景下ID要保证取模随机性
章节作用:用运营活动落地页的并发算例,将“能否扛住、要加多少机器”的模糊问题拆成有业务输入、压测证据和冗余判断的容量估算步骤。
内容脉络:先向业务方取得预期访问总量,按实际访问窗口换算平均 QPS;再用业务曲线估算峰值,明确秒杀等突发流量不适用常规曲线算例;接着压测系统瓶颈和单机极限并留线上余量;最后比较峰值需求与现有机器容量,计算扩容和冗余。文中仅详细演示并发量,其他资源维度需分别评估。
# 并发容量如何估算
## 业务输入
- 询问预期总访问量
- 确定有效访问时间窗口
## 需求峰值
- 总量换算平均 QPS
- 按业务曲线估峰值 QPS
- 秒杀流量需另定评估方式
## 系统供给
- 压测定位瓶颈和单机极限
- 线上运行留安全余量
## 容量决策
- 峰值需求与现有容量比较
- 计算扩容数量和冗余
章节作用:为服务线程池的配置提供按实际工作模式和计算/等待比例推导的估算方法,同时区分不适用此公式的纯异步模型。
内容脉络:先澄清阻塞等待让出 CPU、过多线程带来切换开销;再比较 IO 线程经队列交给同步 Worker 与纯异步两种执行模型;最后把 Worker 工作分成占 CPU 的本地计算 x 和不占 CPU 的下游等待 y,用 N 核机器推得 N×(x+y)/x 的估算值。
# 工作线程数如何估算
## 前提认知
- 等待下游时不占 CPU
- 过多线程有切换开销
## 执行模型
- IO 线程经队列交给同步 Worker
- 纯异步少线程但实现更复杂
## 同步 Worker 的耗时构成
- 本地计算时间 x
- 缓存 RPC 数据库等待时间 y
## 线程估算
- N 核约用 N×(x+y)/x
- 先测耗时比例再压测验证
章节作用:将单点的可用性和性能上限分开处理,展示主备接管、降低单点访问频率及可行时水平扩展三类策略及边界。
内容脉络:先以 nginx、数据库写主库和 GFS master 指出故障与吞吐两种风险;再用影子 master 和虚 IP 漂移改善故障接管,提示数据库同步时延;随后通过批量写与客户端缓存减少单点交互;最后讨论 DNS 轮询和数据库拆分的水平扩展,并用少量热点商品说明拆分不一定有效。
# 单点系统如何减轻风险
## 单点的代价
- 故障影响服务
- 单机吞吐可能成为上限
## 可用性
- 影子 master 通过虚 IP 接管
- 备用资源与数据同步风险
## 减少交互
- 批量预取号段
- 客户端缓存文件位置
## 性能扩展
- DNS 轮询分散 nginx 入口
- 数据库水平拆分
- 少量热点商品难以拆散
相关卡片:单点系统的两大代价、shadow-master解决单点可用性、减少与单点交互的两种通用手段、水平扩展单点的业务边界
章节作用:给出负载均衡的共同目标,并区分客户端、反向代理、服务调用和数据分片各层使用的不同机制。
内容脉络:先定义请求或数据在多个单元间均匀分摊;再顺着客户端到数据层的调用路径,分别说明 DNS 轮询、nginx 路由、服务连接池和分片规则;最后把数据层拆为数据量与请求量两个目标,比较范围和哈希切分的均衡性及扩容代价。
# 各层如何分摊负载
## 目标
- 请求或数据尽量均匀
## 访问路径
- 客户端到反向代理用 DNS 轮询
- 反向代理到站点用 nginx 策略
- 站点到服务用连接池
## 数据层
- 同时看数据量和请求量
- 范围切分易扩容但请求可倾斜
- 哈希切分较均匀但扩容可能迁移
## 边界
- IP 哈希粘性不宜替代站点无状态设计
章节作用:澄清接入层的可用性、单组性能和水平扩展是不同目标,说明 LVS/F5 与 DNS 轮询各自解决的范围。
内容脉络:先定义接入层要处理的可用性、扩展性和负载分摊;再从单机、DNS 直连多站点、nginx 反向代理、keepalived 主备、LVS/F5 提升单组转发能力逐步比较;最后因单组入口仍有上限,回到 DNS 轮询,把多组 LVS 入口水平扩展,同时保留组内高可用。
# LVS 为何不能完全替代 DNS 轮询
## 接入层目标
- 服务可用
- 容量可扩展
- 请求能分摊到后端
## 单组入口能力
- nginx 反向代理与路由
- keepalived 主备接管
- LVS 或 F5 提升转发能力
- 单组仍有性能上限
## 多组水平扩展
- DNS 轮询指向多组 LVS
- 组内继续使用高可用与反向代理
## DNS 边界
- 不保证解析目标存活
- 解析变更有生效周期
相关卡片:DNS轮询扩展入口容量、DNS轮询不保证节点可用
章节作用:在前章“均匀分流”的基础上处理节点能力不等和能力波动,并区分局部节点过载与整个集群超载。
内容脉络:先指出异构服务器平均分流的两种问题;再从调用方连接池的随机选连接引出固定权重和成功/超时反馈的动态权重;随后定义过载保护,按连续超时与权重归零分级暂避疑似过载节点;最后强调集群整体需求超过总能力时,转移流量无效,必须拒绝部分请求。
# 异构服务如何分流并保护容量
## 分流问题
- 高低配机器平均分流会浪费或过载
## 权重策略
- 静态权重按预估能力分配
- 动态权重按成功与超时反馈调整
## 局部过载
- 连续超时短暂避让
- 权重归零延长休息
## 整体超载
- 流量转移不增加总容量
- 拒绝部分请求以保稳定服务
章节作用:界定高并发及其度量方式,并把提升并发能力分为单机优化和分层水平扩展两条路径。
内容脉络:先定义同时处理请求的能力与响应时间、吞吐量、QPS、并发用户数;再比较升级硬件/优化单机结构与增加节点的适用边界;接着沿反向代理、站点、服务、数据层说明如何接入更多节点;最后重点区分数据库水平分片与主从复制读写分离的扩展能力。
# 如何理解和提升高并发
## 度量
- 响应时间
- 吞吐量与 QPS
- 并发用户数
## 垂直扩展
- 升级单机硬件
- 缓存 异步 减少锁竞争
- 单机存在上限
## 水平扩展
- 反向代理 站点 服务分别接入实例
- 数据层按范围或哈希拆分
## 数据库方案边界
- 水平分片可分担读写
- 主从复制主要分担读取
章节作用:界定高可用及可用率的时间含义,并把各层的冗余和自动故障转移组织为一条设计主线;同时说明缓存可以按业务容错能力选择降级。
内容脉络:先用不可服务时间解释可用率,但原书将 99.99% 的年停机预算误算为 8.76 小时,按全年 365 天应为约 52.56 分钟;然后以冗余加自动切换为原则,依次讨论入口、站点、服务、缓存及数据库的接管;最后给出可容忍 cache miss 时代理返回 miss、避免重哈希的例外路径。
# 如何降低不可服务时间
## 度量
- 可用率对应观察期的停机预算
- 原书四个九换算有误
## 通用方法
- 关键角色冗余
- 故障后自动发现和转移
## 分层实现
- 入口虚 IP 与 keepalived
- 站点 nginx 探测
- 服务和读库连接池
- 缓存主从与 Sentinel
- 写库备主接管
## 缓存降级边界
- 允许 cache miss 时可回源
- 故障分片由代理返回 miss
- 不急于重哈希
章节作用:用58同城的多品类帖子案例,把异构数据存储、类目属性治理与多条件检索拆成三个协作的基础能力。
内容脉络:先提出品类属性多、数据与查询量大的背景,比较单表扩列和按业务垂直拆表的局限;然后以统一帖子中心的通用字段加 ext 容纳异构记录,再由类目属性服务解释数字键、层级与值约束;最后让数据库按 tid 取详情,其他组合查询走外置检索,并说明索引的分片、副本和可容忍短暂不一致的维护方式。
# 异构帖子怎样存储和检索
## 需求与错误扩展
- 品类差异带来大量属性
- 单表扩列和组合索引难持续
- 业务线各自拆表妨碍跨品类能力
## 统一帖子中心
- 通用字段独立存储
- 类目标识解释扩展字段
- 扩展字段保留个性属性
## 类目属性服务
- 数字键压缩存储
- 属性语义与层级
- 值类型和枚举校验
## 外置检索
- 按 tid 正排取详情
- 复杂条件走检索服务
- 索引变更通知与定期重建
- 分片扩容量 副本分担读取
相关卡片:version+ext是异构数据统一存储的通用模式、平台型公司应统一基础数据服务而非按业务垂直拆分、类目属性服务约束扩展字段、外置索引避免组合索引爆炸、检索分片与副本承担不同扩展
章节作用:把无状态 Web 请求的逐次分流与有状态 TCP 长连接的连接前选址区分开,说明选择策略、健康探测和容量保护如何协作。
内容脉络:先比较 nginx 分流 Web 请求与 TCP 连接必须保持在同一服务端的差异;再依次讨论单机、客户端配置域名或 IP 的可用性与扩展限制;然后把节点选择移到服务端接口,接着发现静态 IP 列表仍可能返回故障节点;最后比较节点上报与接口拉取状态,并用权重和动态状态补充异构分流、过载保护。
# TCP 长连接如何选接入节点
## 与 Web 请求的差异
- 无状态请求可逐次分流
- 长连接由持有连接的节点处理
## 客户端选址
- 单节点缺少高可用
- 域名配置有解析成本
- 直配 IP 难及时更新
## 服务端选择接口
- 连接前返回节点 IP
- 集中管理节点与策略
- 必须感知节点健康
## 状态与容量
- 节点上报引入反向依赖
- 选择接口主动拉取状态
- 权重与动态状态用于分流保护
章节作用:把数据库设计拆为数据容量、可用性、读性能、一致性和扩展路径等相互牵制的决策,说明单一方案不能解决所有问题。
内容脉络:先区分分片与分组,并比较三种数据路由;再从读写副本讨论可用性,解释双主只让一主对外服务的收益与代价;接着比较索引、从库和缓存的读扩展方式,分别处理主从延迟及缓存旧值;最后借库数加倍与既有双主副本展示路由切换,提醒解除旧同步、补备主和清理数据仍是收尾步骤。
# 数据库架构的主要决策
## 容量与路由
- 分片分散不同数据
- 范围 哈希 路由服务各有代价
## 可用性
- 分组保存同一数据副本
- 影子主库故障时接管
- 双活写需处理标识冲突
## 读性能
- 索引优化
- 从库扩读有复制延迟
- 缓存扩读有缓存一致性问题
## 一致性处理
- 写后短时读主
- 缓存延时二次淘汰
## 扩容
- 双主副本支持库数加倍切路由
- 解除旧同步并清理冗余数据
相关卡片:分片解决数据量,分组解决可用性、三种分片路由各有代价、双主当主从用的取舍、读扩展会引入复制一致性成本、写后读主缩小复制延迟影响、双淘汰缩短缓存脏值滞留、库加倍扩容避免数据迁移
章节作用:在分片只能按一个键路由的前提下,说明为何复制出按另一维度分片的冗余表,以及双写后如何控制部分成功和修复差异。
内容脉络:先用买家、卖家都要查订单的需求解释两份分片表;再比较请求内同步双写、经消息复制和消费数据库日志三条路径;接着以“第一步成功、第二步失败”推演先写买家表的业务理由;最后从全量表扫描、增量日志比对到消息对实时检测,比较发现与补偿差异的效率、时效和可靠性代价。
# 冗余表怎样支持查询并处理不一致
## 查询需求
- 单一分片键无法直达另一查询维度
- 按买家与卖家分别保存索引记录
## 复制路径
- 请求内同步双写
- 消息异步复制
- 数据库日志驱动离线复制
## 部分成功
- 推演第一步成功第二步失败
- 先保证买家可见订单
## 检测与补偿
- 全量扫描两表
- 比对成对增量日志
- 监听成对消息并在超时后检查
- 消息与任务可靠性决定有效性
相关卡片:冗余表的成因:分库场景下的多维查询需求、冗余表三种复制路径、双写顺序应选业务影响小的先执行、一致性检测方案的效率与实时性阶梯
章节作用:用余额查询说明缓存适合的读多写少场景,并围绕更新方式、写入时序与访问边界说明缓存引入的额外一致性责任。
内容脉络:先定义命中、未命中、回源与命中率;再比较更新缓存和淘汰缓存的成本;随后用余额写入后的部分成功分析先写库后删缓存与先删缓存后写库的影响,后者仅是该失败顺序下的较小损害;最后讨论服务层封装及数据库日志异步更新缓存两种让业务方简化调用的路径。
# 缓存怎样提高读取并控制副本差异
## 读路径
- 命中直接返回
- 未命中回源并回填
- 命中率只衡量缓存承接比例
## 写时维护
- 简单值可直接更新缓存
- 复杂值更适合淘汰
- 先写库后删缓存失败会残留旧值
- 先删后写降低该类部分成功影响
## 访问边界
- 服务层封装缓存与数据库
- 数据库日志异步更新缓存
- 异步消费存在短暂旧值与可靠性要求
相关卡片:缓存命中率的含义、淘汰缓存还是更新缓存取决于计算复杂度、余额更新后缓存残留旧值、先淘汰缓存再写数据库、服务层屏蔽缓存与数据库、日志异步更新缓存的边界
章节作用:在第16章处理部分失败后的缓存维护顺序之外,进一步解释同一余额并发读写仍会回填旧值,并审视按数据 ID 局部串行的适用范围。
内容脉络:先按先删缓存、后写库及缓存未命中回源的路径复现余额旧值回填;再逐层排除任务队列和单处单连接的全局串行假设;随后提出服务连接池与数据库连接池两级按 ID 取模,让同键请求集中处理。连接池只使用调用方传入的业务键,不需理解账户或订单语义;取模分散负载以 ID 访问分布均匀为前提。最后指出故障连接排除和主从读写分离会改变该方案的条件,其中同键路由本身也不能证明先发请求一定先执行。
# 缓存与数据库一致性优化
## 并发竞态
- 删缓存后写库尚未完成
- 查询回源旧余额并回填
## 串行范围
- 任务出队不等于执行串行
- 全局串行损失吞吐和可用性
- 同一数据局部串行
## 两级固定路由
- 服务连接池按 ID 取模
- 数据库连接池按 ID 取模
- 连接池只使用传入业务键
## 方案边界
- 需要同键真正按序执行
- 负载均衡依赖 ID 分布
- 故障重映射改变落点
- 读写分离仍有复制延迟
章节作用:承接第17章留下的主从读写分离问题,解释同键路由之外的复制延迟如何造成旧值回填,并比较二次异步删缓存的实施路径。
内容脉络:先分别推演单库写请求停顿和主库已写、从库未同步两种旧值回填;再把首次删缓存、写库、延迟后再次删缓存串成补救流程;随后指出同步休眠损害写请求吞吐,改用定时器或消息总线异步删除;最后提出独立读取 binlog 的业务无侵入路径,并要求依据实际复制时延设置等待时间。
# 主从数据库与缓存一致性
## 旧值回填来源
- 单库写请求停顿时读先完成
- 读从库遇到复制延迟
## 二次淘汰
- 写前先删缓存
- 写库后延迟再删
- 等待时间取决于实际延迟
## 异步实施
- 定时器执行
- 消息总线驱动
- 读取 binlog 独立淘汰
## 边界
- 同步等待损害吞吐
- 异步执行和时延估计影响收敛
章节作用:在主从复制带来的旧读问题上,比较等待复制、改变读路由和短期写键标记三类取舍,并核对半同步术语的实际保证边界。
内容脉络:先说明读写分离通过多个从库扩展读取,也引入写后立即读旧值;再比较原书列出的半同步复制、强制读主、数据库中间件和缓存记录写键四种方案;最后区分日志接收与从库可读,说明短期标记的缺失也不能证明从库已追平。原书对半同步和中间件“绝对一致”的表述须在这些条件下理解。
# 主从旧读的四种处理方向
## 问题来源
- 写主库后从库尚未追平
## 半同步复制
- 写入等待从库确认接收
- 接收不等于已应用可读
## 调整读路由
- 全部读主库牺牲从库扩展
- 中间件对近期写键读主
## 缓存标记近期写键
- 命中标记读主库
- 未命中不证明从库已追平
- 增加缓存依赖与访问成本
章节作用:用下单时余额、订单、流水跨库变更的资金案例,说明单库事务拆为多个独立事务后的部分提交风险,并比较补偿与提交后置两种缓解方式。
内容脉络:先从单库事务的共同提交或回滚过渡到分库后首库成功、后库失败的问题;再用余额反向变更与删除订单解释业务补偿,指出补偿失败和分支复杂性;随后把各事务“执行后即提交”改为“全部执行后再依次提交”,将部分提交暴露窗口移到最后的提交阶段;最后说明窗口缩短以更长连接占用和吞吐损失为代价,仍不能保证跨库原子性。
# 多库多事务的一致性风险
## 资金案例
- 余额 订单 流水跨库变更
- 部分提交留下记录差异
## 业务补偿
- 已完成操作执行反向动作
- 补偿也可能失败
- 失败分支随步骤增加
## 后置提交
- 各库先执行事务
- 最后依次提交
- 缩短部分成功暴露窗口
## 边界
- 仍非跨库原子提交
- 连接占用变长而吞吐下降
章节作用:从主从复制延迟切入,说明并行回放必须保留事务依赖,并以同账户余额更新展示任意并行会破坏正确性。
内容脉络:先用余额连续设为 100、150、200 的例子说明随机分配日志会使从库最终值不确定;再介绍按库名固定工作线程的粗粒度并行,指出单库多表仍是瓶颈、多库设计可能获得额外收益;最后用主库组提交的依赖元数据解释更细粒度的并行回放。原书结尾称其为“幂等性”,实际讨论的是同键依赖的保持;无依赖事务是否保持全局提交顺序取决于复制配置。
# 并行复制如何保留正确余额
## 随机回放的风险
- 同键更新可能乱序完成
- 从库最终值偏离主库
## 按库分配工作线程
- 同库串行而异库并行
- 单库多表无法获得此类并行
## 依赖元数据
- 组提交记录事务依赖
- 无依赖事务可并行应用
## 概念边界
- 安全并行不等于幂等
- 全局提交顺序取决于复制配置
- 版本演进不作当前配置建议
章节作用:比较业务分库分表与数据库原生分区两种水平切分的责任边界,提醒不能把短篇经验判断当作所有场景的性能结论。
内容脉络:先定义大表水平切分,再说明业务分库分表可跨库或实例但需要调用方维护路由;接着说明原生分区仍保留单一逻辑表接口,由 MySQL 按分区规则组织数据;最后审视作者偏好业务自控的理由,并区分分区裁剪失效与全表锁。关联查询和运维风险在原文未给出可复核机制,只作为待验证假设。
# 水平切分怎样选择责任边界
## 业务分库分表
- 数据可跨表 库 实例
- 调用方负责路由和改造
## 原生分区表
- 保留单一逻辑表接口
- 数据按分区规则组织
## 查询边界
- 条件决定分区能否裁剪
- 扫描范围扩大不等于全表锁
## 证据限制
- 行业偏好是当时观察
- 关联与运维风险缺具体案例
章节作用:区分数据库副本的故障切换能力与误删后的数据恢复能力,比较全量备份加日志、延时从库及双份错峰副本的恢复成本和失效条件。
内容脉络:先说明主从或双主可接管节点故障,但误删命令也会传播到在线副本;再给出全量备份、后续 binlog 逐段回放到误删前的按点恢复路径;随后以约一小时延时从库缩短恢复所需的日志跨度;最后通过两份副本错峰同步降低单副本同步窗口风险,同时讨论资源占用与只读后台复用。标题的“半小时恢复”没有演练数据,不能作为保证。
# 误删全库怎样保留恢复点
## 普通副本的边界
- 宕机可切换
- 误删也会复制
## 备份与日志
- 恢复最近全量备份
- 顺序回放 binlog 到误删前
- 演练验证恢复耗时
## 延时从库
- 保留较近的事故前数据
- 发现事故后停止错误变更应用
## 双份错峰
- 降低同步窗口同时暴露
- 增加副本资源成本
- 可给容忍旧值的只读任务使用
章节作用:以用户表新增属性为例,比较两种避免每次增加表列的存储形态,说明查询与空间上的取舍。
内容脉络:先提出大表新增列的变更难题;再用 version+ext 让版本解释扩展字段,保留新旧记录共存及难按扩展属性建索引的边界;最后用 uid/key/value 扩展行实现动态属性,同时承受更多行和重复 key。对于 ALTER TABLE 与触发器迁移,本章只作简述,不能据此断言所有场景都不可行。
# 表属性频繁增加的存储选择
## 问题
- 大表新增列涉及在线变更
## 版本加扩展字段
- 用版本解释 ext
- 新旧记录共存
- 扩展属性不便直接索引
## 扩展行
- 每个属性占一行
- 新增属性无须增加列
- 行数和键名冗余上升
## 判断边界
- 可查询不等于天然有索引
- 在线变更方案另需具体评估
相关卡片:version+ext是异构数据统一存储的通用模式、key-value(EAV)模式扩展属性的取舍
章节作用:回应上一章表属性扩展方案的争议,补充预留字段、服务层扩展表和影子表迁移,并明确每种办法的限制。
内容脉络:先把高并发下减少跨表查询与允许数据冗余视为具体取舍;再对比预留列和服务层封装扩展表;最后展开新表、触发器、分批复制、切换表名的在线变更路径,并指出主键、已有触发器与性能代价。书中对 ALTER TABLE、join 和视图的绝对判断须受数据库版本与执行条件约束。
# 表属性扩展的多种路径
## 存储模型
- version 加 ext
- key-value 扩展行
## 事先留余量
- 预留列过少会耗尽
- 预留过多浪费空间
## 服务层扩展表
- 新属性放独立表
- 服务层组合读写
## 影子表在线变更
- 新表与触发器
- 分批复制与冲突处理
- 切换时评估锁和依赖
## 决策边界
- 查询成本和一致性
- 数据库版本与 DDL 算法
相关卡片:version+ext是异构数据统一存储的通用模式、key-value(EAV)模式扩展属性的取舍、互联网数据库设计中反范式化是常态、预留字段以空间换变更窗口、服务层封装扩展表、影子表在线变更的边界
章节作用:定义水平与垂直拆分的不同对象,给出以访问频率和字段长度组织主表、扩展表的依据,并讨论跨表读取路径。
内容脉络:先对比按记录分片与按属性分表;再把短而热的字段集中在主表、长而冷的字段放入扩展表,解释其缓存密度动机;最后说明服务层组合查询可为分实例扩容留空间。原文将 InnoDB 缓存说成按行加载,实际缓存单位是页;对 join 的取舍也须依查询计划和扩容目标判断。
# 数据库垂直拆分
## 与水平切分比较
- 水平按记录分片
- 垂直按属性分表
## 属性分组
- 主表放短而热的字段
- 扩展表放长而冷的字段
- 常一起访问的字段可同组
## 性能动机
- 缩小热点记录
- 提高缓存页的有效密度
## 查询路径
- 服务层可分别查询并组合
- 同实例 join 需看执行计划
- 分实例扩容有额外一致性成本
章节作用:在水平分片和高可用副本的前提下,比较停服迁移与加倍扩容,解释为何路由可先切换而数据清理必须后做。
内容脉络:先交代服务层路由、MOD2 分片和同步副本;再说明停服迁移易回退的窗口只在新库开放写入前;随后以双虚 IP 和 MOD4 映射让新旧路由暂时指向同步的数据副本,逐台 reload;最后解除旧同步、建立新副本、删除冗余。所谓“秒级”只指实例路由切换,持续可用还要满足副本同步、切换顺序和故障处置条件。
# 从两库扩到四库
## 原有基础
- 服务层按 UID 取模路由
- 每个分片有同步副本
## 停服迁移的代价
- 全量搬运耗时
- 切流后回滚涉及新增写入
## 配置切换
- 为原副本配置双虚 IP
- MOD2 与 MOD4 暂时共存
- 服务实例逐台 reload
## 切换后收尾
- 解除旧同步
- 建立新副本关系
- 清理不属本分片的数据
相关卡片:库加倍扩容避免数据迁移、双虚IP切换路由的前提、切流后回滚需处理新增写入
章节作用:将大规模迁移拆成存量回填、持续增量、校验和切流,比较追日志与双写两条路径,并指出并发写入下的一致性边界。
内容脉络:先以停服搬迁说明窗口和回滚压力;再让旧库继续承接业务,追日志方案记录变更对象、回填后反复读取旧库追平;双写方案在业务写入时同时更新新旧库、分段回填。两条路径均须校验后切流,追日志可能要短暂限制旧库写入,双写则有回填读旧值后并发删除又回填的竞态;“全程不影响服务”和“理论上立即一致”不能作为保证。
# 在线迁移如何切换数据真源
## 停服迁移对照
- 固定窗口搬存量
- 失败回退有时间压力
## 追日志
- 记录库表主键
- 回填后反复追平
- 删除也须同步
## 双写
- 新旧库同时写
- 分段回填存量
- 单边失败和并发回填需处理
## 切流门槛
- 持续比对与修复
- 必要时短暂限制旧库写入
- 验证后将流量转向新库
章节作用:以高并发、大数据业务为背景说明一组数据库工程规范的动机,并区分可迁移的机制与团队阈值。
内容脉络:先说明把大量业务计算放在数据库可能形成 CPU 瓶颈,并以大文件外置、数据库存引用区分内容与元数据;再从 InnoDB 主键、NULL 语义、金额精度与显式列清单解释数据建模的约束;最后用手机号字符类型、索引筛选收益与更新成本、索引列类型及函数谓词示例说明查询计划风险。原文的“必须”“禁止”及固定数量上限只适用于其团队场景,需结合版本、数据分布和执行计划复核。
# 数据库军规的判断依据
## 业务计算的位置
- 数据库 CPU 可能集中承压
- 服务层计算可独立扩容
- 事务与网络代价仍需评估
## 表与字段
- 大文件内容外置、库内存引用
- 短主键减小二级索引
- NULL 比较有三值语义
- 金额使用精确数值
## SQL 写法
- 显式列名控制读写契约
- 索引过滤收益对比更新成本
- 索引列避免隐式转换
- 函数谓词需看执行计划
## 规则边界
- 数量阈值是团队约定
- 禁令需按版本与负载验证
相关卡片:数据库计算上移的边界、大文件外置并在数据库存引用、NULL比较的三值语义、短主键降低二级索引体积、金额字段选择精确数值、显式列名隔离表结构变更、索引列谓词避免隐式转换、索引筛选收益须权衡更新成本
章节作用:回应前章规范的争议,纠正字符集说法,以金额摊销和负向查询实例说明规则的真实边界,并补充生产库操作权限。
内容脉络:先把“UTF8”修正为新库默认 utf8mb4,说明旧库升级窗口;再强调数据库功能取舍取决于吞吐与一致性需求,内网域名可降低实例地址耦合;随后用 100 元三期摊销示出舍入差额,用带 uid 条件的负向查询说明先缩小候选集的重要性;最后通过生产库误操作案例说明人工账号、写入授权与环境隔离。原书“整数分”方案仍须补足余数分配。
# 数据库军规为何需要边界
## 更正字符集
- 新库显式使用 utf8mb4
- 旧库升级核对服务窗口
## 架构取舍
- 高吞吐场景减少数据库计算
- 一致性敏感业务另行权衡
- 内网域名隔离实例地址
## 两个反例
- 三期摊销产生舍入差额
- 整数分配仍要处理余数
- 负向条件可先缩小候选集
## 人工操作
- 应用账号不作人工入口
- 生产写入需授权与测试
- 环境隔离限制误操作
相关卡片:新库字符集选utf8mb4、等额摊销舍入产生差额、整数分配并处理余数、选择性条件限制负向扫描、生产库操作权限隔离、内网域名隔离服务地址
章节作用:以按 UID 分库、按 time 排序的业务查询为例,比较精确跳页、只翻下一页与近似结果的成本,并解释二次查询定位全局偏移的思路。
内容脉络:先说明各分库仅有局部排序;全局视野法每库召回前 X+Y 行,可精确归并但深页成本高。只提供下一页时可改用游标,代价是放弃任意跳页;假设分片分布相似时可按比例近似取页,但不保证精度。二次查询利用时间下界和虚拟偏移估算全局位置,原书示例成立,面对同时间值、分布偏斜和第二轮区间不足时仍须补全排序键与补查策略。
# 跨库分页如何重建全局顺序
## 问题
- UID 分库仅有局部顺序
- time 排序不能直接合成全局页
## 精确召回
- 每库取前 X+Y 行
- 服务层归并后截页
- 深页增加传输成本
## 业务取舍
- 下一页用游标限制候选量
- 近似页依赖分片分布
## 二次查询
- X/N 作为各库初始偏移
- 用最小时间扩查区间
- 计算虚拟全局偏移
- 偏斜和同值需额外处理
相关卡片:跨库分页缺少全局排序视野、全局视野法随页码放大、游标翻页限制跳页成本、均匀分布只能近似分页、二次查询估算跨库偏移、分页排序需要唯一键
章节作用:从多业务线直连用户库的痛点出发,说明独立用户服务能集中承接共享数据访问,同时比较共享代码库的版本耦合。
内容脉络:先列出直连数据库造成的代码拷贝、缓存和分片改造扩散、低效 SQL 外溢及跨域 JOIN;再说明共享代码库虽消除拷贝,却把实现版本带进各调用方;最后以 user-service 统一接口收拢访问规则,让业务方依赖服务契约。原文把 RPC 比作本地调用、声称服务性能“无限”,实际仍有网络、接口演进与数据库容量边界。
# 为什么引入用户服务
## 直连数据库的负担
- 访问代码在多业务线复制
- 缓存和分片变更逐处传播
- 低效 SQL 影响共享库
- 跨域 JOIN 阻碍拆库
## 共享代码库的局限
- 复用实现
- 升级版本牵动调用方
## 独立服务的作用
- 接口收拢数据访问
- 集中治理 SQL 与底层变化
- 服务契约需保持兼容
## 新代价
- 网络调用与服务治理
- 数据库仍有容量上限
相关卡片:调用方直连扩散底层变更、共享代码库版本耦合、共享库SQL故障外溢、跨域JOIN阻碍拆库、服务层收拢共享访问契约
章节作用:比较服务拆分的多个粒度,以业务边界、独立性与治理成本选择可维护的拆分位置。
内容脉络:先从统一数据访问服务走向子业务、数据表和接口级服务;再说明服务变多后的调用依赖可由分发层收敛;最后比较部署、扩容和故障隔离收益与监控、运维、定位成本。开篇的 RPC 重发提醒支付操作需幂等,跨服务事务则需按业务可接受的一致性目标另行设计。
# 服务拆分粒度
## 拆分层次
- 统一服务层
- 子业务服务
- 单表服务
- 单接口服务
## 子业务边界
- 收拢相关功能与数据
- 跨服务操作增加协调成本
## 依赖治理
- 服务号标识目标
- 高可用分发层路由
## 粒度权衡
- 独立部署与扩缩容
- 相对故障隔离
- 运维监控与定位负担
## 重试风险
- RPC 超时可能已执行
- 支付写操作需要幂等
相关卡片:服务粒度存在连续选择、子业务边界限制服务拆分、服务分发层收敛调用依赖、服务粒度的收益与代价、支付超时重试可能重复操作、支付重试用幂等识别重复请求
章节作用:从跨进程调用的基本协议与重复基础工作出发,解释统一 RPC 框架在服务化中的作用。
内容脉络:先比较同进程函数调用与跨进程调用,再用请求与响应报文示例展示双方的编码、传输和执行步骤;随后归纳客户端及服务端框架职责。框架把网络和协议细节从业务代码中收拢,但“像本地函数”只描述接口体验,不能消除远程调用的超时和故障。
# RPC框架为何先行
## 跨进程调用
- 函数标识与入参编码
- 请求经网络传输
- 服务端解码并执行
- 结果编码返回
## 统一框架复用
- 序列化与网络收发
- 连接池与超时管理
- 避免各团队重复实现
## 双端职责
- 客户端管理调用和故障
- 服务端管理收发与执行
## 语义边界
- 接口可像本地函数
- 延迟和失败仍属远程调用
章节作用:说明 RPC 客户端为何要序列化,并比较文本与二进制编码的设计取舍。
内容脉络:先以对象、存储和网络传输的表示差异定义序列化;再用 XML 与自定义二进制布局展示字段名、长度和值如何进入字节流;最后比较解析、体积、兼容、调试、跨语言与生态。原文部分性能和产品结论缺少限定,保留为待验证的选型问题。
# RPC客户端序列化
## 表示转换
- 对象编码为字节
- 按同一规则反序列化
## 文本格式
- 字段名与值可直接查看
- 标签增加传输字节
## 二进制布局
- 字段序号与长度
- 字段名和值
- 类型与嵌套另需约定
## 选型维度
- 解析成本与消息大小
- 字段演进兼容
- 调试与跨语言生态
章节作用:对照同步阻塞与异步回调的客户端收发路径,解释连接池、队列、上下文和超时管理的分工。
内容脉络:先展示同步调用在工作线程中串行等待响应,再说明连接池如何复用连接并筛除异常节点;随后把异步请求拆为入队、收发、响应入队和回调,并用请求 ID 关联上下文。超时管理器移除上下文后,迟到响应被丢弃;异步减少等待线程,但引入队列和回调管理成本。
# RPC客户端收发
## 同步路径
- 工作线程等待响应
- 连接池取还连接
- 超时由阻塞操作处理
## 异步路径
- 请求与上下文入队
- 收发线程复用连接
- 响应入队并回调
## 关联与超时
- 请求ID映射上下文
- 定时检查等待时间
- 超时回调后删除上下文
- 迟到响应按ID丢弃
## 选择依据
- 线程占用
- 队列与回调成本
- 下游容量与时延目标
相关卡片:同步异步调用的线程代价、异步RPC收发分离处理、连接池承担选路与故障排除、请求ID关联异步响应、超时后到达的响应需丢弃
章节作用:比较定时轮询与长轮询的消息延迟,并说明长轮询请求重建空窗的补救方式。
内容脉络:先用固定间隔轮询说明消息可能等到下一次采样、缩短间隔会增添空请求;再介绍 HTTP 请求无消息时挂起、返回后重建的长轮询;最后承认连接切换空窗,并以消息池暂存补漏。原文的“绝对实时”和固定 90 秒上限不具通用性。
# HTTP消息获取
## 定时轮询
- 固定间隔取消息
- 新消息等待下次采样
- 高频率增加空请求
## 长轮询
- 无消息时挂起请求
- 有消息或超时才返回
- 返回后立即重建
## 连接空窗
- 重建期间可能无请求
- 消息暂存到池中
- 新请求带回暂存消息
## 边界
- 超时由部署配置决定
- 无法保证绝对零延迟
章节作用:用一个示意 IM 协议解释应用层确认、超时重传和去重,并揭示离线确认的语义差异。
内容脉络:先定义请求 R、响应 A、通知 N,组合出 msg 和 ack 两个半场的六报文路径;再比较消息通知与确认通知丢失,使发送方看到同样的“未确认”却对应不同结果;随后以客户端等待队列重传、稳定 msgid 去重收束。接收方离线时,服务端保存消息后代发的确认只证明服务端接管,不证明终端已收。作者未确认真实微信采用此协议。
# IM示意投递协议
## 六报文路径
- msg:R 发送方提交
- msg:A 服务端应答
- msg:N 接收方通知
- ack:R 接收方确认
- ack:A 服务端应答
- ack:N 发送方得知确认
## 不确定结果
- msg:N 丢失:接收方未收
- ack:N 丢失:接收方已收但发送方未知
## 恢复机制
- 客户端等待确认并重传
- 同一消息ID供接收方去重
## 离线语义
- 服务端暂存离线消息
- 代发确认不等于终端收到
相关卡片:应用层确认闭合消息投递、客户端维护待确认队列、确认丢失造成投递状态不确定、重传保持消息ID供接收方去重、离线存储确认不同于终端接收
章节作用:分析离线消息查询、确认与删除的顺序,并权衡批量、分页和隐式确认的交互成本。
内容脉络:先以接收方离线时服务端存储消息为前提,比较按好友逐一查询与按接收方批量拉取;消息过多时改为按需或分页。随后指出先删库再返回的丢失窗口,必须在客户端确认后删除;客户端若在确认前崩溃,下次会重拉并需按消息 ID 去重。连续分页时,下一页请求可在满足前页已处理条件下兼作前页 ACK,末页仍需显式确认。
# 离线消息拉取
## 存储与查询
- 接收方离线时服务端保存
- 按接收方批量查询
- 大批量时按需分页
## 可达性
- 先删再返回有丢失窗口
- 应用层确认后再删除
## 重复处理
- 确认前崩溃会重拉
- 按消息ID去重
## 分页确认
- 下一页请求确认上一页
- 最后一页显式确认
相关卡片:离线存储确认不同于终端接收、离线消息按接收方批量拉取、先删离线消息会造成丢失、未确认重拉需要消息去重、下一页请求可确认上一页
章节作用:从群消息高扇出的存储和确认成本出发,逐步把重复正文、逐条离线引用与逐条 ACK 压缩为共享消息、成员进度和批量确认。
内容脉络:先按群成员在线状态分流推送与离线存储,指出同一正文为多个离线成员复制的压力;继而用群消息表共享正文、离线表只存 ID。为防在线和离线消息丢失,推送前保存正文、接收后 ACK;再把每人每条待收 ID 收敛为成员最后确认游标。批量 ACK 降低请求数,却扩大可能重拉的窗口,需要 msg_id 去重。游标方案依赖稳定顺序与连续确认。
# 群消息投递演进
## 原始路径
- 查询群成员与在线状态
- 在线推送、离线存储
- 每离线成员复制正文
## 共享消息正文
- 群消息表只存一次
- 成员离线记录保存消息ID
## 可靠投递
- 推送前保存可补取消息
- 接收方应用层ACK
- 未确认仍可重拉
## 进度压缩
- 群成员记录最后确认游标
- 游标需连续且有稳定顺序
## 高扇出确认
- 按数量或时间批量ACK
- 重拉重复由消息ID去重
相关卡片:群消息正文只存一份、群推送前先保存可重拉消息、群成员游标压缩离线记录、确认游标不能越过消息缺口、批量确认降低群消息开销
章节作用:用状态变更扇出和实际查看时机,比较好友状态、群成员状态及非实时通知的推拉选择。
内容脉络:登录时先取好友状态初始快照,随后可轮询或向在线反向好友推送状态变化;推送的通知数由消息风暴扩散系数衡量。群状态的潜在扇出更大,适合进入群时再拉取。系统消息、开屏内容等低实时需求可由活跃客户端拉取,但负载是否平滑仍取决于实际登录分布。
# 状态同步的推拉选择
## 登录初始状态
- 拉好友列表
- 查在线状态缓存
## 好友变化
- 轮询有采样延迟
- 推送给在线反向好友
## 扇出估算
- 事件数乘在线接收者数
- 群状态叠加群与成员规模
## 按需拉取
- 进入群时取群成员状态
- 低实时通知由活跃客户端获取
## 边界
- 示例系数不是容量阈值
- 登录高峰仍可造成集中负载
相关卡片:登录快照与状态变更通知分工、反向好友决定状态推送对象、扩散系数衡量推送扇出、群状态进入页面时再拉取、非实时通知可按需拉取
章节作用:说明多端同时在线的路由状态和跨设备历史同步是两项不同能力,分别需要多会话记录与云端消息存储。
内容脉络:先抽象 gate、logic/router、cache 和 db 的分工,再将单一 user_id 在线状态扩为用户与终端组合,向接收方全部在线端投递,也向发送方其他端同步发出内容。消息漫游进一步要求在线消息入库,并由各端按本地游标补取历史;云端保留窗口限制可拉取范围。书中对具体产品能力的旧时点描述不作为当前事实。
# 多端登录与消息漫游
## 服务端分工
- gate 保持连接
- logic/router 处理并路由
- cache 保存终端接入点
- db 保存历史消息
## 多点登录
- 按用户和终端记录状态
- 投递接收方全部在线端
- 同步发送方其他端
## 消息漫游
- 在线消息也持久化
- 各端保存独立拉取游标
- 登录时补取缺失历史
## 边界
- 同类型多实例需会话标识
- 历史受保留窗口限制
相关卡片:接入节点与路由信息分离、会话状态按终端分开记录、发送方其他端也需同步消息、消息漫游要求在线消息持久化、各端游标限定历史同步范围
章节作用:解释分布式消息不存在天然全序,并按业务所需范围选择定序点、序号和展示规则。
内容脉络:先分析本地时钟、网络传输、多发送方、多接收方和线程并发如何使发送、到达、处理顺序不同;然后要求先定义业务标尺,比较严格单调与趋势递增的代价。多副本可通过一个定序点传播操作次序;单聊可由发送端 seq 保持局部顺序,群聊可按群 ID 路由到局部定序服务,避免全局发号瓶颈。统一次序仍需处理复制、故障和游标续接边界。
# 分布式消息定序
## 难点
- 多机时钟不能直接比较
- 网络到达顺序可变
- 多线程完成顺序可变
## 先定业务标尺
- 发送、接收、处理或展示顺序
- 严格单调与趋势递增
## 多副本操作
- 单点先定序
- 各副本按同序应用
## 聊天场景
- 单聊按发送方seq
- 群聊按群ID局部定序
- 跨群无需全局序
相关卡片:分布式消息没有天然全序、消息顺序先定义业务标尺、趋势递增不等于严格有序、单点定序统一副本操作顺序、单聊按发送方序号展示、按群定序替代全局发号
章节作用:以一个 2016 年消息平台方案说明端到云、云到端与端到端三条通道如何复用接入层,并用持久化确认、主题订阅及分层协议支持可靠性和业务扩展。
内容脉络:先比较传统 HTTP 上报和第三方推送的场景,再用 SDK、gate、logic、在线缓存、待投递库组成平台。端到云走长连接与 MQ 主题,云到端由业务服务调用 RPC;端到端可直接投递或先经业务处理再投递,可靠投递还需先存后投、双阶段确认、重发和去重。跨帐号体系用域与 uid 组合键;协议扩展分别落在命令号、字段编码和业务消息体。原文未展开分布式扩展细节。
# 通用实时消息平台
## 三类通道
- 端到云:客户端上报
- 云到端:业务服务推送
- 端到端:直投或经业务处理再投递
## 平台分层
- SDK和gate维护长连接
- logic处理路由
- 缓存在线状态
- DB保存待投递消息
## 业务解耦
- MQ主题分发端到云消息
- RPC接口接收云到端请求
## 可达性
- 先存后投
- 平台确认与接收确认分开
- 重发配合去重
## 扩展性
- 域与用户组合标识
- 命令号、参数、消息体分层演进
相关卡片:实时平台分离接入与业务处理、消息总线解耦端到云业务、在线状态筛选推送目标、先存后投与接收确认配合、多帐号体系用命名空间隔离、消息协议分层演进
章节作用:用登录同步场景比较按需拉取、客户端比对时间戳与服务端比对时间戳的流量、交互和计算成本。
内容脉络:先把数据分为登录后必用的列表和按页面访问的详情,说明延迟拉取为何能避免无用传输;再用本地时间戳与服务器时间戳比较,仅取变化的详情。客户端先取时间戳会多一次请求;把本地时间戳上传给服务端比对,可少一次往返,但增加服务端计算。作者明确不知道微信是否采用这些方法,故本章只能作为同步方案示例。
# 登录数据同步减流量
## 按使用时机取数
- 登录时取必用列表
- 打开详情时再取详情
## 用时间戳探测变化
- 本地数据不能直接视为最新
- 先取时间戳再取差异
- 减少完整数据传输
- 代价是增加一次往返
## 将比对移到服务端
- 客户端上传本地时间戳
- 服务端返回差异数据
- 减少一次请求
- 增加服务端计算
## 证据边界
- 未证实微信实际采用
章节作用:以即时通信为例,把通信协议拆成应用、安全和传输三层,说明消息格式、保密方案与传输承载需要分别选型。
内容脉络:先给出语法、语义、时序三个协议要素,再比较文本、二进制、流式 XML 的解析、扩展与传输开销。随后以定长包头和变长包体示例说明如何划定解析边界及业务扩展区域;安全层列出 SSL 与自管密钥的选项,自管方案按固定、每用户、每会话三个粒度比较。传输层仅列 TCP 和 UDP,未充分展开取舍。原文有若干不严谨断言,卡片保留可核验的结构与权衡,不照录那些断言。
# 即时通信协议选型
## 协议要素
- 语法规定消息结构
- 语义规定动作含义
- 时序规定交互顺序
## 应用层
- 文本便于阅读调试
- 二进制字段便于解析
- 流式XML有标签与解析开销
- 定长包头界定读取长度
- 变长包体承载业务字段
## 安全层
- SSL与自管加密
- 固定、按用户、按会话密钥
- 粒度影响管理成本与泄露范围
## 传输层
- 提及TCP和UDP
- 选型条件未展开
相关卡片:协议约定语法语义时序、即时通信协议的三层职责、应用层协议三种范式的权衡、包头包体分离兼顾解析与演进、密钥粒度影响泄露范围
章节作用:用大量连接空闲超时说明全量扫描和逐请求定时的成本,再引出用环形槽分批检查任务的时间轮方案。
内容脉络:先记录每个用户的最后活动时间,比较单定时器周期扫描全表与每个请求另设定时器的代价;再用环形槽保存待检查任务、Map 定位任务原槽。请求到达时把任务移到未来槽,单一定时器逐秒扫描当前槽并批量处理。该设计缩小每次检查范围,但原文没有证明任意负载下的固定 CPU 收益,按秒推进也需要实现层校验超时边界。
# 大量任务的超时检查
## 直接方案
- 单定时器扫描所有任务
- 每次请求设置新定时器
- 成本随任务量或请求量增长
## 环形槽方案
- 每槽保存任务集合
- Map定位任务所在槽
- 活动时从旧槽移到未来槽
- 一个定时器逐槽检查
## 取舍边界
- 只检查当前槽
- 单槽任务多仍需处理
- 秒级推进需核对截止时刻
相关卡片:扫描与逐请求定时的成本、时间轮批量处理大量超时
章节作用:把时间轮从连接空闲超时扩展到任意较长的延迟任务,并比较周期扫描订单与创建时预排程的取舍。
内容脉络:先用订单完成一段时间后自动处理的需求说明周期扫描的发现延迟与查询成本,再在有限槽位的环形队列中加入任务圈数。目标槽表示一圈内的位置,圈数表示还需等待多少圈;指针到槽时递减或执行。原文只给出内存中的调度示意,可达性与幂等性尚未展开,不能据此保证任务恰好执行一次。
# 长延迟任务的调度
## 周期扫描订单
- 每小时查询到期任务
- 间隔决定发现延迟
- 缩短间隔增加查询频率
## 有限时间轮
- 目标槽确定一圈内位置
- 圈数记录跨圈等待
- 到槽时递减或执行
## 交付边界
- 内存方案未说明持久化
- 重试与幂等未展开
相关卡片:周期扫描与预排程的取舍、圈数扩展时间轮延迟范围
章节作用:解释 MQ 用落地保存、两段确认、超时重发降低消息漏投风险,同时说明重复投递和失败回调的边界。
内容脉络:先将发送方、MQ 和接收方的协作拆为上半场与下半场。上半场 MQ 落地后再确认发送方,下半场接收方 ACK 后 MQ 才删除消息;两段各自超时重发。下半场可用指数退避拉开连续失败后的间隔。确认丢失会造成重复,发送方重试 N 次仍可能失败;原文未展开去重和幂等,因此“必达”只能作为努力目标,不能当作绝对保证。
# MQ可靠投递的边界
## 上半场
- 发送方把消息交给MQ
- MQ落地后确认
- 未收到确认可重发
## 下半场
- MQ投递给接收方
- 接收方回ACK
- MQ收到ACK后删除
- 未收到ACK可重发
## 重试取舍
- 指数退避拉开间隔
- 确认丢失可造成重复
- 有限次重试可失败
- 去重与幂等未展开
章节作用:从全网与站内搜索的写入、查询流程进入正排和倒排索引,再逐步说明多词检索中倒排列表求交集的几种实现。
内容脉络:先区分爬虫抓取和站内发布的输入方式,把索引构建与在线检索分开;查询端分词后查倒排候选,由排序模块决定结果次序。正排按文档找内容,倒排按词找文档。多词检索需对倒排列表求交集:有序列表可双指针推进;ID 范围分桶便于并行;值域有限时可用位图按位与;列表长短悬殊时可用跳跃层减少无效比较。原文的 O(1) 与 O(log n) 说法并非这些完整流程的通用复杂度。
# 搜索架构与交集计算
## 写入和查询
- 爬虫或站内发布供数
- 构建正排与倒排索引
- 查询分词并取候选
- rank排序并返回
## 两种查找方向
- 正排按文档找内容
- 倒排按词找文档
## 倒排列表交集
- 有序列表双指针
- 按ID范围分桶并行
- 有限值域用位图按位与
- 跳跃层减少无效扫描
## 成本边界
- 列表长度影响总开销
- 位图空间取决于值域
- 跳过局部区间不等于整体对数复杂度
相关卡片:搜索写入与检索分成两条链路、排序策略决定结果次序、正排与倒排索引互补、双指针求有序列表交集、按文档ID分桶并行求交集、位图用位与求集合交集、跳跃层减少无效比对
章节作用:按搜索需求与系统负载演进比较库内模糊查询、全文索引、外置搜索和自研引擎,并以三层自研架构说明容量与读吞吐扩展方式。
内容脉络:先用 LIKE 和库内全文索引满足初期检索,指出前置通配符扫描及搜索与业务事务共用数据库的限制;外置索引将检索负载移出原始库,但必须同步数据。Lucene 库与 Elasticsearch 服务示例说明库能力和服务职责的差别。自研案例由 proxy 接入、merger 合并排序、searcher 读取分片索引;水平分片扩容量,同片副本分摊读请求。原文规模数字和“无限扩容”均不能直接当作通用保证。
# 搜索方案按约束演进
## 初期方案
- LIKE快速起步
- 全文索引支持分词
- 搜索与事务共用数据库
## 外置搜索
- 原始数据与索引分离
- 需要同步与失败修复
- 搜索库封装为服务
## 自研案例
- proxy接入
- merger合并排序
- searcher检索索引
- 水平分片扩容量
- 同片副本分担读请求
## 选型边界
- 数据量数字非通用阈值
- 增加机器不保证线性扩容
相关卡片:搜索方案按约束演进、外置索引须同步原始数据、搜索库与搜索服务的边界、代理合并检索的三层分工、分片与副本解决不同扩展问题
章节作用:承接搜索方案与索引结构,说明大规模搜索如何把新写入数据纳入检索,同时维持全量索引的查询效率。
内容脉络:先指出大索引频繁零散更新会影响检索效率,再以全量、日增量、小时增量分级:写入最低层,查询跨层合并。随后由 dumper 导出在线索引、merger 异步合并到上一级,控制增量层规模。原文的层级、周期和时延是案例参数;Spider 发现新网页另属抓取链路,不能由索引机制推断其时效。
# 索引分级兼顾更新与查询
## 问题
- 大索引频繁零散更新产生碎片
- 新数据仍需进入查询范围
## 分级索引
- 全量索引保存稳定数据
- 日与小时增量承接变更
- 写入最低层
- 查询跨层合并
## 异步沉淀
- dumper导出在线数据
- merger并入上一级
- 周期依负载调整
## 边界
- 案例时延不是通用保证
- 网页抓取时延另行判断
相关卡片:索引分级兼顾新鲜度与检索效率、异步导出合并增量索引
章节作用:以 58 同城不同规模阶段的架构变化,说明设计决策要对应当时主要瓶颈,并展示业务拆分和平台能力出现的时机。
内容脉络:从单机建站、DAO/ORM 降低开发错误起步;流量增大后,数据库读压力及站点耦合促成读扩展、业务页面切分和数据垂直拆分。业务与机器继续增长,服务层、接入冗余、框架、配置中心、消息总线及自动化逐步出现。文中技术栈推荐和流量数字属于历史案例,不能直接移作今天的阈值或方案。
# 按主要瓶颈推进架构
## 建站初期
- 单机承载完整站点
- DAO与ORM降低开发错误
## 流量增加
- 数据库读压力
- 业务页面拆分降低耦合
- 数据拆分缓解单库负担
## 业务与机器扩张
- 服务层封装数据访问
- 反向代理与冗余
- 框架收拢重复基础工作
- 配置中心与消息总线
- 自动化降低人工维护
## 决策边界
- 找到当前主要约束
- 案例流量不是通用阈值
章节作用:以 58 同城推荐案例展示离线数据生产、线上策略执行和效果观测三段如何衔接,补足前一章提到的智能化业务实例。
内容脉络:离线挖掘先从数据源产出结果,数据管理工具按格式契约转换并送往线上存储;无状态展示服务以通用接口接收业务请求,分流服务按规则和比例选择推荐内核。内核在预处理、预分析、去重过滤、排序、解释五步中组合不同策略,必要时调用专用 module。业务页面回传展示与点击,评估端观察效果;这些数据能支持监测,但分流和点击本身不能单独证明因果增益。
# 推荐系统三段协作
## 离线推荐
- 挖掘模块产出结果
- 数据管理工具迁移与转换
- 线上存储供实时读取
## 在线推荐
- 接入服务提供统一接口
- 分流服务按规则选平台
- 推荐内核组合五步策略
- 专用module支撑步骤
## 效果评估
- 页面展示推荐结果
- 浏览器上报展示与点击
- 分析端观察反馈
## 边界
- 分流不等于有效实验
- 点击反馈不等于因果增益
相关卡片:推荐系统分离产出服务与评估、离线挖掘结果经数据管理工具上线、分流服务按规则分配实验流量、推荐内核按固定步骤组合策略、展示点击回传支撑推荐效果观测
章节作用:接续前章的推荐系统架构,展示面向二手商品的产品入口与标签、预测、协同过滤三种策略,并指出数据不足时的冷启动边界。
内容脉络:首页、详情页、附近、搜索和用户召回各有不同上下文。召回可参考 RFM 交易行为分值;商品标签与用户交互形成间接匹配;购买预测把用户商品对打分排序;用户协同过滤从相似用户的交互中寻找候选。新用户与新商品缺失的数据不同,需分别准备热门内容或商品内容等候选来源。画像中的应用安装推断缺少可靠性与隐私证据,不当作推荐规则。
# 从产品入口到推荐候选
## 场景与目标
- 首页、详情、附近、搜索
- 召回参考RFM交易行为
## 标签推荐
- 商品标签与行为日志
- 汇总用户标签偏好
- 排除已交互商品并排序
## 购买预测
- 用户商品对的二分类训练
- 按模型分数排序
## 用户协同过滤
- 稀疏偏好矩阵
- 相似用户群提供候选
## 冷启动边界
- 新用户用热门候选
- 新商品用内容标签补候选
相关卡片:标签连接用户偏好与商品、冷启动需要不依赖历史行为的候选、RFM用近期购买行为估计召回价值、购买预测模型按用户商品对排序、用户协同过滤借相似用户发现候选
章节作用:以前章跨品类闲置商品推荐为参照,说明商品类型和数量较少的垂直业务怎样用人工属性、行为统计和展示规则起步。
内容脉络:先确定列表、详情、下单成功和召回的推荐时机。对美甲样式人工标注款式、颜色、风格等属性,再由用户购买、收藏、喜欢、浏览过的甲样统计同类标签频率,将标签得分汇总为候选分数。最终展示的四个甲样还需满足价格覆盖、新旧组合与相邻色款差异等业务约束;示例阈值和数量应按实际商品与效果调整。
# 垂直业务的推荐起步
## 推荐入口
- 列表、详情、下单成功
- 离开后召回
## 商品画像
- 人工定义核心属性
- 款式、颜色、风格、场景、图案
## 用户偏好
- 汇集历史交互商品
- 同类标签频率形成得分
- 候选商品汇总排序
## 展示规则
- 匹配消费能力
- 覆盖价格与新旧商品
- 相邻色款保持差异
章节作用:用高流量、低频变更的城市服务入口案例,说明从数据库查询到预生成页面的多层缓存选择,以及静态化的适用边界。
内容脉络:按城市显示已开通服务的页面,原链路每次都经过 Web、服务与数据库。数据变化少时先缓存清单;若缓存读取的网络成本成为瓶颈,再考虑服务内 map;继续减少运行时工作可用 Web 整页缓存或每城市预生成 HTML。动静分离把稳定资源交给文件分发链路。随着页面数量、更新频率和个性化要求增加,预生成与失效成本也上升,需按实际约束选择。
# 城市服务入口的读取优化
## 原始链路
- Web生成页面
- 服务查询城市清单
- 数据库承受重复读取
## 缓存逐层前移
- 分布式缓存保护数据库
- 服务内存减少网络读取
- Web整页缓存减少服务调用
- 预生成城市静态页
## 动静分离
- 稳定资源走文件分发
- 动态页面保留生成链路
## 选择边界
- 页面基数与变更频率
- 失效、回退和个性化成本
章节作用:从用户投诉晚发现、技术定位链路长的问题出发,搭建由内部指标到调用方和用户视角的多维监控方案。
内容脉络:机器资源、进程端口、日志和接口指标逐层缩小故障范围,但单点正常不足以证明业务可用。进程端口可由中心分发检查或代理本地执行上报;日志按错误级别或关键字报警,接口心跳与时长用于定位。监控中心再调度发包器模拟调用核心接口,校验业务返回并按集群 IP、接口与责任人告警。最后从接入层和异地用户路径探测,区分内部故障与真实用户影响。
# 立体化监控
## 发现与定位目标
- 比用户投诉更早感知
- 缩短跨层定位路径
## 内部信号
- 机器资源与进程端口
- 错误日志与关键字
- 心跳接口与处理时长
## 调用方探测
- 发包器调用核心接口
- 监控中心调度与告警
- 校验业务内容
- 控制写入副作用
## 用户视角
- 接入层路径
- 异地网络路径
- 按用户影响判断紧急程度
相关卡片:单层健康指标不能证明业务可用、调用方探测验证接口业务结果、用户视角探测补足内部网络盲区、分发型与汇总型监控区分执行控制、主动探测需校验业务内容并控制写入副作用、错误日志与关键字阈值分别告警、接口心跳与处理时长提供不同信号
章节作用:用余额扣减的并发读改写案例解释更新丢失的根因,再给出单行条件更新检测冲突的办法。
内容脉络:两笔购买同时读取 100 元,分别算得 28 元和 38 元;若更新只按用户 ID 定位,后写的余额覆盖先写结果。把读到的旧余额加入更新条件后,两条并发更新最多一条命中;影响行数为 0 的调用不能当作扣减成功,应重新读取并重算或返回冲突。该办法只解决示例中的单行写入冲突,不自动处理订单幂等与跨表状态。
# 余额并发读改写
## 问题
- 两笔请求读到同一旧余额
- 各自计算新余额
- 后写覆盖先写
## 条件更新
- 用户ID定位行
- 旧余额参与比较
- 影响行数判断结果
## 边界
- 冲突后需重算或返回
- 订单幂等另行处理
- 跨表状态不能由单条更新保证
章节作用:以网页去重为问题,区分完全相同校验与近似文本比较,并从集合签名推到更轻量的分句指纹。
内容脉络:内容哈希适合检查数据是否完全一致,却不能量化少量改写后的相似程度。作者介绍将文本转为词集合,再用 MinHash 生成压缩签名,预计算已有网页签名并按阈值筛选候选;原文的“取原值最小几个”仅用于直观说明。若目标语料主要整句复制,还可尝试按标点切分、取长句作指纹,但准确率与漏检需实测。书名中的百度实现只是提问式标题,作者明确未核实。
# 长文本去重
## 问题区分
- 完全相同用内容哈希
- 近似改写需相似签名
## 集合方法
- 文本转为词集合
- MinHash压缩集合
- 已有网页签名预计算
- 设阈值筛选疑似重复
## 句子指纹
- 按标点分句
- 选择较长句
- 适用于整句复制假设
## 证据边界
- 准确率需目标语料验证
- 不知百度实际实现
章节作用:以标题数据量适中、查询量大且更新少的业务约束为例,比对搜索方案并说明轻量内存倒排索引的做法与演进边界。
内容脉络:原文先比较数据库 LIKE、全文索引和外置搜索引擎,再讨论 Trie、DAT 的内存与更新取舍。最终方案是标题分词后建立词到文档 ID 列表的内存映射;查询也分词,检索各列表并按所需语义组合。它避免引入重型搜索服务,却需要考虑词哈希碰撞、重启重建、冗余版本和数据增大后的分片。文中的吞吐数字是需求设定,没有实测证明。
# 高并发短文检索
## 约束
- 标题集规模适中
- 查询量大
- 更新少
## 方案比较
- 数据库LIKE与全文索引
- 外置搜索服务
- Trie和DAT
## 内存倒排表
- 标题分词
- 词映射文档ID列表
- 查询时组合列表
## 演进边界
- 索引重建与冗余
- 词哈希碰撞
- 容量增长后分片
章节作用:以写多读少的内存缓存为例,从全局锁推进到分片和逐记录锁,再审视原文提出的签名校验“无锁”办法及其正确性边界。
内容脉络:全局锁让不同键写入互相等待;按键分片减少无关竞争,数组逐记录锁进一步缩小范围,但热点键仍需串行且锁资源增加。原文随后提出取消锁、为值附 CRC,读取签名不符则按缓存未命中处理。该做法至多检测部分损坏读,不能保证无丢失更新或一致快照;真正无锁实现还需要原子操作和明确的发布读取协议。缓存回源和定期落盘也须另行设计。
# 写多读少缓存的并发控制
## 锁粒度
- 全局锁保护整个Map
- 按键分片减少无关竞争
- 逐记录锁增加资源成本
## 热点边界
- 同一键仍竞争
- 访问分布决定收益
## 签名方案
- 并发写可能撕裂值
- 校验失败按miss
- 校验不防丢失更新
## 正确性条件
- 原子发布和读取顺序
- 持久化与回源另行设计
章节作用:说明服务连接池按业务 ID 固定路由的实现,并区分故障后可重新选路与维持同群时序这两种目标。
内容脉络:接入层可能接收同一群的不同消息,RPC 客户端连接池可对群 ID 取模,把请求发送到同一服务实例;群 ID、用户 ID 等都能复用该路由机制。故障实例可从候选集合排除,但成员变化会重排部分 ID 的落点,需另行处理在途请求和定序状态。访问 ID 分布均匀只是负载接近均衡的前提,热点群可能仍使单实例过载。固定落点有助于集中查询日志,但成员变化后日志不一定仍在一台机器。
# 按业务ID固定路由
## 请求路径
- 接入层可变化
- RPC客户端连接池选服务
## 取模映射
- 传入群ID或用户ID
- 同ID固定落点
- 连接池不理解业务语义
## 故障与扩容
- 排除故障连接
- 成员变化引起重映射
- 在途请求和序号状态须交接
## 负载与排查
- 均衡依赖访问分布
- 热点ID可能倾斜
- 稳定落点便于查日志
相关卡片:按业务ID固定路由服务、成员变化会重排取模映射
章节作用:以一次 IDC 到云端的迁移案例,说明双机房过渡期的连接策略、分层切换顺序与有状态数据的切换门槛。
内容脉络:单机房内的全连策略搬到双机房会增加跨机房调用;过渡期让应用和只读数据优先同连,同时承认写主库仍可能跨机房。先搭建并测试站点与服务,按业务逐步导流;再切缓存并评估冷启动回源;最后同步数据库,在旧库停写后等待新库追平并切连接。旧环境可为早期步骤提供回退,但缓存和数据库切换后的回退须核对新数据。主库所在机房故障时,读写可用性不同;专线带宽及复制延迟也是迁移约束。原文的时延和读写比例仅是案例示意。
# 跨机房渐进迁移
## 过渡期拓扑
- 单机房全连
- 双机房优先同连
- 写主库可能跨机房
## 应用层
- 新机房先测试
- 按业务逐步放量
- 保留旧环境回退
## 缓存层
- 改域名并断旧连接
- 评估冷缓存回源
- 不容忍miss需同步方案
## 数据库层
- 新库先同步
- 旧库设只读作为写入屏障
- 追平后改配置重连
- 回退需检查新写入
## 容灾与容量
- 主库机房故障需提升副本
- 专线带宽和复制延迟需评估
相关卡片:跨机房同连减少调用延迟、分批切流量保留回退路径、迁移先应用后缓存再数据库、冷缓存切换须评估回源、数据库切换需要写入屏障、同连不等于机房双活
章节作用:用饮水机比喻区分服务副本的运行角色,并以 RAID0、RAID1、RAID5 比较条带、镜像与校验冗余。
内容脉络:单机只有一份服务,集群多个实例同时服务,热备平时仅主实例对外、备实例待命。磁盘层面,RAID0 分布数据以并行访问而不提供冗余;RAID1 完整镜像,容量利用率较低;RAID5 用额外校验信息支持故障恢复。RAID0+1 被提及为组合方案,原文未展开故障模型。副本部署不自动保证切换容量,RAID 冗余也不等于备份;旧卡将 RAID5 恢复与缓存 CRC 检错混同的类比已去除。
# 副本与磁盘冗余
## 服务实例
- 单机一份
- 集群多份同时服务
- 热备主服务加待命副本
## 磁盘组织
- RAID0条带并行无冗余
- RAID1完整镜像
- RAID5数据加校验信息
- RAID0+1组合被提及
## 适用边界
- 故障切换需容量和健康检测
- RAID不代替备份
- 校验恢复不同于仅检错
章节作用:按条件筛选、字段读取、内置函数、程序阶段与 shell 交互介绍 awk 的常用文本处理操作。
内容脉络:awk 逐行处理输入,以条件决定是否执行动作;正则、行号和字段变量支持筛选与列处理。内置函数可完成长度、查找、拆分与替换;BEGIN 和 END 分别用于初始化与汇总输出。章节还给出 shell 变量拼接、外部命令及文件读取示例,但直接拼接有转义风险,调用外部命令有副作用。原文“长度大于100”却写 80,以及 => 判断符等错误已在卡片中标出;示例经本地 awk 命令核验行号范围与累加用法。
# awk文本处理
## 筛选与动作
- 逐行处理
- 正则或行号条件
- 默认打印命中行
## 字段和函数
- NR与NF
- $0与各列
- length和split等函数
## 程序阶段
- BEGIN初始化
- 普通动作逐行执行
- END汇总
## 环境边界
- shell与awk引号分离
- system和管道有副作用
- 文件读写需核对路径
相关卡片:awk按条件筛选文本行、awk字段变量定位列、awk内置函数处理文本、awk用BEGIN与END汇总、awk与shell交互需分清边界
章节作用:以入门操作手册形式罗列 Perl 的字符串、变量、数组、子程序、文件输入输出、哈希和流程控制。
内容脉络:脚本可交给 Perl 解释器执行;单引号与双引号的插值行为不同。标量用 $,数组整体用 @,哈希整体用 %;数组的头尾操作支持队列和栈,子程序通过 @_ 接收参数。<> 逐行读取标准输入或文件参数,$_ 是省略显式变量时的默认值;哈希键无稳定遍历顺序,反转遇重复值可能覆盖。原文关于 strict/警告、our 默认作用域、命令行文件输出及部分残缺输入示例的表述不可靠,已在卡片与覆盖记录中区分;本地 Perl 验证了子程序参数和哈希查删键的示例。
# Perl入门操作
## 运行与基本值
- 解释器运行脚本
- 字符串引号与拼接
- 标量和undef
- my与our
## 集合
- 数组及首尾操作
- 哈希按键存取
- 遍历无序与反转覆盖
## 程序结构
- sub与参数数组
- 条件修饰和循环控制
## 输入输出
- 钻石操作符逐行读取
- 默认变量与chomp
- 显式文件句柄
## 原文边界
- 残缺输入代码不复原
- 文件参数不是输出重定向
- strict与警告不同
相关卡片:Perl脚本运行与字符串、Perl标量定义与词法作用域、Perl列表与数组端点操作、Perl子程序用参数数组取值、Perl逐行输入与文件句柄、Perl哈希按键操作、Perl条件修饰与循环控制
章节作用:按地址定位、整行编辑和字符串替换三类用途介绍 sed 的基本操作。
内容脉络:sed 逐行处理输入,可直接执行命令或读取脚本文件。行号范围、末行标记与正则表达式选中目标行;-n 关自动打印,p 显式输出。a/i/c/d 处理整行的追加、插入、替换与删除;s 替换匹配文本,g 控制一行内是否替换全部匹配。原文对自动打印时机的说明不准确,^10 的演示也会命中 100 的前缀;本地 sed 已验证这一结果。不带原地编辑选项时,命令输出改变而输入文件不变。
# sed逐行编辑
## 调用入口
- 直接命令
- 脚本文件
## 地址
- 行号与范围
- 正则匹配
- 末行标记
## 输出
- 默认自动打印
- -n关闭自动打印
- p显式打印
## 编辑动作
- a/i/c/d修改整行结构
- s替换匹配文本
- g表示替换全部匹配
## 校验
- 区分前缀与整行匹配
- 先核对输出再考虑原地编辑
章节作用:用协调者与参与者的投票和决议流程解释跨节点事务,并指出已准备状态的阻塞风险。
内容脉络:参与者只能判断本地能否提交,因此协调者先收集各方投票;全部同意时形成提交决议,否则形成回滚决议,再将同一结果告知参与者。参与者在已准备但未知最终决议时可能持有资源等待;协调者故障会延长这一窗口。超时可触发恢复处理,但不等于参与者能安全自行决定。原文的会议安排只是等待的比喻,不能证明事务原子性;“所有节点全程阻塞”和效率必然很低的绝对说法已收窄。
# 两阶段提交
## 协调者与参与者
- 各参与者知本地结果
- 协调者汇集投票
## 第一阶段
- 请求准备
- 投票能否提交
## 第二阶段
- 全部同意则提交
- 否则回滚
- 通知各参与者
## 故障窗口
- 已准备者等待决议
- 可能持有资源
- 超时不等于安全决议
章节作用:用两张示例表和结果配图说明内连接、左连接与右连接的保留方向。
内容脉络:t1 含 ID 1、2、3,t2 含 2、3、4;按 ID 内连接只得到 2、3 的匹配配对。左连接还保留 t1 的 ID 1,右侧列为 NULL;t1 RIGHT JOIN t2 交换表位后应写成 t2 LEFT JOIN t1,保留方向相同,但 SELECT * 列序须另核。原书维恩图便于直观识别“匹配”,但 SQL 连接输出的是行配对,不是去重集合。原文说左连接结果行数与左表相同,只在此例右表每键至多匹配一行时成立;若右表重复键,一条左行可能扩成多行。
# SQL连接保留方向
## 内连接
- 输出满足条件的配对
- 示例匹配ID为2和3
## 左连接
- 保留左表每行
- 无匹配时右列为NULL
- 一对多匹配可能扩行
## 右连接
- 保留右表方向
- 可交换表位改写为左连接
## 图示边界
- 行配对不等于集合交集
- 注意重复键和输出列顺序
章节作用:解释连接复用的收益、取还接口和下游访问策略,并审视示例伪代码的并发安全缺口。
内容脉络:每次调用都建连与关连会重复支付固定成本,池化后由初始化、获取、归还接口复用连接。满池时等待还是失败、连接是否可用、如何选择实例和处理故障,需要另定策略;DAO 可隔离业务代码与连接细节。原文把 lock[i]==0 的检查和 lock[i]=1 的占用标记分成两步,多个线程可能同时借出同一连接;实际实现须使用原子租借机制并核对归还状态。池化减少常态建连,但失效连接仍需重建。
# 连接池管理
## 复用路径
- 初始化连接
- 获取可用连接
- 调用下游
- 归还连接
## 并发条件
- 原子占用标记
- 避免重复归还
- 失效连接剔除与重建
## 策略层
- 满池等待或失败
- 健康检查
- 实例路由和负载均衡
- 故障切换
## 封装
- DAO隔离业务调用
章节作用:从线程和同机进程的互斥类推跨机互斥,以同账户并发扣款说明需要共同可访问的协调点,并审视示例锁的缺失条件。
内容脉络:多个竞争方访问同一临界资源时,要先选出唯一持有者,再执行操作并释放锁。跨机环境可使用共享服务协调同一账户的扣款,但原文仅写 SET key=123 和 DELETE key=123,没有给出条件获取、租期或持有者核验,不能证明互斥与安全释放。余额扣减仍应由数据库原子条件约束,不能只依赖缓存锁。
# 跨机同资源互斥
## 场景
- 多机进程竞争同一账户
- 缺少协调可能扣成负数
## 共同结构
- 共享协调点
- 唯一持有者进入临界区
- 完成后释放
## 原文示例边界
- 普通SET不能独占
- DELETE缺少持有者核验
- 租期与故障恢复未展开
## 资金保护
- 余额条件原子扣减
- 核对扣减结果
章节作用:先用跨服务并发导入说明共享锁需求,再以 Chubby 论文阅读笔记串起命名节点、会话租约、副本提交、主节点切换和协调服务的使用方式。
内容脉络:同用户导入请求若并发进入不同服务实例,可能插入冗余记录;以用户为键的互斥能缩小窗口,但仍需数据层去重。Chubby 以类文件命名空间提供粗粒度建议性锁和少量协调数据:会话租约使故障持锁可回收,主节点切换时恢复会话状态、使客户端缓存失效,多数副本参与提交。节点还可用于选主、发布服务信息与临时进程状态。原文对建议性锁和“一旦加锁就保证数据一致性”的表述过宽;完整安全性取决于访问方守约、资源端校验及协议细节。
# Chubby协调服务
## 业务缘起
- 同用户并发导入重复记录
- 按用户争锁并在数据层去重
## 节点接口
- 粗粒度建议性锁
- 少量服务信息
- 缓存与变更通知
## 会话与故障
- KeepAlive续租
- 失联进入危险状态
- 主节点切换重建会话并失效缓存
## 副本一致性
- 多数派确认提交
- 落后副本补日志
## 使用场景
- 选主与发布主服务位置
- 临时节点辅助进程监控
相关卡片:会话租约限制故障持锁时间、建议性锁只约束遵守协议的访问方、同用户并发导入需要去重边界、命名节点兼作锁和少量协调数据、主节点切换须重建会话并失效缓存、多数副本确认后才提交协调状态、选主节点同时发布主服务位置、临时节点与通知辅助进程监控
章节作用:以一张协议分层图和简短文字概览通信层次;图示内容是 OSI 七层,需要与章名中的 TCP/IP 分层区分。
内容脉络:配图从物理层到应用层标出七层,正文把应用、表示、会话层并列描述,再列传输、网络、数据链路和物理层的代表职责。图中协议归属与层次边界具有示意性质;可用于辨识问题位置,不能据此推出某协议只在固定层工作,也不能把 OSI 七层直接称为 TCP/IP 模型。配图已与原 EPUB 核对。
# 网络分层图的阅读边界
## 图中OSI七层
- 应用、表示、会话
- 传输
- 网络
- 数据链路
- 物理
## 用途
- 按职责定位通信问题
- 理解相邻层交付关系
## 注意
- 章名TCP/IP与七层图有别
- 协议归层仅作示意
相关卡片:OSI七层图不能等同TCPIP分层
章节作用:用马路类比解释负载均值与核数、三个时间窗口的关系,并给出上升、持续和回落的示例;需纠正原文把负载仅写成 CPU 等待队列的定义。
内容脉络:uptime 等命令展示 1、5、15 分钟负载。原文以单核一条路、双核两条路说明数值须结合核数;多窗口比较可以观察近期压力方向。但 Linux 负载还包含不可中断等待任务,不等于 CPU 使用率;负载接近核数或超过固定数值也不能单独判断实际排队或业务拥塞,应同时核对 CPU、I/O 和业务延迟。八张类比图与文字一致,未提供额外机制。
# 阅读Linux负载均值
## 指标
- 1分钟
- 5分钟
- 15分钟
## 任务范围
- 可运行任务
- 不可中断等待任务
## 判断条件
- 结合CPU核数
- 比较短长窗口方向
- 联查CPU、I/O和业务延迟
## 边界
- 不是CPU使用率
- 固定阈值不通用
章节作用:用状态图解释线程在等待任务、处理任务与空闲追随之间的交接,并讨论共享队列与降低锁竞争的取舍。
内容脉络:同一时刻由一个 leading 线程等待任务,任务到来后转为 processing,following 线程竞争补上 leader;处理结束通常回到 following,配图也给出没有 leader 时直接补位的路径。原文将消息队列视作竞争转移点,可提醒人检查新瓶颈;但并非所有队列都需要单一锁,也不能断言总竞争量不变。多队列分片是一种降低单点竞争的方案,需用实际等待与吞吐验证。
# Leader-Follower线程模型
## 三种状态
- Leading等待任务
- Processing处理任务
- Following空闲待补位
## 状态交接
- 任务到来:Leading到Processing
- Following竞争新Leader
- 处理结束返回Following
- 无Leader时可直接补位
## 竞争与取舍
- 无队列可少一次排队
- 共享队列提供缓冲
- 分片降低单点竞争
- 以测量检验效果
章节作用:以八条职场态度建议讨论进度沟通、执行验证与协作责任;其中部分关于晋升、性格和加班的断言缺少证据,不能作为通用结论。
内容脉络:原文先批评消极待命与模糊进度答复,举维修安排多次变化说明他人无法据此计划;接着强调及时行动、让计划者接触实际执行,并用会议话筒调试和提问展示遗漏;最后谈协作进度、细节、情绪和担责。可保留的工作方法是明确状态与下一步、试行关键步骤、及时暴露协作依赖。模糊措辞不能证明人格缺陷,长时间加班也不能作为晋升标准。
# 职场协作建议的可用部分
## 进度沟通
- 已完成与未知事项
- 责任人与下一次确认
## 计划验证
- 试行关键步骤
- 记录耗时和异常
## 协作依赖
- 明确交付与接手人
- 及时报告阻塞并求助
## 判断边界
- 不从措辞推断人格
- 不把加班当作晋升证据
章节作用:通过一位司机的改行叙述讨论收入与努力;材料可提示比较补贴、工时和工作偏好,但不足以证明普遍收入因果规律。
内容脉络:司机回忆设计工作收入较低,早期网约车补贴和收入促使其改行;补贴随后减少,他仍因喜欢独自开车而留下,并认为延长工作时间能提高月收入。这个个案提示职业比较要区分临时补贴、净收入、工时和偏好;书中没有成本、样本或同期市场数据,不能据此断定所有职业“努力越多收入越高”。
# 一则职业收入访谈
## 历史叙述
- 设计工作转向网约车
- 早期补贴带来较高收入
- 后期补贴减少
## 当前选择条件
- 更长劳动时长
- 喜欢独自开车的方式
## 比较边界
- 核算单位时间收益
- 区分临时补贴和长期报酬
- 个案不证明普遍因果
相关卡片:比较收入需拆开补贴与工时
章节作用:以购物对话说明具体反馈比空泛评价更有讨论价值;原文末尾对女性动机的泛化不宜保留为一般结论。
内容脉络:原文提出只答“好看”或“不好看”可能无法回应对方的选择难题,随后用同类衣物数量、款式和护肤品余量作为具体反馈依据。可迁移的是关注对方真正要判断的条件,并用可观察事实解释意见;记住所有商品种类不是必需步骤,也不能把所有人的购物目的归为同一种动机。
# 回应购物选择
## 原文问题
- 笼统好看可能被视作敷衍
- 笼统不好看缺少理由
## 有用反馈
- 观察款式与已有物品
- 说明具体理由
- 询问对方关注条件
## 边界
- 不要求背完整品类清单
- 不泛化性别动机
相关卡片:具体反馈胜过笼统评价
章节作用:借“一分钟目标、称赞、批评”讨论目标对齐与具体反馈;其中固定字数、目标个数和纠错效果不能当作普遍保证。
内容脉络:原文先用两类经理人的对比提出兼顾结果与团队建设的问题,继而建议在工作开始时写清目标与评价标准;对新人具体肯定做对的行为,对熟悉业务的员工及时、私下指出具体失误。末尾强调培养员工的投入。可用的管理方法是提前对齐预期、基于行为给反馈,并核对效果,而非给人贴标签。
# 一分钟经理人
## 目标
- 简短说明目标与评价标准
- 双方提前核对理解
## 称赞
- 指出具体做对的行为
- 说明其价值
## 纠错
- 及时、小范围沟通
- 聚焦行为而非人格
- 核对后续改进
## 边界
- 数字是启发式
- 反馈不保证效果
章节作用:访谈式汇集架构师职责、技术选型、能力成长、架构评估和技术氛围的建议;保留方法与边界,避免把个人经历当作通用门槛。
内容脉络:作者主张架构师理解业务与系统实现,有时间写核心代码,否则把关详细设计与代码评审;新技术可以学习,但生产选型需计入统一平台成本。他用π型描述技术宽度、专业深度和通用能力,再以基本功、业务积累、通用素质说明个人成长。评价架构应看当前业务需求及下一步扩展,培养技术交流则借助指导人、评审和分享。
# 架构师访谈
## 职责
- 理解业务与实现
- 代码、详细设计和评审
## 技术决策
- 学习新技术
- 生产选型核算共同成本
- 适应当前业务与近一步扩展
## 能力成长
- π型:宽度、专业与通用能力
- 基础、业务、通用素质
## 团队学习
- 指导人
- 技术评审
- 内部分享
相关卡片:架构设计须接近业务和实现、生产选型核算技术栈的共同成本、架构师能力包含宽度与两类深度、架构师成长先打基本功再沉淀业务、架构是否合适以当前业务需求检验、导师、评审与分享形成技术交流机制
章节作用:以技术大会演讲为例,提出从受众、案例、结构、幻灯片、时间到问答的准备流程;其中恐惧排名、听众记忆比例和台上表现均为无来源或个人经验,不作事实依据。
内容脉络:先区分客户讲解、述职和技术分享的听众诉求,建议技术大会展示问题、失败尝试、方案优缺点和演进。开场告知主题、时间与收益,正文用“问题—方案—改进—总结”的顺序。原文四张图对照图示型和文字清单型幻灯片;再讨论逐页规划、排练、收尾回顾和问答。可保留的问答方法是说明适用场景并承认不确定,不采用改写问题或占满问答时间的技巧。
# 技术大会演讲准备
## 受众
- 明确希望解决的问题
- 选择真实案例与方案取舍
## 内容
- 开场交代主题、时长、收益
- 问题到方案演进
- 图表承载结构与比较
## 节奏
- 逐页规划时间
- 排练并按实际时长调整
- 收尾重申关键结论
## 问答
- 确认问题场景
- 说明条件与不确定性
- 不挤掉问答环节
相关卡片:技术演讲按听众问题选择案例、开场说明主题、时长与听众收益、用问题与方案演进组织技术分享、技术幻灯片用图表承载关系与比较、演讲节奏通过逐页规划与排练校准、问答先确认问题并坦承不确定
作者:58沈剑
类别:系统架构类
理由:
(用户已确认此评级)
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 01 | 架构 秒杀系统优化思路 | done | 9 |
| 02 | 架构 细聊分布式ID生成方法 | done | 7 |
| 03 | 互联网架构,如何进行容量设计? | done | 3 |
| 04 | 线程数究竟设多少合理 | done | 3 |
| 05 | 单点系统架构的可用性与性能优化 | done | 4 |
| 06 | 一分钟了解负载均衡的一切 | done | 3 |
| 07 | lvs为何不能完全替代DNS轮询 | done | 2 |
| 08 | 如何实施异构服务器的负载均衡及过载保护? | done | 4 |
| 09 | 究竟啥才是互联网架构”高并发” | done | 3 |
| 10 | 究竟啥才是互联网架构”高可用” | done | 3 |
| 11 | 100亿数据1万属性数据架构设计 | done | 5 |
| 12 | TCP接入层的负载均衡、高可用、扩展性架构 | done | 3 |
| 14 | 数据库软件架构设计些什么 | done | 7 |
| 15 | 细聊冗余表数据一致性 | done | 4 |
| 16 | 缓存架构设计细节二三事 | done | 6 |
| 17 | 缓存与数据库一致性优化 | done | 4 |
| 18 | 主从DB与cache一致性优化 | done | 3 |
| 19 | DB主从一致性架构优化4种方法 | done | 3 |
| 20 | 多库多事务降低数据不一致概率 | done | 3 |
| 21 | mysql并行复制降低主从同步延时的思路与启示 | done | 3 |
| 22 | 互联网公司为啥不使用mysql分区表? | done | 2 |
| 23 | 即使删了全库,保证半小时恢复 | done | 3 |
| 24 | 啥,又要为表增加一列属性? | done | 1 |
| 25 | 这才是真正的表扩展方案 | done | 4 |
| 26 | 一分钟掌握数据库垂直拆分 | done | 3 |
| 27 | 数据库秒级平滑扩容架构方案 | done | 2 |
| 28 | 100亿数据平滑数据迁移,不影响服务 | done | 3 |
| 29 | 58到家数据库30条军规解读 | done | 8 |
| 30 | 再议58到家数据库军规 | done | 6 |
| 31 | 业界难题-“跨库分页”的四种方案 | done | 6 |
| 33 | 互联网架构为什么要做服务化? | done | 5 |
| 34 | 微服务架构多”微”才合适? | done | 6 |
| 35 | 为什么说要搞定微服务架构,先搞定RPC框架? | done | 4 |
| 36 | 微服务架构之RPC-client序列化细节 | done | 4 |
| 37 | RPC-client异步收发核心细节 | done | 5 |
| 39 | http如何像tcp一样实时的收消息? | done | 3 |
| 40 | 微信为什么不丢消息? | done | 5 |
| 41 | 微信为啥不丢”离线消息”? | done | 4 |
| 42 | 群消息这么复杂,怎么能做到不丢不重? | done | 5 |
| 43 | QQ状态同步究竟是推还是拉? | done | 5 |
| 44 | 微信多点登录与QQ消息漫游架构随想 | done | 5 |
| 45 | 消息”时序”与”一致性”为何这么难? | done | 6 |
| 46 | 58到家通用实时消息平台架构细节(Qcon2016) | done | 6 |
| 47 | 微信为啥这么省流量? | done | 3 |
| 48 | 应用层/安全层/传输层如何进行协议选型? | done | 5 |
| 50 | 10w定时任务,如何高效触发超时 | done | 2 |
| 51 | 1分钟实现”延迟消息”功能 | done | 2 |
| 52 | 消息总线能否实现消息必达? | done | 3 |
| 54 | 深入浅出搜索架构引擎、方案与细节(上) | done | 7 |
| 55 | 如何迅猛的实现搜索需求 | done | 5 |
| 56 | 百度如何能实时检索到15分钟前新生成的网页? | done | 2 |
| 58 | 好架构是进化来的,不是设计来的(58架构演进) | done | 3 |
| 59 | 58同城推荐系统架构设计与实现 | done | 5 |
| 60 | 从0开始做互联网推荐-以58转转为例 | done | 5 |
| 61 | 从0开始做垂直O2O个性化推荐-以58到家美甲为例 | done | 3 |
| 62 | 58到家入驻微信钱包的技术优化 | done | 3 |
| 63 | 创业公司快速搭建立体化监控之路(WOT2016) | done | 7 |
| 64 | 巧用CAS解决数据一致性问题 | done | 2 |
| 65 | 百度咋做长文本去重 | done | 3 |
| 66 | 如何快速实现高并发短文检索 | done | 3 |
| 67 | 如何实现超高并发的无锁缓存? | done | 2 |
| 68 | “id串行化”到底是怎么实现的? | done | 2 |
| 69 | 从IDC到云端架构迁移之路(GITC2016) | done | 6 |
| 71 | 一张”神图”看懂单机/集群/热备/磁盘阵列(RAID) | done | 3 |
| 72 | 一分钟学awk够用(产品经理都懂了) | done | 5 |
| 73 | 十分钟学perl够用(客服MM都懂了) | done | 7 |
| 74 | 一分钟sed入门(一分钟系列) | done | 3 |
| 75 | 一分钟了解两阶段提交2PC(运营MM也懂了) | done | 2 |
| 76 | 30秒懂SQL中的join(2幅图+30秒) | done | 2 |
| 77 | 连接池原来这么简单(一分钟系列) | done | 3 |
| 78 | 一分钟实现分布式锁 | done | 3 |
| 79 | 这才是真正的分布式锁 | done | 8 |
| 80 | 一分钟一幅图TCP/IP搞定 | done | 1 |
| 81 | 一分钟理解负载LoadAverage | done | 2 |
| 82 | 1分钟了解Leader-Follower线程模型 | done | 2 |
| 84 | 心态:晋升的为什么不是你 | done | 3 |
| 85 | 你的收入取决于你的努力程度 | done | 1 |
| 86 | “老公,我穿这衣服好看吗”终于破解了 | done | 1 |
| 87 | 一分钟经理人 | done | 3 |
| 88 | 架构师到底该不该写代码 | done | 6 |
| 89 | 如何做一场B格满满的技术大会演讲 | done | 6 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| Text/i.html | 书名页 | 仅书名与作者,无实质正文 |
| Text/0.html | 分部标题页 | 仅显示“架构师 方法论”,无实质正文 |
| Text/13.html | 分部标题页 | 仅显示“架构师 数据库与缓存”,无实质正文 |
| Text/32.html | 分部标题页 | 仅显示“架构师 服务化与微服务”,无实质正文 |
| Text/38.html | 分部标题页 | 仅显示“架构师 消息系统”,无实质正文 |
| Text/49.html | 分部标题页 | 仅显示“架构师 消息总线架构”,无实质正文 |
| Text/53.html | 分部标题页 | 仅显示“架构师 搜索架构”,无实质正文 |
| Text/57.html | 分部标题页 | 仅显示“架构师 架构实践”,无实质正文 |
| Text/70.html | 分部标题页 | 仅显示“架构师 一分钟系列”,无实质正文 |
| Text/83.html | 分部标题页 | 仅显示“架构师 通用素质”,无实质正文 |
| Text/90.html | 空白尾页 | 可提取正文为零,非实质正文 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 垂直拆分 | 第01章 | Q&A 对多个并行秒杀活动只答“垂直拆分”,未解释拆分对象、边界或实施方法;待后章若有展开再关联。 |
| vip+keepalived | 第02章 | 作为单点 ID 服务主备切换的常用技术被点名,原文未展开具体机制;待后章若有说明再关联。 |
| MongoDB | 第24章 | 仅作为 ext 字段需要按属性检索时的备选产品被点名,未展开索引机制或适用条件。 |
| WebSocket | 第39章 | 仅与长轮询并列为 WebIM 推送通道,未展开协议机制。 |
| FlashSocket | 第39章 | 仅与 WebSocket 并列为推送通道,未展开机制与适用条件。 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Thrift | 框架 | 第36章 | 仅列为业内序列化方式,原文明确未展开使用经验。 |
| Protocol Buffers(protobuf) | 框架 | 第36章 | 作为二进制序列化方案被推荐,仅简述可读性与调试方式。 |
| Avro | 框架 | 第36章 | 仅列名,原文未展开机制。 |
| CORBA | 框架 | 第36章 | 仅列名,原文未展开机制。 |
| mc_pack | 框架 | 第36章 | 仅提旧使用经历与传闻比较,未给可核验基准。 |
| The Chubby lock service for loosely-coupled distributed systems | 论文 | 第79章 | 原文以 Chubby 论文阅读笔记解释租约、锁和选主;本轮对照 Google 原论文 校正建议性锁与故障边界。 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| 余额更新后缓存残留旧值 | [[余额更新后缓存残留旧值]] | [[先淘汰缓存再写数据库]] | 第16章 | 写库成功而删缓存失败,会让旧余额继续由缓存返回;先删再写只降低该类部分成功的影响,不保证并发强一致。 |
| 删缓存后旧余额被回填 | [[删缓存后旧余额被回填]] | [[连接池按id取模实现局部串行化]] | 第17章 | 同账户余额更新删缓存后写库未完成,查询回源读旧值并回填;按 ID 固定路由须另保证同键执行顺序。 |
| 余额订单流水跨库部分提交 | [[余额订单流水跨库部分提交]] | [[事务后置提交压缩不一致窗口]]、[[补偿事务方案的局限性]] | 第20章 | 余额先提交而订单或流水失败会留下资金记录不一致;后置提交缩短暴露窗口,补偿需处理自身失败,均非跨库原子事务。 |
| 同账户余额日志乱序回放 | [[同账户余额日志乱序回放]] | [[并行复制的前提是识别互不冲突的操作单元]] | 第21章 | 同一账户三次余额写入在从库随机并行回放时可能改变最终余额;应保留同键事务依赖。 |
| 等额摊销舍入产生差额 | [[等额摊销舍入产生差额]] | [[整数分配并处理余数]] | 第30章 | 100 元分三期分别舍入为 33.33 元后合计少一分;以整数分记账仍须分配余数,确保分期合计等于原额。 |
| 支付超时重试可能重复操作 | [[支付超时重试可能重复操作]] | [[支付重试用幂等识别重复请求]] | 第34章 | RPC 超时后重发支付请求,若服务不识别重复请求,可能让同一业务操作生效两次。 |
| 并发余额读改写会丢失扣减 | [[并发余额读改写会丢失扣减]] | [[余额条件更新检测并发扣减冲突]] | 第64章 | 两次购买同读旧余额,后写入覆盖先写入;条件更新以旧余额和影响行数识别冲突,后续重算与幂等仍需业务处理。 |
| 并发扣同账户可超额 | [[并发扣同账户可超额]] | [[同账户扣款互斥并核余额]] | 第78章 | 多机进程并发扣同一账户,缺少协调可能扣成负数;共享锁应有条件获取与持有者核验,数据库还需原子余额条件。 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 为卡片导入做容量估算 | 真实任务 | done | 第03章 | idea-001:容量预算与测量表(计划,未执行) |
| 002 | 为读书工作流制作技术短讲 | 观察/创作 | done | 第89章 | idea-002:讲稿、页面草稿与计时记录(计划,未执行) |
候选筛选:第 16–20 章的缓存与跨库一致性、第 40–52 章的消息可靠性适合实现深读,但本仓库未确认存在对应机制,不把项目强行映射到书中方案;第 69 章的机房迁移须有实际迁移对象与授权,当前不生成执行卡。两张入选卡都有可定位原文、本仓库真实对象、有限行动和可检查产出;没有执行实践卡行动。
判定:全书以大型应用系统的高并发、数据、服务、消息、搜索与迁移架构取舍为主,不以单一框架或数据库内部引擎为主,符合“系统架构类”。短篇工具和组织沟通章节保留为书内组成部分,不改变主类别。
| 必答维度 | 书内覆盖与卡片去向 | 结论 |
|---|---|---|
| 服务拆分原则 | 第34章比较粒度与业务边界:[[服务粒度的收益与代价]]、[[子业务边界限制服务拆分]] | 已覆盖 |
| 通信机制 | 第35章 RPC、第46章消息平台:[[RPC是跨进程的过程调用]]、[[消息总线解耦端到云业务]] | 已覆盖同步与异步示例 |
| 一致性与事务权衡 | 第20章跨库事务与第40章消息确认:[[事务后置提交压缩不一致窗口]]、[[应用层确认闭合消息投递]] | 已覆盖具体案例,未将其扩写为所有一致性模型 |
| 可观测性设计 | 第63章调用方探测与用户视角:[[调用方探测验证接口业务结果]]、[[用户视角探测补足内部网络盲区]] | 已覆盖监控实践,日志体系非系统讲解 |
| 容错设计 | 第01章过载快速失败、第34章超时重试幂等:[[过载时舍弃部分请求]]、[[支付超时重试可能重复操作]] | 已覆盖降级与重试,熔断非系统讲解 |
| 扩展性瓶颈与应对 | 第03章容量估算、第27章数据库扩容:[[互联网容量评估的五步法]]、[[双虚IP切换路由的前提]] | 已覆盖 |
| 部署与发布策略 | 第69章分批迁移与回退:[[分批切流量保留回退路径]]、[[迁移先应用后缓存再数据库]] | 部分覆盖迁移切流;原书未系统讲述通用灰度发布流程 |
清单中“未系统讲解”表示原文范围限制,不据此补造卡片或把局部案例提升为通用方案。
全书 317 张知识卡已完成逐卡主题判断(第13、32、38、49、53、57、70、83章无独立卡):285 张已复用现有主题、24 张已按确认方案创建五个新主题、8 张无需加入。成员已写入对应主题文件;S5 仍须验证主题真源和完成导入对账。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| [[分布式ID的两大核心需求]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[数据库自增ID的扩展代价]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[snowflake类算法的设计思想]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[分库分表场景下ID要保证取模随机性]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[批量取号降低数据库写压]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[UUID本地生成的取舍]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[时间戳不能独自保证唯一]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[互联网容量评估的五步法]] | 已复用 | notes/_topics/architecture-design-process.md |
| [[峰值流量取决于业务曲线]] | 已复用 | notes/_topics/architecture-design-process.md |
| [[压测上限要留线上余量]] | 已复用 | notes/_topics/architecture-design-process.md |
| [[工作线程数的量化设置公式]] | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| [[IO与工作线程队列解耦]] | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| [[纯异步模型的线程取舍]] | 已复用 | notes/_topics/server-io-concurrency-models.md |
| [[秒杀系统的读写冲突模式]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[秒杀系统的分层拦截设计]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[Fail fast胜过失败重放]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[站点本地限流的边界]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[服务队列分摊写入配额]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[过载时舍弃部分请求]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[过载保护的本质是有损而不掉底]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[疑似过载节点分级暂避]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[架构优化要结合业务语义]] | 已复用 | notes/_topics/business-driven-tech-evolution.md |
| [[页面缓存可容忍不一致]] | 已复用 | notes/_topics/caching-strategies.md |
| [[可回源时缓存分片可降级]] | 已复用 | notes/_topics/caching-strategies.md |
| [[单点系统的两大代价]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[shadow-master解决单点可用性]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[高可用的核心方法论:冗余+自动故障转移]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[水平扩展单点的业务边界]] | 已复用 | notes/_topics/scalability-dimensions.md |
| [[DNS轮询扩展入口容量]] | 已复用 | notes/_topics/scalability-dimensions.md |
| [[垂直与水平扩展的边界]] | 已复用 | notes/_topics/scalability-dimensions.md |
| [[负载均衡在各层的不同实现手段]] | 已复用 | notes/_topics/load-balancing.md |
| [[数据层负载均衡的双重目标]] | 已复用 | notes/_topics/load-balancing.md |
| [[DNS轮询不保证节点可用]] | 已复用 | notes/_topics/load-balancing.md |
| [[动态权重让下游反过来决定负载分配]] | 已复用 | notes/_topics/load-balancing.md |
| [[静态权重按节点能力分流]] | 已复用 | notes/_topics/load-balancing.md |
| [[IP哈希粘性有状态代价]] | 已复用 | notes/_topics/session-state-management.md |
| [[水平拆分与主从复制的本质差异]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[四个九的停机预算换算]] | 已复用 | notes/_topics/slo-error-budget.md |
| [[未付款库存超时回仓]] | 无需加入 | 本章特定支付超时回仓规则;现有跨书主题无精确对应 |
| [[减少与单点交互的两种通用手段]] | 无需加入 | 横跨号段预取与元数据缓存的单点降压类比;现有主题均只涵盖其中一侧 |
| [[高并发要同时看时延与吞吐]] | 无需加入 | 基础性能指标区分;现有主题范围均不以该指标对照为成员 |
| [[version+ext是异构数据统一存储的通用模式]] | 已复用 | notes/_topics/extensible-application-architecture.md |
| [[平台型公司应统一基础数据服务而非按业务垂直拆分]] | 无需加入 | 统一多品类基础数据服务的组织边界;现有存储、服务治理主题均未覆盖该跨业务能力归并判断 |
| [[外置索引避免组合索引爆炸]] | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| [[类目属性服务约束扩展字段]] | 已复用 | notes/_topics/extensible-application-architecture.md |
| [[检索分片与副本承担不同扩展]] | 已复用 | notes/_topics/scalability-dimensions.md |
| [[有状态连接的负载均衡要下沉到服务端]] | 已复用 | notes/_topics/load-balancing.md |
| [[状态拉取优于状态上报,避免反向依赖]] | 已复用 | notes/_topics/load-balancing.md |
| [[接入选择需感知节点健康]] | 已复用 | notes/_topics/load-balancing.md |
| [[分片解决数据量,分组解决可用性]] | 已复用 | notes/_topics/scalability-dimensions.md |
| [[双主当主从用的取舍]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[双淘汰缩短缓存脏值滞留]] | 已复用 | notes/_topics/caching-strategies.md |
| [[库加倍扩容避免数据迁移]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[三种分片路由各有代价]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[读扩展会引入复制一致性成本]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[写后读主缩小复制延迟影响]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[冗余表的成因:分库场景下的多维查询需求]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[双写顺序应选业务影响小的先执行]] | 已复用 | notes/_topics/distributed-transactions.md |
| [[一致性检测方案的效率与实时性阶梯]] | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| [[冗余表三种复制路径]] | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| [[淘汰缓存还是更新缓存取决于计算复杂度]] | 已复用 | notes/_topics/caching-strategies.md |
| [[先淘汰缓存再写数据库]] | 已复用 | notes/_topics/caching-strategies.md |
| [[余额更新后缓存残留旧值]] | 已复用 | notes/_topics/caching-strategies.md |
| [[缓存命中率的含义]] | 已复用 | notes/_topics/caching-strategies.md |
| [[服务层屏蔽缓存与数据库]] | 已复用 | notes/_topics/caching-strategies.md |
| [[日志异步更新缓存的边界]] | 已复用 | notes/_topics/caching-strategies.md |
| [[局部串行化优于全局串行化]] | 已复用 | notes/_topics/caching-strategies.md |
| [[连接池按id取模实现局部串行化]] | 已复用 | notes/_topics/caching-strategies.md |
| [[删缓存后旧余额被回填]] | 已复用 | notes/_topics/caching-strategies.md |
| [[固定路由的可用性与复制边界]] | 已复用 | notes/_topics/caching-strategies.md |
| [[脏数据入缓存的两种成因]] | 已复用 | notes/_topics/caching-strategies.md |
| [[缓存双淘汰要异步化,避免阻塞写请求]] | 已复用 | notes/_topics/caching-strategies.md |
| [[binlog驱动二次缓存淘汰]] | 已复用 | notes/_topics/caching-strategies.md |
| [[解决主从读延迟的四种方案对比]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[缓存记录写key法的核心思路]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[半同步确认不等于从库可读]] | 已复用 | notes/_topics/distributed-storage-replication.md |
| [[事务后置提交压缩不一致窗口]] | 已复用 | notes/_topics/distributed-transactions.md |
| [[补偿事务方案的局限性]] | 已复用 | notes/_topics/distributed-transactions.md |
| [[余额订单流水跨库部分提交]] | 已复用 | notes/_topics/distributed-transactions.md |
| [[并行复制的前提是识别互不冲突的操作单元]] | 已复用 | notes/_topics/distributed-storage-replication.md |
| [[多库架构自带并行复制红利]] | 已复用 | notes/_topics/distributed-storage-replication.md |
| [[同账户余额日志乱序回放]] | 已复用 | notes/_topics/distributed-storage-replication.md |
| [[分区表与分库分表的路由责任]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[未命中分区键不等于全表锁]] | 已复用 | notes/_topics/query-optimization-rewrite.md |
| [[延时从库是应对误删数据的低成本兜底]] | 已复用 | notes/_topics/backup-disaster-recovery.md |
| [[错峰延时从降低同时暴露风险]] | 已复用 | notes/_topics/backup-disaster-recovery.md |
| [[全量备份加binlog按点恢复]] | 已复用 | notes/_topics/backup-disaster-recovery.md |
| [[key-value(EAV)模式扩展属性的取舍]] | 已复用 | notes/_topics/database-design-er-modeling.md |
| [[互联网数据库设计中反范式化是常态]] | 已复用 | notes/_topics/database-design-er-modeling.md |
| [[影子表在线变更的边界]] | 已复用 | notes/_topics/change-release-safety.md |
| [[预留字段以空间换变更窗口]] | 已复用 | notes/_topics/database-design-er-modeling.md |
| [[服务层封装扩展表]] | 已复用 | notes/_topics/database-design-er-modeling.md |
| [[冷热字段分离提高缓存密度]] | 已复用 | notes/_topics/database-design-er-modeling.md |
| [[主扩展表查询路径取舍]] | 已复用 | notes/_topics/database-design-er-modeling.md |
| [[水平与垂直拆分的对象]] | 已复用 | notes/_topics/database-design-er-modeling.md |
| [[双虚IP切换路由的前提]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[切流后回滚需处理新增写入]] | 已复用 | notes/_topics/change-release-safety.md |
| [[平滑迁移的通用四段式套路]] | 已复用 | notes/_topics/change-release-safety.md |
| [[追日志法与双写法的取舍]] | 已复用 | notes/_topics/change-release-safety.md |
| [[双写与回填的删除竞态]] | 已复用 | notes/_topics/change-release-safety.md |
| [[数据库计算上移的边界]] | 已复用 | notes/_topics/domain-logic-organization.md |
| [[NULL比较的三值语义]] | 已复用 | notes/_topics/null-three-valued-logic.md |
| [[短主键降低二级索引体积]] | 已复用 | notes/_topics/database-design-er-modeling.md |
| [[金额字段选择精确数值]] | 已创建 | notes/_topics/money-representation-allocation-conservation.md |
| [[显式列名隔离表结构变更]] | 已复用 | notes/_topics/query-optimization-rewrite.md |
| [[索引列谓词避免隐式转换]] | 已复用 | notes/_topics/query-optimization-rewrite.md |
| [[大文件外置并在数据库存引用]] | 已复用 | notes/_topics/storage-model-choices.md |
| [[索引筛选收益须权衡更新成本]] | 已复用 | notes/_topics/query-optimization-rewrite.md |
| [[新库字符集选utf8mb4]] | 无需加入 | MySQL utf8mb4 字符集迁移的特定兼容性提醒;现有主题没有精确的字符编码或数据库字符集范围 |
| [[等额摊销舍入产生差额]] | 已创建 | notes/_topics/money-representation-allocation-conservation.md |
| [[整数分配并处理余数]] | 已创建 | notes/_topics/money-representation-allocation-conservation.md |
| [[选择性条件限制负向扫描]] | 已复用 | notes/_topics/query-optimization-rewrite.md |
| [[生产库操作权限隔离]] | 已复用 | notes/_topics/least-privilege-access-control.md |
| [[内网域名隔离服务地址]] | 已复用 | notes/_topics/service-discovery-gateway.md |
| [[跨库分页缺少全局排序视野]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[游标翻页限制跳页成本]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[二次查询估算跨库偏移]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[全局视野法随页码放大]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[均匀分布只能近似分页]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[分页排序需要唯一键]] | 已复用 | notes/_topics/distributed-data-sharding.md |
| [[调用方直连扩散底层变更]] | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| [[服务层收拢共享访问契约]] | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| [[共享代码库版本耦合]] | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| [[共享库SQL故障外溢]] | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| [[跨域JOIN阻碍拆库]] | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| [[服务粒度存在连续选择]] | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| [[服务粒度的收益与代价]] | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| [[子业务边界限制服务拆分]] | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| [[服务分发层收敛调用依赖]] | 已复用 | notes/_topics/service-discovery-gateway.md |
| [[支付超时重试可能重复操作]] | 已复用 | notes/_topics/rpc-rest-api.md |
| [[支付重试用幂等识别重复请求]] | 已复用 | notes/_topics/rpc-rest-api.md |
| [[RPC框架复用跨进程基础能力]] | 已复用 | notes/_topics/rpc-rest-api.md |
| [[RPC框架封装调用双方细节]] | 已复用 | notes/_topics/rpc-rest-api.md |
| [[RPC是跨进程的过程调用]] | 已复用 | notes/_topics/rpc-rest-api.md |
| [[RPC请求与响应各自编码]] | 已复用 | notes/_topics/rpc-rest-api.md |
| [[序列化把对象编码为字节]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[序列化协议按场景权衡]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[自描述格式保留字段语义]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[二进制字段必须有解析边界]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[同步异步调用的线程代价]] | 已复用 | notes/_topics/async-composition.md |
| [[请求ID关联异步响应]] | 已复用 | notes/_topics/async-composition.md |
| [[异步RPC收发分离处理]] | 已复用 | notes/_topics/async-composition.md |
| [[连接池承担选路与故障排除]] | 已复用 | notes/_topics/load-balancing.md |
| [[超时后到达的响应需丢弃]] | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| [[长轮询挂起请求等待消息]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[定时轮询存在采样延迟]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[长轮询重建空窗需要暂存消息]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[应用层确认闭合消息投递]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[客户端维护待确认队列]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[确认丢失造成投递状态不确定]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[重传保持消息ID供接收方去重]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[离线存储确认不同于终端接收]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[离线消息按接收方批量拉取]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[下一页请求可确认上一页]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[先删离线消息会造成丢失]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[未确认重拉需要消息去重]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[群成员游标压缩离线记录]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[批量确认降低群消息开销]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[群消息正文只存一份]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[群推送前先保存可重拉消息]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[确认游标不能越过消息缺口]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[扩散系数衡量推送扇出]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[非实时通知可按需拉取]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[反向好友决定状态推送对象]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[登录快照与状态变更通知分工]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[群状态进入页面时再拉取]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[会话状态按终端分开记录]] | 已复用 | notes/_topics/session-state-management.md |
| [[发送方其他端也需同步消息]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[接入节点与路由信息分离]] | 已复用 | notes/_topics/session-state-management.md |
| [[消息漫游要求在线消息持久化]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[各端游标限定历史同步范围]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[分布式消息没有天然全序]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[单点定序统一副本操作顺序]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[按群定序替代全局发号]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[消息顺序先定义业务标尺]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[单聊按发送方序号展示]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[趋势递增不等于严格有序]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[消息总线解耦端到云业务]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[在线状态筛选推送目标]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[消息协议分层演进]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[实时平台分离接入与业务处理]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[先存后投与接收确认配合]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[多帐号体系用命名空间隔离]] | 已复用 | notes/_topics/session-state-management.md |
| [[按数据必要性分级决定拉取时机]] | 已复用 | notes/_topics/caching-strategies.md |
| [[时间戳比对减少重复传输]] | 已复用 | notes/_topics/caching-strategies.md |
| [[服务端比对减少一次往返]] | 已复用 | notes/_topics/caching-strategies.md |
| [[应用层协议三种范式的权衡]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[包头包体分离兼顾解析与演进]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[密钥粒度影响泄露范围]] | 已复用 | notes/_topics/auth-and-cryptography.md |
| [[协议约定语法语义时序]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[即时通信协议的三层职责]] | 已复用 | notes/_topics/data-interchange-formats.md |
| [[时间轮批量处理大量超时]] | 已复用 | notes/_topics/time-space-efficiency.md |
| [[扫描与逐请求定时的成本]] | 已复用 | notes/_topics/time-space-efficiency.md |
| [[圈数扩展时间轮延迟范围]] | 已复用 | notes/_topics/time-space-efficiency.md |
| [[周期扫描与预排程的取舍]] | 已复用 | notes/_topics/time-space-efficiency.md |
| [[MQ两段投递分别确认]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[重传降低丢失但可能重复]] | 已复用 | notes/_topics/message-brokers-event-logs.md |
| [[指数退避拉开重传间隔]] | 已复用 | notes/_topics/overload-protection-degradation.md |
| [[正排与倒排索引互补]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[双指针求有序列表交集]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[排序策略决定结果次序]] | 已复用 | notes/_topics/relevance-ranking-evaluation.md |
| [[搜索写入与检索分成两条链路]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[按文档ID分桶并行求交集]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[位图用位与求集合交集]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[跳跃层减少无效比对]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[搜索方案按约束演进]] | 已复用 | notes/_topics/storage-model-choices.md |
| [[搜索库与搜索服务的边界]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[外置索引须同步原始数据]] | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| [[代理合并检索的三层分工]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[分片与副本解决不同扩展问题]] | 已复用 | notes/_topics/scalability-dimensions.md |
| [[索引分级兼顾新鲜度与检索效率]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[异步导出合并增量索引]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[架构随主要瓶颈演进]] | 已复用 | notes/_topics/business-driven-tech-evolution.md |
| [[业务拆分与数据拆分各解一题]] | 已复用 | notes/_topics/scalability-dimensions.md |
| [[重复基础工作转向平台能力]] | 已复用 | notes/_topics/middle-platform-strategy.md |
| [[分流服务按规则分配实验流量]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[推荐内核按固定步骤组合策略]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[离线挖掘结果经数据管理工具上线]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[展示点击回传支撑推荐效果观测]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[推荐系统分离产出服务与评估]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[标签连接用户偏好与商品]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[冷启动需要不依赖历史行为的候选]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[RFM用近期购买行为估计召回价值]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[购买预测模型按用户商品对排序]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[用户协同过滤借相似用户发现候选]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[垂直品类可用人工属性构建商品画像]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[同类标签频率估计用户偏好]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[推荐展示组合需满足业务约束]] | 已复用 | notes/_topics/big-data-business-applications.md |
| [[低频变更页面按瓶颈逐层前移缓存]] | 已复用 | notes/_topics/caching-strategies.md |
| [[页面静态化受页面基数与更新成本约束]] | 已复用 | notes/_topics/web-transport-acceleration.md |
| [[动静分离让静态资源走独立交付链路]] | 已复用 | notes/_topics/web-transport-acceleration.md |
| [[单层健康指标不能证明业务可用]] | 已复用 | notes/_topics/logging-observability.md |
| [[调用方探测验证接口业务结果]] | 已复用 | notes/_topics/logging-observability.md |
| [[用户视角探测补足内部网络盲区]] | 已复用 | notes/_topics/logging-observability.md |
| [[分发型与汇总型监控区分执行控制]] | 已复用 | notes/_topics/logging-observability.md |
| [[主动探测需校验业务内容并控制写入副作用]] | 已复用 | notes/_topics/logging-observability.md |
| [[错误日志与关键字阈值分别告警]] | 已复用 | notes/_topics/logging-observability.md |
| [[接口心跳与处理时长提供不同信号]] | 已复用 | notes/_topics/logging-observability.md |
| [[并发余额读改写会丢失扣减]] | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| [[余额条件更新检测并发扣减冲突]] | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| [[内容哈希与相似性签名回答不同问题]] | 已创建 | notes/_topics/text-near-duplicate-similarity-signatures.md |
| [[分句指纹适合整句复制型重复]] | 已创建 | notes/_topics/text-near-duplicate-similarity-signatures.md |
| [[MinHash用多组最小值估计集合相似]] | 已创建 | notes/_topics/text-near-duplicate-similarity-signatures.md |
| [[内存倒排表按词映射文档列表]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[内存检索索引需要恢复与扩容路径]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[Trie与DAT权衡前缀检索和索引更新]] | 已复用 | notes/_topics/inverted-index-query.md |
| [[分片锁缩小不同键的竞争范围]] | 已复用 | notes/_topics/concurrent-containers.md |
| [[签名校验不能代替并发同步]] | 已复用 | notes/_topics/memory-model-visibility.md |
| [[按业务ID固定路由服务]] | 已复用 | notes/_topics/load-balancing.md |
| [[成员变化会重排取模映射]] | 已复用 | notes/_topics/load-balancing.md |
| [[跨机房同连减少调用延迟]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[分批切流量保留回退路径]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[迁移先应用后缓存再数据库]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[冷缓存切换须评估回源]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[数据库切换需要写入屏障]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[同连不等于机房双活]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[集群与热备按服务角色区分]] | 已复用 | notes/_topics/high-availability-architecture.md |
| [[RAID5用校验信息提供冗余]] | 已复用 | notes/_topics/distributed-storage-replication.md |
| [[RAID0与RAID1的冗余取舍]] | 已复用 | notes/_topics/distributed-storage-replication.md |
| [[awk按条件筛选文本行]] | 已创建 | notes/_topics/awk-sed-text-processing.md |
| [[awk字段变量定位列]] | 已创建 | notes/_topics/awk-sed-text-processing.md |
| [[awk内置函数处理文本]] | 已创建 | notes/_topics/awk-sed-text-processing.md |
| [[awk用BEGIN与END汇总]] | 已创建 | notes/_topics/awk-sed-text-processing.md |
| [[awk与shell交互需分清边界]] | 已创建 | notes/_topics/awk-sed-text-processing.md |
| [[Perl脚本运行与字符串]] | 已创建 | notes/_topics/perl-scripting-basics.md |
| [[Perl标量定义与词法作用域]] | 已创建 | notes/_topics/perl-scripting-basics.md |
| [[Perl列表与数组端点操作]] | 已创建 | notes/_topics/perl-scripting-basics.md |
| [[Perl子程序用参数数组取值]] | 已创建 | notes/_topics/perl-scripting-basics.md |
| [[Perl逐行输入与文件句柄]] | 已创建 | notes/_topics/perl-scripting-basics.md |
| [[Perl哈希按键操作]] | 已创建 | notes/_topics/perl-scripting-basics.md |
| [[Perl条件修饰与循环控制]] | 已创建 | notes/_topics/perl-scripting-basics.md |
| [[sed按行号或正则定位]] | 已创建 | notes/_topics/awk-sed-text-processing.md |
| [[sed按地址增删改整行]] | 已创建 | notes/_topics/awk-sed-text-processing.md |
| [[sed替换默认只改首处]] | 已创建 | notes/_topics/awk-sed-text-processing.md |
| [[2PC先投票再统一决议]] | 已复用 | notes/_topics/distributed-transactions.md |
| [[协调者故障会阻塞已准备参与者]] | 已复用 | notes/_topics/distributed-transactions.md |
| [[内连接只保留匹配行]] | 已复用 | notes/_topics/relational-algebra-query-derivation.md |
| [[左连接保留左表行]] | 已复用 | notes/_topics/relational-algebra-query-derivation.md |
| [[连接池复用已建立连接]] | 已复用 | notes/_topics/tcp-connection-lifecycle.md |
| [[连接池收拢下游访问策略]] | 已复用 | notes/_topics/tcp-connection-lifecycle.md |
| [[取还连接必须原子标记]] | 已复用 | notes/_topics/concurrent-containers.md |
| [[跨机器互斥依赖原子争锁]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[并发扣同账户可超额]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[同账户扣款互斥并核余额]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[会话租约限制故障持锁时间]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[建议性锁只约束遵守协议的访问方]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[同用户并发导入需要去重边界]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[命名节点兼作锁和少量协调数据]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[主节点切换须重建会话并失效缓存]] | 已复用 | notes/_topics/distributed-consensus.md |
| [[多数副本确认后才提交协调状态]] | 已复用 | notes/_topics/distributed-consensus.md |
| [[选主节点同时发布主服务位置]] | 已复用 | notes/_topics/distributed-consensus.md |
| [[临时节点与通知辅助进程监控]] | 已复用 | notes/_topics/distributed-lock-id.md |
| [[OSI七层图不能等同TCPIP分层]] | 无需加入 | 仅校正本书单张 OSI 七层图与 TCP/IP 模型的混称;现有网络主题均关注具体传输或虚拟网络机制,缺少准确的跨书比较范围 |
| [[Linux负载包含可运行与不可中断任务]] | 已复用 | notes/_topics/logging-observability.md |
| [[三个负载窗口显示变化方向]] | 已复用 | notes/_topics/logging-observability.md |
| [[队列缓冲不必然消除线程竞争]] | 已复用 | notes/_topics/concurrent-containers.md |
| [[领导追随者线程交接监听资格]] | 已复用 | notes/_topics/server-io-concurrency-models.md |
| [[进度答复给出状态和下一步]] | 已复用 | notes/_topics/pragmatic-programming.md |
| [[小步试行暴露计划遗漏]] | 已复用 | notes/_topics/pragmatic-programming.md |
| [[协作交付需同步依赖与阻塞]] | 已复用 | notes/_topics/pragmatic-programming.md |
| [[比较收入需拆开补贴与工时]] | 无需加入 | 司机补贴与工时的单次访谈比较,不足以代表通用薪酬或劳动经济主题 |
| [[具体反馈胜过笼统评价]] | 无需加入 | 购物建议中的具体反馈是单次生活场景例子,现有技术沟通与交互设计主题均不精确 |
| [[一分钟目标让预期从一开始就清晰]] | 已创建 | notes/_topics/goal-setting-behavior-feedback.md |
| [[纠错反馈针对行为而非人格]] | 已创建 | notes/_topics/goal-setting-behavior-feedback.md |
| [[具体称赞标明值得延续的行为]] | 已创建 | notes/_topics/goal-setting-behavior-feedback.md |
| [[架构设计须接近业务和实现]] | 已复用 | notes/_topics/architect-growth.md |
| [[生产选型核算技术栈的共同成本]] | 已复用 | notes/_topics/business-driven-tech-evolution.md |
| [[架构师能力包含宽度与两类深度]] | 已复用 | notes/_topics/architect-growth.md |
| [[架构师成长先打基本功再沉淀业务]] | 已复用 | notes/_topics/architect-growth.md |
| [[架构是否合适以当前业务需求检验]] | 已复用 | notes/_topics/business-driven-tech-evolution.md |
| [[导师、评审与分享形成技术交流机制]] | 已复用 | notes/_topics/architect-growth.md |
| [[技术演讲按听众问题选择案例]] | 已复用 | notes/_topics/technical-communication.md |
| [[开场说明主题、时长与听众收益]] | 已复用 | notes/_topics/technical-communication.md |
| [[用问题与方案演进组织技术分享]] | 已复用 | notes/_topics/technical-communication.md |
| [[技术幻灯片用图表承载关系与比较]] | 已复用 | notes/_topics/technical-communication.md |
| [[演讲节奏通过逐页规划与排练校准]] | 已复用 | notes/_topics/technical-communication.md |
| [[问答先确认问题并坦承不确定]] | 已复用 | notes/_topics/technical-communication.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较渐近复杂度、摊销分析、基准测试以及以抽象换空间、局部性等时间与空间效率的权衡。
主题索引
比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。
主题索引
比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。
主题索引
比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。
主题索引
比较以数据模型、扩展点与插件为核心的应用架构,如何在开放扩展与稳定性、安全性之间取舍。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
比较 HTTP 缓存、DNS 解析、HTTP/2 与 QUIC、分块传输与 CDN 等加速和分流手段。
主题索引
比较架构师所需的判断力、执行力、创新力及其积累方式与成长阶段。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较中台与平台的差异、业务/数据中台的建设目标,以及消除重复建设、沉淀与编排企业级能力的方法。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较面向不同受众的技术写作、演示与架构图方法:循序渐进的讲解、文档与幻灯片的取舍,以及让图表达连接与语义。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
比较如何定义 SLI/SLO/SLA、设定可靠性目标,以及用错误预算平衡稳定性与变更速度。
主题索引
比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。
主题索引
从浏览器到源站的每一跳能省掉什么:强制缓存与协商缓存、DNS 解析与 HTTPDNS、HTTP/2 多路复用与 QUIC、分块传输与范围请求、静态化与动静分离、CDN 就近分发与回源,以及移动网络下减少往返的手段。
主题索引
比较业务规模与复杂度变化如何驱动技术选型和架构分阶段演进。
主题索引
有状态与无状态会话的取舍,以及会话状态存放在客户端、服务器或数据库的代价与清理。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。
主题索引
比较务实程序员在责任与质量、DRY 与正交、曳光弹与原型、工具习惯、偏执编程、解耦、需求澄清与团队协作上的做法与判断。
主题索引
事务脚本、领域模型、表模块与服务层的选型、演化与边界:业务逻辑放在哪里、以何种结构组织。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
解耦、异步、削峰、缓冲四类价值各自的机制与代价:什么时候值得用队列,什么情况下队列并不救你,以及队列把复杂度转移到了哪里。
主题索引
面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。
主题索引
TCP 连接的建立、状态迁移、保活与关闭,以及长连接、连接池和相关套接字参数的工程配置。
主题索引
拉得动吗:推模式与拉模式、长轮询、预取与批量、流控与反压、积压阈值与监控、扩缩容与优先级。
主题索引
比较数据库设计各阶段、数据抽象方法、E-R 模型的要素与集成冲突、向关系模型的转换规则,以及存取方法与重组织、重构的取舍。
主题索引
原子不等于易变、volatile 不等于互斥,读改写为什么必须整体原子,竞态与数据争用的判定,内存屏障与顺序一致,双重检查锁与懒加载的发布问题,以及 Race 检测只覆盖运行路径的局限。
主题索引
告警规则与路由、SLO 与错误预算、告警疲劳,以及怎样让告警对应可行动的响应。
主题索引
比较关系代数运算、派生运算与从逻辑需求推导查询的方法。
主题索引
比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。
主题索引
比较类型、域、元组与关系等数据结构概念及其与约束的分层。
主题索引
比较互联网业务常见的存储层、开发层、服务层、网络层、用户层与平台层技术及其选型要点。
主题索引
比较TF-IDF、向量空间模型与相关性反馈等排序依据,以及召回率与精确率在不同检索场景中的取舍。
主题索引
比较同步容器、写时复制、分段/桶锁等并发容器的一致性模型与读写取舍。
主题索引
比较 NULL/缺失信息在查询条件、约束检查与逻辑推导中引入三值逻辑后的陷阱与规避方式。
主题索引
比较长连接与推送通道、在线状态、群扩散与收件箱,以及到达率、推送模型与多端同步的取舍。
主题索引
比较缓存可见性、指令重排、内存屏障与 happens-before 等内存模型规则及安全发布手段。
主题索引
比较事前目标对齐、纠错和称赞在可观察行为上的不同作用。
主题索引
归纳金额的精确表示,以及等额分摊时舍入差额和整数余数的处理方式。
主题索引
归纳 awk 与 sed 的行筛选、字段处理、地址定位、正则替换及与 shell 交互的边界。
主题索引
归纳 Perl 脚本的运行、标量与作用域、列表和哈希、子程序、逐行输入及流程控制。
主题索引
比较内容哈希、分句指纹与 MinHash 在文本去重中的适用条件、误判边界和成本。