此笔记位置已失效,请从目录继续阅读。
全书导读
架构设计先识别业务和技术中的主要复杂度,再在性能、可用性、扩展性与成本等目标间判断取舍。本书从原则和四步设计流程进入数据库、缓存、并发模型、容错与系统拆分,最后讨论重构、技术演进和架构师学习。具体技术是回应约束的工具,不是预先决定的组件清单。
全书主线
简单、合适与演化原则为方案取舍提供约束。先识别主要复杂度,设计明显不同的备选,再按关键维度评估并细化;后面的技术章节展示这些选择如何落到具体访问模式、故障目标和团队能力上。技术模板帮助建立视野,不能代替当前需求的判断。
简介
简介把本专栏定位为从编程经验走向架构判断的一套学习方法。作者认为,熟悉语言和实现细节,并不自动意味着能识别系统的主要复杂度;架构训练还要学会区分主次、比较备选方案,并说明选择背后的原则。这里的作者经历与课程介绍用于解释写作动机,不构成人人需要相同年限的成长标准。
课程按五个方向展开:架构基础建立概念、原则与设计流程;高性能部分讨论数据库、缓存、网络编程模型和负载分配;高可用部分讨论故障、冗余与恢复;可扩展部分处理变化及边界;实战部分把方法带回具体业务。简介以当时的50期专栏计划为背景,整理本还包含特别放送等附加内容。订阅价格、群活动与作者当时任职属于历史宣传信息,不作为当前购买或职业判断的依据。
开篇词|照着做,你也能成为架构师!
编程的本质是确定的——同一段代码不论谁写、何时执行,结果都可复现;架构设计却是不确定的,不同团队做出的方案可能差异很大,却都能正常运转。根源在于编程有语法强约束,架构设计面对的常是”选最先进技术还是团队最熟悉技术”这类没有标准答案的取舍。发散:这解释了技术强的程序员转型架构师常水土不服——本能想用逻辑推导找”唯一正确答案”,但架构设计考验的是没有标准答案时仍能做出负责任判断。 进一步展开见架构设计与编程思维的差异。
原书依据 · 1 处
01|架构到底是指什么?
一群个体构成”系统”需满足三个条件:个体间存在关联;个体按规则分工协作(规则决定责任边界);系统整体能力与个体能力有本质差别,是新涌现的能力而非简单相加。发动机、车架、轮胎单独都不能”载重前进”,组装成汽车才产生这能力。发散:这条标准可直接检验一个团队是否真正构成”系统”——若成员只是物理上坐一起,没协作规则也没产生超越个体总和的产出,那只是堆叠,不是系统。 进一步展开见系统的涌现性——组成系统的三个条件。
模块和组件都是拆分系统后的组成部分,区别在拆分角度——逻辑角度拆分得到”模块”,目的是职责分离;物理角度拆分得到”组件”,目的是单元复用、可替换。学生管理系统逻辑上拆成登录、成绩模块,物理上拆成 Nginx、Web服务器、MySQL 这些可替换单元。发散:这解释了”组件化”常伴随”可独立部署”诉求,而”模块化”更关注代码职责边界——两者常被混用,本质回答不同问题(谁负责什么 vs 什么能换掉)。 进一步展开见模块与组件的区分标准。
框架(Framework)本质是”组件规范”加”实现该规范的基础功能产品”,关注协作开发标准;架构(Architecture)本质是系统的顶层结构,关注系统由哪些部分组成、如何协作运作。同一系统可同时用多种维度描述架构——业务逻辑、物理部署、开发规范(如MVC)——这些描述互不矛盾,只是切入角度不同。发散:争论”这是框架还是架构”往往因双方隐含站在不同维度看问题;先明确分解角度,争议常自然消失。 进一步展开见框架关注规范,架构关注结构。
作者把软件架构重新定义为“软件系统的顶层结构”,这一定义串起了前面几个概念:架构要明确系统由哪些个体(子系统、模块、组件)组成,也要明确这些个体按什么规则运作和协作。用“顶层”替换维基百科的“基础”,是为了区分系统与子系统:谈微信架构时只讲聊天、登录、支付这一层,不把子系统内部架构混进来。发散:评审架构图时先确认讨论的是哪一层。参见框架关注规范,架构关注结构。 进一步展开见架构是系统的顶层结构。
02|架构设计的历史背景
从结构化编程的”模块”,到面向对象的”对象”,再到软件架构的”组件”,每次新方法论都是对已达一定规模的软件做进一步拆分,区别只在粒度越来越粗、抽象层次越来越高。这些方法论轮番被当作”银弹”追捧,但都只能缓解而非根除问题——因为各自针对的是不同阶段暴露的复杂度,而非复杂度本身。发散:评价任何新范式时,应先问它解决的是复杂度的哪个具体侧面,而非默认它能解决”复杂度”这个笼统问题。 进一步展开见软件方法论演进的共同模式。
软件架构作为独立问题被提出,根本原因是系统由许多部分组成时,整个系统的组织本身构成了一类新的设计问题,这与算法和数据结构关注的单点计算逻辑不同。这也解释了架构概念为何最早在大公司流行:只有规模足够大的系统才会遭遇耦合严重、牵一发动全身、逻辑难排查这些组织问题,小系统代码随意也不会触发架构困境。发散:这给了判断要不要做架构设计一个标尺——问题根源是否出在系统组织方式上,而非某处代码写得好不好。 进一步展开见软件架构问题为何只出现在大系统里。
两次软件危机的根源不同。第一次(20 世纪 60 年代)是软件“逻辑”太复杂,结构化程序设计用自顶向下、逐步细化、模块化把复杂度控制住;第二次(20 世纪 80 年代)是“扩展”太复杂,业务一变就难改,结构化设计对此无能为力,面向对象由此流行。软件工程和面向对象都曾被当成银弹,最终都只是缓解。发散:判断新方法时先问它针对哪类复杂度。参见软件方法论演进的共同模式。 进一步展开见两次软件危机根源不同。
03|架构设计的目的
架构设计的主要目的是解决软件系统的复杂度问题,而非架构重要、大家都做或盲目追求高性能高可用可扩展这些目标。判断架构设计是否必要合理,标准是先识别系统复杂度具体体现在哪(性能、可用性,也可能什么都不复杂),再针对性设计,而非不管三七二十一先套模板。发散:这条准则把要不要做架构设计、该抄哪家公司架构这类争论,转化成可回答的问题——复杂度到底在哪,套用方案解决的复杂度和我们的是否一致。 进一步展开见架构设计的目的是解决复杂度问题。
某公司的架构方案是为解决那家公司业务的具体复杂度而设计的,照搬并不会让自己业务达到对方量级,反而可能因复杂度不匹配带来”水土不服”——过度设计、运行别扭、被迫不断重构。淘宝级架构是为应对淘宝级流量复杂度,绝大多数业务的用户量都远不及淘宝,照搬只会引入不必要的复杂度。发散:可用架构设计的目的是解决复杂度问题做检验标准——参考外部方案前,先问对方解决的复杂点是否真与自己一致。 进一步展开见复制别人的架构等于复制错了问题。
用“排查法”逐维度分析大学学生管理系统:一两万学生、访问很少,性能不复杂;功能稳定,扩展不复杂;宕机两小时影响不大,不必做负载均衡和异地多活;安全只需 ACL、账号和数据库权限;几台服务器,成本可忽略。唯一难点是数据全丢只能人工逐条修复,所以重点是存储可靠:同机房 MySQL 主备防机器故障,跨机房同步防机房故障。发散:多数维度可以写“不复杂”。参见架构设计的目的是解决复杂度问题。 进一步展开见学生系统只需保存储可靠。
04|复杂度来源:高性能
技术进步不一定带来复杂度提升——若新技术直接淘汰旧技术(如存储介质从磁带到SSD),换新即可,复杂度不增加;只有新技术开辟全新领域、与旧技术长期并存而非取代时,才会带来复杂度,因为架构设计需要在多种可选技术间判断、选择、组合,如同出行要在汽车、火车、飞机间权衡价格、时间、舒适度。发散:评估新技术要不要引入,可先问它是”替代”还是”并存”——替代型直接换,并存型才真正考验架构判断力。 进一步展开见判断新技术是否会增加系统复杂度。
把大一统的复杂系统拆成多个小子系统能提升性能:简单系统更容易定位和优化关键性能点;瓶颈出现时可只针对某子系统单独扩展,不必牵动整体。但拆分不是越细越好——子系统间调用要走网络,跨系统调用次数随拆分粒度迅速增加,网络耗时会逐渐吞掉拆分收益,性能最终逼近但无法突破业务逻辑本身的理论上限。发散:微服务拆得越细越好是常见误区,拆分粒度本质是在单服务可优化性和跨服务网络开销间找平衡点。 进一步展开见任务拆分为何能提升性能又有上限。
单机高性能的复杂度主要来自操作系统:为了不让 CPU 空等,先后出现批处理、进程、进程间通信、线程,再到 SMP、NUMA、MPP 多 CPU 真并行。这些技术不是越新越好,也不必只选一种,要结合业务判断和组合:Nginx 可多进程也可多线程,Redis 单进程,Memcache 多线程,都做到了高性能。发散:选并发模型看负载特征,不看技术新旧。参见PPC与TPC模式的核心权衡——进程隔离性 vs 线程轻量性。 进一步展开见单机并发模型无标准答案。
集群提升性能的第一种方式是任务分配:每台机器都能处理完整业务,由分配器分发。从 1 台到 2 台就要选分配器(F5、LVS、Nginx 等)、管理连接、设计分配算法;要求升到每秒 10 万次时,单台分配器自身成了瓶颈,需扩成多台,又要用 DNS、CDN、GSLB 分配用户,连接变成多对多,状态和故障管理大增。实际性能一般按理论值八折估。发散:消除一个瓶颈后要追问下一个。参见任务拆分为何能提升性能又有上限。 进一步展开见任务分配器也会成瓶颈。
05|复杂度来源:高可用
高性能和高可用在架构手段上都是加机器,形式相似,本质不同:高性能加机器是为了扩展处理能力,让系统能处理更多请求;高可用加机器是为了冗余处理单元,让某节点故障时有备份顶上。区分很关键,因为两者复杂度类型不同——高性能关心任务如何分配才能提升吞吐,高可用关心冗余节点间如何协调状态、故障时如何切换。发散:架构讨论常把加机器简单等同扩容,但要先分清这次是为了扛流量还是防单点挂掉,两种设计思路不同。 进一步展开见高性能与高可用都靠冗余,但目的不同。
数据从一台机器同步到另一台必经网络传输,同机房几毫秒、跨机房几十上百毫秒,线路还可能中断数小时——冗余存储任意时刻都可能存在数据不一致。存储高可用真正的难点不是”如何备份”,而是”如何减少或规避不一致对业务的影响”,如存款后查询金额没变。这正是 CAP 定理的根本约束——一致性、可用性、分区容错性最多同时满足两个(第26章细化为分区时只能在 CP 与 AP 间取舍),设计本质是做业务取舍。 进一步展开见存储高可用的难点是应对数据不一致而非备份本身。
高可用系统靠”状态决策”判断节点是否正常,但依赖冗余的系统状态决策不可能完全正确——这是结构性矛盾。独裁式简单但决策者本身是单点;协商式(如主备)在连接中断时陷入”该不该切成两主”的两难;民主式(多数投票,如Paxos)复杂且有脑裂风险,为规避脑裂常要求”过半”,这又让真实故障时的少数派节点无法选主,是用可用性换正确性。发散:不存在绝对正确的高可用方案,只能在正确性和可用性间选取舍点。 进一步展开见高可用状态决策的根本矛盾(独裁/协商/民主三种模式)。
06|复杂度来源:可扩展性
良好的可扩展性依赖”正确预测变化”,但天然两难:每个点都考虑扩展性,架构会臃肿;完全不考虑,需求一来就要推倒重构。预测本身还会出错——需求迟迟不来,之前的设计就白费了。这没有通用标准,只能靠经验和业务判断,这也是架构评审常吵得面红耳赤的原因。发散:答案不该是技术上”能不能”,而应是业务上”变化概率多大、不做扩展性设计的改造成本多高”。 进一步展开见可扩展性设计的核心悖论——预测变化。
即便准确预测了变化,如何应对同样复杂。常见两种手段:拆成”变化层”和”稳定层”,但两者边界常不明确,接口既要稳定又要容纳差异化实现;或提炼”抽象层+实现层”(如设计模式、规则引擎),新增功能只需扩展实现层,代价是一个函数能搞定的逻辑要拆成多个类协作,维护成本上升。发散:这解释了过度用设计模式常被诟病”绕”——为可能出现的变化预付的复杂度,变化没到来前纯粹是负担。 进一步展开见应对变化的两种典型手段及其代价。
07|复杂度来源:低成本、安全、规模
高性能高可用的常规手段是加机器,低成本却要减机器,两者方向相反,所以低成本很少是首要设计目标——通常先按高性能高可用设计方案,再用成本上限检验,达不到就重新设计或调整成本目标。低成本的真正复杂度在于只能靠”创新”达成:引入或自研新技术,堆机器解决不了。发散:这解释了”降本”项目常比”提性能”更难出成果——性能靠加资源硬解,成本却逼团队找更聪明的方法。 进一步展开见低成本与高性能高可用天然冲突。
安全可分两类:功能安全(XSS、CSRF、SQL注入)是防小偷——利用实现漏洞悄悄潜入,属代码层面问题,只能在攻防中逐步完善;架构安全(如DDoS)是防强盗——直接用流量堵死网络出口,破坏力更大更难防。DDoS流量常见几十GB、极端可达数百Gbps,用防火墙硬扛不划算,且出口带宽打满时防火墙也保护不了,所以架构安全更依赖运营商或云服务商的带宽和流量清洗能力,而非自建防线。 进一步展开见功能安全防小偷,架构安全防强盗。
系统的”复杂”很多时候不是因高性能高可用可扩展性要求高,而单纯是规模:功能点多、数据量大。假设功能两两相关,复杂度≈功能数+连接数,连接数按组合数增长、远快于线性——功能从3到8个,复杂度从6跳到36。数据规模同理:MySQL单表5000万行内良好,到10亿行后加索引、改表结构都成高风险操作,逼着分库分表,又引入新复杂度。发散:关联增长远快于功能增长,是判断要不要拆系统的直观依据。 进一步展开见规模复杂度的本质是量变引起质变。
08|架构设计三原则
业界领先的架构方案背后是对应公司的人力规模、多年踩坑积累、以及被逼到某个业务量级才催生的创新,三者缺一不可。小团队照搬大厂方案常失败,多半是人手不够却想干几十人的活、没有多年积累却想一步做出成熟方案、业务量级远未到临界点却指望复制出同等方案。发散:这也是大厂背景的人到小公司常做不出成绩的原因——脱离资源和积累照搬打法本身就是错的方法论,架构应服务于团队实际拥有的资源约束,而非理想中的技术高度。 进一步展开见合适原则——为什么照搬业界领先方案常常失败。
软件领域”复杂”不像制造业代表先进,而是代表问题。结构复杂性(组件多、关系多)带来三个代价:组件越多整体可用性越低(单组件故障率10%,3个组件系统可用性约72.9%,5个降到59%,概率相乘所致);改动一个组件连锁影响关联组件,协调成本高;故障定位更难,异常表现的组件未必是病灶。结构和逻辑复杂性(单组件塞太多功能)都要警惕,简单方案够用时应优先于复杂方案,这正是 KISS 原则在架构层面的体现。 进一步展开见简单原则——结构复杂度会降低可用性并拖慢定位问题。
建筑一旦建成基本不变,软件架构却相反——变化才是主题,顶尖团队也不可能一开始就设计出多年后的成熟形态。试图”一步到位”设计扛住未来变化的架构,要么照搬大公司方案,要么靠巨大资源预测,往往投入大、落地慢、预测不准。更贴切的思路是类比生物演化:先满足当下需要快速落地,再在运行中迭代,该重构就重构。发散:可与架构重构的判断标准——有的放矢印证——重构和演化是同一件事的不同阶段。 进一步展开见演化原则——软件架构应该像生物一样演化而非一步到位。
减少组件数不能消除复杂度,把所有功能塞进一个组件会造成逻辑复杂。一是单组件功能太多:电商的商品、订单、支付全放一起,会出现改一行崩全站、分支互相覆盖。二是算法复杂:ZooKeeper 只做选举,但 ZAB 难懂难改,etcd 的 Raft 更易实现。复杂电路代表强大,复杂软件却是问题,因为软件上线后还要一直修改。发散:两种复杂度要一起权衡。参见简单原则——结构复杂度会降低可用性并拖慢定位问题。 进一步展开见逻辑复杂同样是问题。
09|架构设计原则案例
淘宝和手机QQ的演化揭示同一规律:早期核心诉求是”快”,最优策略是”买”或选最简单方案;规模突破临界点、”买”失效或成本失控,才转向自研重构。触发重构的是可观测症状——频繁死锁重启、加字段要两月。发散:要不要重构看具体症状。参见合适原则——为什么照搬业界领先方案常常失败、简单原则——结构复杂度会降低可用性并拖慢定位问题、演化原则——软件架构应该像生物一样演化而非一步到位。 进一步展开见早期系统靠买,规模到临界点才靠重构。
原书依据 · 2 处
10|架构设计流程:识别复杂度
大部分系统的核心复杂度只集中在高性能、高可用、可扩展性中的一到两个,三个以上往往说明此前设计有问题。面对多个复杂度应按业务、技术、团队排优先级,先解决最主要的一个,而非设计大而全方案——不同复杂度的解法有时互相矛盾(提升可用性要求落盘,又拖累性能)。案例:对标QQ体量设计的平台一开始上40多个子系统追求全面复杂度,开发近一年才上线,问题频出;接手团队花两年把子系统合并到不足20个才逐步稳定。 进一步展开见复杂度问题应优先级排序解决而非全面开花。
判断系统是否需要”高性能”,不能看日/月总量,要换算成秒级TPS/QPS,因为决定架构复杂度的是瞬时处理能力。算法:全天平均值乘峰值系数(约3倍体现波峰波谷),再乘未来增长余量系数(如4倍)得设计目标。余量系数按实际增长定,但一般不超过10倍,不能一上来按100倍设计——过度预留同样是为不确定需求支付真实复杂度,这与可扩展性设计的核心悖论——预测变化是同一问题的不同表现。 进一步展开见用峰值倍数预留性能余量的实战方法。
按优先级逐个解决复杂度,常被担心先落地的方案会被后面推倒。作者认为现实中几乎不会:软件可塑易变,同一问题总有多个方案,总能挑出综合来看性价比最高的那个。真要推倒重来,新方案必须把已解决的复杂度一并解决,通常要靠新技术,如 Hadoop 同时解决高可用、高性能、大容量。经验不足时用“排查法”逐个维度分析。发散:不必为避免返工而一次全做。参见复杂度问题应优先级排序解决而非全面开花。 进一步展开见逐个解决不致推倒重来。
特别放送|”华仔,放学别走!”第1期
这一期访谈回答的是如何学习架构,而非再引入一组架构模式。作者把知识分享看作暴露理解缺口的过程:写作会迫使人补齐细节、澄清疑问,读者的反馈又能帮助校正认识。博客只是这种表达与反馈循环的一种载体,重要的是把自己认为懂的内容讲清,而非用篇数代替掌握程度。
理论与实践在这里相互校正。先了解架构的目的、复杂度与原则,可以减少只凭感觉选方案的情况;随后用真实业务检验这些理解。没有亲自负责新系统的机会,也可以分析已有系统或公开案例:它解决了什么问题,为什么采用这个边界,有什么未被解释的代价。循序渐进地写笔记、比较判断,并与同伴讨论,比单纯赶进度更接近作者倡导的学法。
访谈还给出技术、个人成长和人生选择三个层面的延伸书目,并通过留言回应组织与团队条件对设计的影响。这些内容提供学习背景和反思入口,不把作者个人的阅读感受、书单或“10000小时”叙述提升为普遍成功公式。
11|架构设计流程:设计备选方案
绝大多数架构方案不是凭空创新,而是对已验证的成熟技术组合调整——Memcache 本质是把数据库索引结构独立成缓存系统,Docker 虚拟化基础是 LXC。技术具有”组合”和”递归”特征:新技术总建立在已有模块之上,这也是技术能被”模块化”简化设计的根本原因。发散:架构师的核心能力更接近”对已验证方案的广度储备+组合判断力”,而非发明全新方案;储备的成熟模式越多,可选组合空间越大。 进一步展开见架构方案的本质是成熟技术的组合。
设计备选方案有三个常见误区:一是追求”最优秀方案”而非”合适方案”——匹配自身业务体量和团队能力的方案才是好方案,盲目追求业界领先方案反而可能资源浪费或无法落地;二是只设计一个方案就直接推进详细设计,容易因评估片面而走偏,还会让评审陷入”过度辩护”而非客观比较;三是把备选方案写得像最终方案一样详细,耗费精力又让评审陷入细节争论。发散:这三个误区本质都是”过早收敛”——还没比较就已替自己做了选择。 进一步展开见备选方案设计的三个常见误区。
设计备选方案时,数量以3~5个为宜——少于3个考虑不周全,多于5个方案差异往往不明显,浪费评估精力;方案间要有明显技术选型差异(如ZooKeeper和Keepalived是不同备选,同用ZooKeeper只是检测周期不同则是细节);技术选型不能局限于熟悉的技术栈,否则陷入手里有锤子看什么都像钉子的定式。发散:这标准把设计备选方案和确定最终方案分开——前者发散求广度,后者收敛做细节,两阶段思维相反。 进一步展开见好的备选方案应满足的三个条件。
“前浪微博”消息队列有三个备选方案:开源 Kafka、集群 + MySQL 主备分组、集群 + 自研存储。有人认为 C/C++ 更适合写高性能中间件,但架构师判断不值得为语言性能让整个团队换语言,后两个方案都用 Java + Netty。团队的 Java 背景约束了备选范围:成熟团队不轻易换技术栈,新团队反而更愿尝试新技术。发散:列备选方案时要写明团队约束。参见好的备选方案应满足的三个条件。 进一步展开见团队技术栈约束备选范围。
12|架构设计流程:评估和选择备选方案
面对多个可行但各有优缺点的备选方案,数量对比法(谁优点多选谁)和加权打分法(给质量属性打权重分累加)看似客观,实则都有缺陷——前者忽视属性重要性天差地别,后者权重分数本身主观,容易被操纵成为选定方案调分数。正确做法是综合业务阶段、团队规模和技能,把质量属性按优先级排好序,先满足最高优先级的方案胜出,其余依次比较。发散:这套方法更难被操纵,因为排序需要说清楚现在最看重什么,而非靠调分数暗中操作。 进一步展开见评估备选方案:按优先级排序而非计分。
评估方案的性能、成本等业务规模相关属性时,不需按行业顶尖水平设计,只要满足未来一段时间发展即可——经验法则是按当前业务量的2~4倍设计(基数低乘4,高乘2),而非应对十倍爆发的方案。即便真出现远超预期的增长导致重做,这也是可接受的代价,因为业务迅猛发展时人力资金通常随之而来。发散:这是演化原则——软件架构应该像生物一样演化而非一步到位在容量规划上的量化,把”避免过度设计”变成可套用的系数。 进一步展开见容量规划的经验法则:按当前规模的2~4倍设计。
同样的备选方案,不同公司会做出不同选择——人手不足的创业公司倾向用成熟开源方案快速上线,业务复杂、人力充足的大公司倾向自研(如阿里做出RocketMQ)。排除某方案的理由往往不是”技术不够好”,而是团队缺乏对应经验、撑不起自研的长期维护成本。发散:运维等承担长期维护成本的角色的意见常被低估——好方案首先要”能被现有团队接住”。 进一步展开见技术选型是业务权衡而非纯技术判断。
选方案难在三点:每个方案都可行,没有完美方案,评价标准很主观。常见四种偏向:最简派挑最简单的(全文搜索用 MySQL 不用 Elasticsearch);最牛派挑技术最强的(Redis 功能多就选它);最熟派挑自己熟悉的(C++ 背景就用 C++ 写运维系统);领导派让领导拍板。这些做法没有绝对对错,难在判断什么场景该用哪一种。发散:讨论卡住时先分辨各方偏向。参见评估备选方案:按优先级排序而非计分。 进一步展开见选方案的四种偏向。
理想方案是只靠加机器跟上增长,现实是量变会引起难以预判的质变。5 个人做的系统撑到 TPS 20000 时,团队已有 20 人,同一系统上开发效率很低,需要拆子系统;单机房也要升级为异地多活。提前为这些设计也不行:5 个人做不完 20 个人的架构,业务等不起。这正是按 2~4 倍预估、到时再重构的理由。发散:容量能平滑扩,组织和机房结构不能。参见容量规划的经验法则:按当前规模的2~4倍设计。 进一步展开见平滑扩容挡不住质变。
13|架构设计流程:详细方案设计
确定备选方案后进入详细方案设计,还会遇到选哪个具体技术点的问题(如Nginx负载均衡策略选轮询还是ip_hash),但性质和备选方案阶段不同——不需要重量级多维度评估,按各选项适用场景直接匹配业务需求即可(如需session保持的电商场景直接选ip_hash)。发散:这提示要不要做正式评估本身也需判断——重型评估该用在真正影响架构走向的决策上,细节技术点按场景匹配即可,滥用重型流程是效率浪费。 进一步展开见详细方案设计阶段的技术选型是轻量级匹配。
备选方案阶段选定的方案,到详细设计阶段有时发现根本不可行,根源通常是遗漏了某关键技术点(如漏评估开发周期,导致实际要一年才能落地)。避险有三招:对方案关键细节有深入理解,不能停留在”这技术很牛所以选它”(即”PPT架构师”);分阶段分系统降低复杂度;方案复杂时用设计团队而非单人决策。发散:”看起来可行”和”真正可行”的鸿沟,恰恰藏在不愿深入的细节里。 进一步展开见避免”PPT架构师”陷阱——细节可能推翻整个方案。
14|高性能数据库集群:读写分离
数据库集群的”读写分离”,本质是把读写操作分散到主从多台服务器,分摊访问压力,但每台服务器仍存储全量数据——存储压力并未分散,这是它和”分库分表”的根本区别(分库分表能同时分散访问和存储压力)。发散:判断一个数据库集群方案能撑多大规模,先问它分散的是访问压力还是存储压力——如果数据量本身已是瓶颈,单纯读写分离解决不了问题,只会拖慢排查速度。 进一步展开见读写分离只解决访问压力,不解决存储压力。
读写分离最大的复杂度来自主从复制延迟——写入主库后立刻读从库可能读不到最新数据。三种应对:写后立即读的场景强制读主库(对业务侵入大,易因漏写代码出bug);读从库失败后自动重读主库(二次读取,简单但可能被放大成对主库的压力);按业务重要性分流,关键业务(注册登录)读写全走主库,非关键业务走读写分离,容忍短暂不一致。发散:三种方案没有绝对优劣,本质是在实现复杂度和主库压力之间按业务重要性分层取舍。 进一步展开见主从复制延迟的三种应对策略。
读写分离分流有两种路径:代码封装(业务代码加一层数据访问层路由读写)简单可定制,但每种语言要重复实现,主从切换需所有业务系统改配置重启;中间件封装(独立系统伪装成标准数据库)支持多语言、切换对业务无感,但要实现完整数据库协议兼容,复杂度高一个数量级。发散:这是复杂度前移的权衡——代码封装把复杂度摊到每个业务系统,中间件把复杂度收敛到一个组件,值不值得投入取决于接入系统数量能否摊平中间件开发成本。 进一步展开见读写分离的两种实现路径:代码封装 vs 中间件。
15|高性能数据库集群:分库分表
按业务模块拆分数据库能分散存储压力,但代价是原本同库的join和事务都失效——join要拆成多次查询拼接,事务要么用性能差的分布式方案,要么靠代码模拟回滚,易留脏数据;运维成本也成倍增加。初创业务不建议一开始就分库:业务能否活下来概率本就低,分库复杂度会拖慢验证节奏,单台数据库实际能撑到10万级用户。发散:这是简单原则和演化原则的应用——为大概率不发生的规模提前优化,成本换不来收益。 进一步展开见业务分库的代价——为何小公司不该过早拆分。
单表数据量过大时可按列切或按行切拆分:垂直分表把不常用、占空间大的字段拆到另一张表,减少高频查询字段所在表的体积,代价是一次查询变两次;水平分表把同结构表按规则(如按ID范围)拆成多个子表,解决单表行数过多的问题,但引入更复杂的路由、跨表join、排序问题。发散:垂直分表是结构优化,代价可控;水平分表是规模换复杂度,一旦选择就意味着跨表统计、排序、关联都要重新设计。 进一步展开见垂直分表与水平分表的区别。
水平分表后,数据落在哪个子表由路由算法决定:范围路由(按ID分段)能平滑扩充新表,但各分段数据量易不均;Hash路由(取模)分布均匀,但扩容时几乎所有数据要重新分布;配置路由(独立表记录归属)最灵活,但每次访问要多查一次路由表。发散:这三种方案对应分布式系统”均匀性vs可扩展性vs灵活性”三角权衡,同样逻辑在一致性哈希等场景反复出现。 进一步展开见水平分表的三种路由算法及取舍。
水平分表后,原本一条 SQL 的操作都变复杂。join 和 order by 只能在业务代码或中间件中逐表查询再合并、排序。count() 有三种做法:逐表 count 相加,简单但 20 张表串行可能要几秒;维护“记录数表”,查询快,但漏改就不一致,也无法与子表操作同事务,还增加写压力;不要求实时精确时,后台定时相加再更新记录数表。发散:分表前先列出依赖全表的查询。参见水平分表的三种路由算法及取舍。 进一步展开见水平分表后的计数与排序。
单表拆成多表后,不一定要分散到不同数据库服务器:同库多张小表也可能带来可观的性能提升,够用就不必分库,因为分库会带来 join、事务、成本等新问题。何时水平分表也不是固定行数:5000 万行只是参考,关键看访问性能,复杂的表 1000 万行就可能要分,简单的表上亿行也可以不分;但到千万级就该警觉。发散:拆分逐级升级,先选代价小的一级。参见业务分库的代价——为何小公司不该过早拆分。 进一步展开见分表不必先分库。
原书依据 · 13 处
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
- 15|高性能数据库集群:分库分表 · 查看原书依据
16|高性能NoSQL
NoSQL不等于”不用SQL”,而是”不只用SQL”——针对关系库某些场景短板,演化出K-V、文档、列式存储和全文搜索四类方案,但每种都靠牺牲ACID中某特性换来,如放弃事务原子性或跨记录join能力。发散:选型关键不是”哪个更强大”,而是”业务能否接受被牺牲的特性”——像社交关注关系这种短暂丢失影响小的数据,就适合弱事务换存储便利。 进一步展开见NoSQL 的本质是特性取舍,不是替代关系数据库。
关系数据库按行存储,优势是一次磁盘操作读出一行所有列,也保证同行多列写入的原子性;但只需统计某一列时,行存储要把整行读进内存,浪费大量I/O,列式存储(如HBase)只读需要的那一列,I/O大降,压缩率也从3:1~5:1提升到8:1~30:1。代价是更新多列要做磁盘随机写,效率远低于行存储。发散:这是”读的局部性”和”写的局部性”的对立,也是列式存储一般用于离线分析的原因。 进一步展开见行存储与列存储的适用场景是对立的。
关系库索引是”正排”思路——按文档查内容,无法应对任意关键词组合的模糊匹配(否则要给每种组合建索引,或退化成低效扫描)。搜索引擎改用”倒排索引”:先建”单词→文档列表”映射,查询时直接按关键词定位文档,天然支持任意组合与模糊匹配。接入结构化数据通常先转成文档格式,再对每个字段建倒排索引。发散:两者区别是”从哪个方向建映射”——该用哪种,看条件是查内容还是查实体。 进一步展开见倒排索引是全文搜索的核心解法。
文档数据库(如 MongoDB)不预定义 schema,多用自描述的 JSON 存储。好处有三:加字段不用执行 DDL;旧数据缺字段只返回空值;复杂结构一个 JSON 就能描述。适合属性差异大的电商和游戏。代价是(原书写作的 2018 年时)不支持事务,扣库存和建订单无法保证同时成功,也不能 join。发散:此后版本已陆续补齐,选型先查当前能力。参见NoSQL 的本质是特性取舍,不是替代关系数据库。 进一步展开见文档库无模式的得失。
特别放送|”华仔,放学别走!”第2期
甲方不顾业务需要、硬要采用流行技术时,不必用三原则去否定它:业务第一,拿不到订单就谈不上架构。这类要求属于“架构约束”,是必须遵守的前提,不是架构师可以选择的。三原则仍用在约束之内的选择上:客户要求 Docker,就选更简单的 host 网络模式;要统一管理 Docker,按简单原则直接用 Kubernetes,不自研平台。发散:先把约束和可选项分开。参见合适原则——为什么照搬业界领先方案常常失败。 进一步展开见硬性要求属于架构约束。
原书依据 · 1 处
17|高性能缓存架构
缓存穿透指请求绕过缓存直接打到存储系统,常见两种情形:一是查询数据本身不存在,缓存从未写入对应记录,每次查询都打到底层确认”不存在”,解法是未命中时也写入默认值占位;二是缓存生成本身昂贵(如深分页),过期又被集中访问(如爬虫遍历),生成成本会压垮存储,无根治方案,只能识别并封禁爬虫(影响SEO)或做好监控。发散:第一种能靠覆盖根治,第二种成本太高只能检测响应。 进一步展开见缓存穿透——两种成因与应对。
缓存雪崩指缓存过期失效后,大量并发请求同时涌向存储系统重新加载数据,压垮存储层甚至引发连锁宕机。两种解法:更新锁——只让一个线程更新缓存,其余等待或返回默认值,分布式场景需借助ZooKeeper锁;后台更新——缓存设为永不过期,由后台线程定时刷新,避免线程抢锁,还能用于上线时的缓存预热。发散:区别是”谁承担重建责任”——后台更新把重建职责挪出请求路径,复杂度更低。 进一步展开见缓存雪崩——更新锁与后台更新两种方案。
即使缓存整体性能很高,某条数据被极端集中访问(如明星发博被千万用户围观)时,单台承载该缓存的服务器仍会成瓶颈。解法是把热点数据复制成多份副本(key加编号区分),读取随机打到某份,把压力摊薄到多台服务器。关键是副本不能设同一过期时间,否则同时失效触发雪崩——正确做法是加随机偏移量错开失效时刻。发散:凡”大量对象同时失效”的设计,都值得引入随机性打散同步点。 进一步展开见缓存热点——复制多份副本并错开过期时间。
后台更新把缓存设为永不过期、由后台线程定时刷新,但缓存内存不够时会踢掉部分数据:到下次定时更新前,业务线程读到空值,自己又不更新,用户看到的就是数据丢了。补救有两种:后台线程每 1 秒或 100 毫秒检查一次,发现被踢立刻更新;或业务线程发现失效后发消息通知后台更新,后台更新前先判断缓存是否已存在,更及时但依赖消息队列。发散:“永不过期”不等于一直在。参见缓存雪崩——更新锁与后台更新两种方案。 进一步展开见后台更新要防缓存被踢。
18|单服务器高性能模式:PPC与TPC
系统性能存在一个由架构设计划定的天花板——若并发模型、集群方案这些架构决策没打好基础,后续再怎么优化代码细节,能挤出的性能空间也有限;反过来即使架构再好,一行不当的debug日志或网络参数设置不当,也能把实际性能从架构上限大幅拉低。发散:这提示性能优化要分层看待——先确认架构层面有没有限制性能天花板,再排查实现细节是否把可用性能损耗掉,两类问题排查方法不同,混在一起查容易找错方向。 进一步展开见架构设计决定性能上限,实现细节决定下限。
单服务器并发的两种经典模式:PPC(每连接fork一进程)进程隔离互不影响,但fork代价高、并发数一般只到几百;TPC(每连接开一线程)更轻量,共享内存使通信简单,但有锁竞争和死锁风险,一线程崩溃可能拖垮全进程。两者的”预建”版本都是把创建提前到启动完成,避免请求时才建的延迟,但没解决并发数天花板。发散:这是隔离性与轻量性的权衡——稳定性优先场景(如数据库服务器)反而更适合PPC。 进一步展开见PPC与TPC模式的核心权衡——进程隔离性 vs 线程轻量性。
19|单服务器高性能模式:Reactor与Proactor
进程同时处理多连接时,逐个轮询判断是否有数据可读会浪费大量CPU;I/O多路复用让进程只在一个聚合阻塞点等待(select/epoll/kqueue),操作系统在任意连接就绪时主动唤醒并告知,进程才去处理,从而一个进程/线程支撑海量连接,这是Reactor模式的技术基础。发散:与其让调用方主动轮询状态,不如把探测责任下沉给底层,只需注册回调被动等待——这思路在消息队列、观察者模式中反复出现。 进一步展开见I/O多路复用的核心思想。
Reactor有三种实现:单Reactor单进程/线程最简单,但无法利用多核,会阻塞其他连接(Redis用此模式);单Reactor多线程能利用多核,却引入同步复杂度,且Reactor自身易成瓶颈;多Reactor多进程/线程让子进程各有独立Reactor、彼此无需同步,反而比单Reactor多线程更易维护(Nginx用此模式)。发散:拆分职责、减少共享状态,往往比塞更多并发逻辑到一处更简单。 进一步展开见Reactor三种典型实现的取舍。
Reactor是”非阻塞同步”——内核只通知”有事件了”,读写仍需业务进程完成;Proactor是”异步”——内核直接完成读写才通知处理。理论上后者更高效,但需系统底层支持真正异步I/O,作者写作时(2018 年)Linux AIO 并不完善,故高并发编程实践中仍以前者为主,号称支持后者的库也常是用前者模拟的。发散:理论更优的模型能否落地,要看平台是否真支撑,脱离平台谈优劣意义有限。 进一步展开见Reactor与Proactor的本质区别——谁来完成I/O操作。
原书依据 · 9 处
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
- 19|单服务器高性能模式:Reactor与Proactor · 查看原书依据
20|高性能负载均衡:分类及架构
高性能集群本质是把计算任务分配给多台服务器执行,”负载均衡器”这个术语容易误导——让人以为唯一目标是让各节点负载均衡,但任务分配算法的目标也可以是吞吐量/响应时间等性能指标,还可以是按用户地理位置、VIP等级路由的业务规则。发散:命名携带了默认目标的暗示,团队沿用术语却忘了它原本的语义边界时,很容易把设计目标窄化——选型前应先问清楚”这次到底要均衡的是什么”。 进一步展开见负载均衡不只是为了负载均衡。
DNS、硬件(F5)、软件(Nginx/LVS)三种负载均衡方式并非互斥选一,而是按粒度分层组合:DNS负责地理调度(导向就近机房),硬件负责集群调度(分给多集群),软件负责机器调度(分给服务器)。三者优缺点互补:DNS简单但更新慢粒度粗;硬件性能强但昂贵不灵活;软件便宜灵活但性能安全较弱。发散:不同粒度用不同工具按层组合,本质上和复杂问题分层拆解、每层用最适合手段解决是同一原则的应用。 进一步展开见负载均衡的三层组合原则。
21|高性能负载均衡:算法
负载均衡算法从轮询到负载最低优先,本质是在”感知服务器真实状态”和”实现复杂度”间取舍。轮询不关注负载差异,几行代码实现,代价是无法应对能力不均;负载最低优先需持续采集统计服务器状态,能精确适配真实负载,代价是复杂度暴涨十倍以上。发散:这是负载均衡的三层组合原则同一权衡的算法层体现——负载最低优先效果虽好,实际落地却比轮询少,因多数系统负载差异不值得为它买单。 进一步展开见负载均衡算法的核心权衡:简单与精确。
源地址Hash或session id Hash类负载均衡算法,核心目的不是分摊压力,而是保证”同一用户/会话的请求始终落到同一台服务器”,对把会话状态存在服务器本地内存(而非集中存储)的业务是必需的,如网银登录期间的临时会话数据。发散:只要某组件需要”记住上次请求状态”就是有状态的,要么靠路由一致性兜底,要么把状态外置到集中存储让服务器无状态,两条路径互斥但都能达到目的。 进一步展开见Hash负载均衡解决的是会话粘性问题。
负载最低优先的指标要看场景:最少连接数只适用于每个进来的连接都转发给服务器的场景,如 LVS;负载均衡和服务器之间若是固定连接池(如经连接池访问 MySQL 集群),连接数反映不了压力。看 CPU 负载要选统计周期,1 分钟易波动,15 分钟反应慢。性能最优类按响应时间分配,还要定采样率和周期,常需上线后反复调优。发散:先问指标是否真实反映压力。参见负载均衡算法的核心权衡:简单与精确。 进一步展开见最少连接数看连接方式。
22|想成为架构师,你必须知道CAP理论
CAP理论只针对节点间互连并共享数据、涉及读写的分布式系统,而非所有分布式系统。多台互不通信、各自独立存数据的Memcache集群没有连接和数据复制,不是CAP对象;有数据复制的MySQL集群才是。CAP关注数据读写,ZooKeeper选举这类不涉及读写复制的功能也不在CAP范围。发散:套用理论前先确认是否落在其边界内——CAP常被泛化成任何分布式系统都要三选二,但它只回答数据复制场景的取舍。 进一步展开见CAP理论只适用于”互联且共享数据”的分布式系统。
网络不可能100%可靠,分区是分布式系统必然遇到的现象,所以分区容忍性(P)不是可放弃的选项——放弃P等于假设网络永不出问题。因此CAP三选二在工程上退化为CP与AP二选一:分区时要么拒绝响应过时数据保一致性(CP),要么返回过时数据保可用性(AP),不存在CA架构。发散:这把抽象的”三选二”定理收敛成具体工程决策——遇到分区该拒绝服务还是返回旧数据,这才是CAP真正指导实践的地方。 进一步展开见分布式系统必须选P,只能在CP和AP之间取舍。
CAP的可用性精确定义是”非故障节点在合理时间内返回合理响应,不超时不报错”——是”合理”而非”正确”。AP架构下,节点返回尚未同步的旧数据,只要不是错乱值,仍满足可用性,因为它合理但非最新。发散:把”可用”等同”正确”是对AP系统的常见误解——AP承诺的从不是数据一定对,而是一定给出说得过去的答复,理解这点才能评估AP架构能否被业务接受。 进一步展开见可用性要求的是”合理响应”而非”正确结果”。
CAP 的一致性更准确的定义是:对某个客户端,读操作保证返回最新的写结果。旧说法“所有节点同一时刻看到相同数据”不严谨:事务执行中各节点本就不一致,但客户端读不到未提交的数据,失败也会回滚。新定义同样改写了分区容忍:系统不只要“运行”,还要在网络分区时“履行职责”;分区按现象界定,不论原因是丢包、断连还是拥塞。发散:讨论一致性先站在客户端看。参见可用性要求的是”合理响应”而非”正确结果”。 进一步展开见一致性看客户端读到什么。
23|想成为架构师,你必须掌握的CAP细节
CAP理论中”选CP还是AP”的决策粒度是数据,而非整个系统——同一系统里不同类型数据可选不同策略。用户管理系统里,账号数据(ID、密码)通常要求CP,信息类数据(昵称、爱好)更适合AP。若把系统限定为单一策略,无论选哪个都会顾此失彼。发散:这提示架构决策要先做”数据分类”——按场景把数据拆成不同颗粒度分别决策,很多”理论用不上”的困惑源于决策粒度选错了。 进一步展开见CAP的决策粒度是数据而非整个系统。
CAP理论隐含假设数据能瞬间复制到所有节点,但跨节点同步总有延迟。对余额、库存这类要求绝对一致的数据,技术上做不到分布式场景下完美的CP,只能退化为CA——只允许单点写入、其它节点做备份,放弃多点写入能力。发散:这不意味着整个系统不能分布式,可以按用户或数据分区把单点写限制在小范围,既保证单用户数据强一致,又把故障影响范围从全体用户降到某个子集——这正是支付宝挖断光缆只影响部分用户背后的设计。 进一步展开见CAP忽略网络延迟——某些数据只能选CA、放弃分布式写入。
CAP理论”三选二”的前提是系统发生了分区(P),若节点间网络正常,完全可以同时保证C和A。所以架构设计要分两种场景:分区发生时如何在CP/AP间取舍,以及分区未发生时如何把CA都做好——后者常被忽略,但系统绝大部分时间都处于无分区状态。发散:即使同一批数据,实现”正常时CA”的手段也可不同——账号数据可用消息队列强实时同步,信息类数据普通同步即可,应基于数据对延迟的容忍度选择,而非一刀切。 进一步展开见正常运行时无需在C和A间取舍,只有分区发生时才需要。
CAP理论说分区期间必须”牺牲”C或A之一,这容易被误解为什么都不用做。实际上只要分区期间把未同步操作记录成日志,恢复后即可重放找补——CP场景由仍能写入的一侧把未同步的写操作记日志、恢复后同步给另一侧,AP场景把冲突修改按规则(如最后修改优先)合并,系统最终仍能回到CA状态。发散:”牺牲”是”延后处理”而非”永久放弃”——4个9可用性一年故障不过50分钟,为短暂窗口设计事后补偿更现实。 进一步展开见CAP的”牺牲”不等于什么都不做。
ACID是数据库事务完整性理论,CAP是分布式系统设计理论,字母重合但含义不同:ACID的A(原子性)指事务要么全做要么全不做,CAP的A(可用性)指请求得到合理响应,两者无关;ACID的C指数据库完整性约束不被破坏,CAP的C指多节点数据同步状态,场景也不同(单机事务vs分布式读写)。发散:术语撞名是常见认知陷阱,遇到同名不同理论应先查各自原始定义,而非想当然。 进一步展开见ACID与CAP的C/A同名不同义,不能类比。
BASE(基本可用、软状态、最终一致性)本质是CAP中AP方案的延伸,核心主张是放弃强一致性,但要求经过可容忍的时间窗口后数据最终一致。这个窗口因数据类型而异——账号数据可能要求1分钟内一致,一条微博可容忍30分钟,因用户对”暂时看不到”无感知。发散:即使选CP的方案,本质也只是把”最终一致”窗口压缩到几毫秒——完美实时的CP并不存在,BASE只是把这个客观时间窗口显式设计进架构。 进一步展开见BASE理论——最终一致性是AP方案的补充。
BASE 的“基本可用”指分布式系统出故障时,允许损失部分可用性,但要保住核心功能。难点在于判断哪些可以损失、哪些必须保证。用户管理系统里,登录是核心,注册可以算非核心:注册失败最多流失少量新用户;已注册用户登录不了,充了钱的游戏不能玩、云存储不能用,损失大,人数也多得多。软状态指允许不影响整体可用的中间状态。发散:做预案前先排功能核心度。参见BASE理论——最终一致性是AP方案的补充。 进一步展开见基本可用要先分核心功能。
原书依据 · 14 处
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
- 23|想成为架构师,你必须掌握的CAP细节 · 查看原书依据
24|FMEA方法,排除架构可用性隐患的利器
FMEA(故障模式与影响分析)不是架构设计方法,而是拿到已设计好的架构后,系统性排查可用性隐患的分析方法:假设某部件故障,分析对系统功能的影响,再判断架构是否需要优化。它不会告诉你架构该怎么设计,但能帮你发现遗漏的异常场景——可用性问题的复杂度正来自异常场景太多、容易遗漏。发散:这类事后审视型方法论的价值在于把凭直觉觉得架构还不错,变成可逐项核对的清单,显著降低因想不到某故障场景而留隐患的概率。 进一步展开见FMEA是事后审视架构而非指导设计。
FMEA分析表里的”故障模式”只需描述可观测的故障现象(如”MySQL响应时间达到3秒”),不需列出具体原因(磁盘坏道、慢查询、网络故障)。现象相同则业务影响相同,可先统一评估影响;原因放到”故障原因”栏单列,因为发生概率、检测手段、处理措施都不同。发散:”先按现象评估影响,再按原因细分应对”的两级结构,把”影响多大”和”怎么办”拆开,避免分析时被原因细节干扰判断。 进一步展开见故障模式只描述现象,不描述原因。
判断一个故障隐患值不值得投入资源解决,不能只看影响有多严重,还要乘以实际发生的概率——同样是”机房业务全部瘫痪”这个致命故障,若起因是地震(概率极低),风险程度就低;若起因是机柜断电(概率高得多),风险程度就高,应优先解决。发散:这提供了一个对抗”后果听起来吓人就投入过多资源”这种直觉偏差的工具——评估风险应同时问”有多严重”和”有多可能”,只答前者会导致资源错配到低概率的极端场景。 进一步展开见风险程度 = 严重程度 × 故障概率。
应对已识别的故障隐患,规避措施(降低发生概率,如定期换硬盘)和解决措施(从根本消除影响,如加密敏感数据)应优先选解决措施,因为它彻底消除问题而非只降概率。但很多故障(如硬件坏道、开源系统bug)系统自己无法根本解决,只能靠规避应对;能彻底解决的故障通常和自身功能直接相关、有主导权。发散:这个标准可泛化为通用问题处理优先级——先问根因是否在自己掌控范围内,范围内追求根治,范围外才降级止损。 进一步展开见能解决就不要只规避——优先级判断。
FMEA 表里的功能点要从用户角度划分,如“登录”“注册”,不是数据库、缓存这类模块。故障和影响都要量化:写“MySQL 响应时间达到 3 秒”“20% 的用户无法登录”,不写“响应慢”“大部分用户”;数字只需估到 20% 还是 40%。严重程度 = 功能点重要程度 × 影响范围 × 受损程度,分致命、高、中、低、无五档,有争议就讨论,僵持不下由架构师裁定。发散:量化让评估可比较。参见风险程度 = 严重程度 × 故障概率。 进一步展开见故障影响要量化描述。
FMEA 表还要评估故障概率和已有措施。概率分高、中、低三档相对比较即可:硬件越用越容易坏,开源和自研系统越成熟越少出错;绝对量化成本高,也常做不到。已有措施分三级:检测告警,只发现、靠人处理;容错,如主库连不上自动读备库;自恢复,如 Hadoop 重新分配故障机器上的副本,恢复的是业务,不是修好坏磁盘。最后按风险程度排序给出规划。发散:先看缺哪一级措施。参见能解决就不要只规避——优先级判断。 进一步展开见已有措施分三级。
原书依据 · 10 处
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
- 24|FMEA方法,排除架构可用性隐患的利器 · 查看原书依据
25|高可用存储架构:双机架构
所有存储高可用方案的本质都是把数据复制到多台设备上做冗余,复杂度集中在如何应对复制延迟和复制中断导致的数据不一致,评估任何一个高可用存储架构都可以从四个问题入手:数据怎么复制、各节点职责是什么、如何应对复制延迟、如何应对复制中断。发散:这四个问题构成了一个可复用的评估清单——遇到任何新的存储高可用方案(哪怕是没见过的产品或自研系统),都可以按这四点去拆解,而不需要先弄懂它具体的实现细节。 进一步展开见高可用存储方案的分析框架。
主备复制和主从复制架构几乎一样,唯一区别在于”备/从机是否提供读操作”——备机纯粹是数据副本,客户端无需感知它存在;从机承担读流量,客户端须区分主从分发读写,复杂度和硬件利用率同时上升。区别决定适用场景:数据变更少的后台系统适合主备;读远多于写的业务适合主从。发散:这体现通用取舍——让备用资源”闲置保持简单”还是”承担工作提升利用率”,取决于故障影响面和闲置成本是否值得。 进一步展开见主备与主从的本质区别是备机是否对外提供服务。
双机切换中,主备直连传递状态(互连式)简单,但通道故障会误判成双主机;引入第三方中介统一管理(中介式)更简单,但中介自己必须高可用,否则中介宕机系统整体不可用——形成”为让A高可用引入中介B,B又需要高可用”的递归陷阱。发散:打破递归不是自造中介,而是复用已解决高可用问题的成熟组件(如ZooKeeper),把”造轮子”停在能承受的层级。 进一步展开见中介式切换把复杂度转移成了中介自身的高可用问题。
主主复制表面最简单——两台都是主机,无需状态判断和切换决策——但有隐藏前提:数据必须能安全双向复制。自增ID、库存、余额这类有严格计数要求的数据一旦双向复制就会冲突或覆盖丢失。因此主主复制只适合临时性、可丢失、可覆盖的数据,如登录session、行为日志。发散:”架构简单”和”数据模型对冲突宽容”是两个独立条件——拓扑越简单,往往对数据类型要求越苛刻,评估优雅架构要反查它把复杂度转嫁到了哪。 进一步展开见主主复制只适合可丢失、可覆盖的数据。
主备、主从复制在主机故障后无法写入,双机切换让系统自动决定主机角色。它要设计三件事:状态判断,即靠互连还是第三方仲裁传递、检测哪些指标;切换决策,即何时切、旧主机恢复后是否切回、全自动还是人工确认;数据冲突,即切换前后两台主机都写入了同一 ID 怎么办。这些没有通用答案,复制若需 1000 行代码,切换可能要 1 万行。发散:自动切换不是简单开关。参见中介式切换把复杂度转移成了中介自身的高可用问题。 进一步展开见双机切换的三个设计点。
中介式切换的决策规则很简单:主备启动时都是备机;任何一方和中介断连,就把自己降级为备机,所以可能出现双备,但不会出现双主;主机断连后中介通知备机升主;旧主机恢复后以备机身份重新上报。模拟式切换则让备机扮成客户端读写主机,按响应判断状态,省去状态通道,但只拿到超时、错误码等信息,判断容易偏差。发散:宁可暂时不可写,也不要两个主。参见中介式切换把复杂度转移成了中介自身的高可用问题。 进一步展开见中介式断连即降级。
原书依据 · 13 处
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
- 25|高可用存储架构:双机架构 · 查看原书依据
26|高可用存储架构:集群和分区
多机数据集群按角色分两类:数据集中集群(如ZooKeeper)数据只往一台主机写,其余是备份,本质是主备架构的多备版本,适合数据量不大的场景;数据分散集群(如Hadoop、ES)每台服务器只存一部分数据、也能处理自己那部分读写,靠一角色负责分配算法,适合数据巨大、机器可扩到上千台。发散:判断该用哪种模式的关键不是”要不要用集群”,而是”数据量是否已大到单机存不下”。 进一步展开见数据集中集群与数据分散集群的分野。
双机、集群这类高可用架构解决单点硬件故障,前提是”总有其他机器能正常工作”;但整个城市遭遇地震、大停电时这前提会失效——所有本地硬件可能同时故障。数据分区就是应对这种更大范围故障,把数据按地理位置拆到不同区域,即使一地区瘫痪,受影响的也只是那个分区。发散:”高可用”不是单一层级概念,要按故障半径分层设计——单机故障用集群,机房故障用跨机房,地区级灾难用跨地域分区,混为一谈会导致过度设计或防护不足。 进一步展开见数据分区应对的是地理级灾难,不是硬件故障。
数据分区间的复制方式有三种:集中式(备份到独立中心,简单但成本高)、互备式(各分区互备对方数据,成本低但扩展时牵一发动全身)、独立式(各分区自建备份中心,简单易扩但成本最高)。容易被忽略的细节是:独立式备份中心不能和原分区同城,否则同城灾难会让分区和备份一起失效,分区容灾就落空了。发散:”备份”必须和被备份对象处于不同故障域,否则只是心理安慰,这个原则同样适用于密钥托管、灾备预案存放位置。 进一步展开见分区复制规则的三种模式与容灾细节。
数据分区先看数据量:2TB 用 4 台 MySQL 即可,200TB 却不是简单加到 800 台,每周都可能坏机器,改一次配置就可能影响全部机器。分区规则按距离分三级:洲际分区延迟太大,不适合在线服务,只作备份或不互通;国家分区受语言、法律差异影响,一般也只作备份;城市分区延迟低、业务相似,才能同时对外服务、做异地多活。发散:分区方案先定距离等级。参见数据分区应对的是地理级灾难,不是硬件故障。 进一步展开见分区距离决定能否多活。
数据分散集群的难点在分配算法,要满足三点:均衡性;容错性,服务器故障时把它的分区转给其他服务器;可伸缩性,扩容后自动迁移分区并保持均衡。还要有一个角色执行分配:独立服务器(如 Hadoop 的 Namenode)或选举产生(如 Elasticsearch 的 master),职责与集中集群里负责写的主机不同。发散:评估分布式存储先问这三点。参见数据集中集群与数据分散集群的分野。 进一步展开见分散集群的分配三要求。
数据集中集群就是 1 主多备或 1 主多从,写只能到主机,结构像主备主从,却多了三个难题。复制:多条复制通道加大主机压力,备机之间还可能不一致。状态判断:多台备机都在判断主机是否正常,结论可能互相矛盾。选主:主机故障后多台备机都能升主,却只能选一台,需要协调。ZooKeeper 用复杂的 ZAB 算法解决这些问题。发散:多台不只是数量变化。参见高可用状态决策的根本矛盾(独裁/协商/民主三种模式)。 进一步展开见集中集群比双机多三难。
27|如何设计计算高可用架构?
计算高可用和存储高可用架构模式几乎一样(都有主备、主从、集群),但计算高可用更简单——计算任务不需要数据复制,任一服务器拿到相同输入就产生相同输出,不存在”数据不一致”“复制延迟”问题。复杂度全集中在”任务管理”:故障后任务交给谁、失败要不要重试。发散:”高可用”不是统一难度的问题,是否涉及状态复制直接决定复杂度差一个量级——判断难度先问是否有状态,比套用现成模式更重要。 进一步展开见计算高可用比存储高可用简单,因为无状态无需复制。
计算高可用架构里”任务分配器”不要求系统必须有独立模块承担——它可隐藏在已有组件里,比如Nginx做反向代理时顺带承担任务分配职责,或ZooKeeper的Follower节点转发写请求给Leader、自己处理读请求,本身就在扮演该角色。发散:这是”职责”和”模块”要区分开的例子——先想清楚需要哪些逻辑职责,再决定独立承担还是复用已有组件,不必为理论模型里的角色单独造服务,避免过度设计。 进一步展开见任务分配器是逻辑角色,未必要独立存在。
主备架构里的备机可以是”冷备”(程序包和配置备好但系统未启动,需人工手动启动)或”温备”(系统已启动但不对外服务,故障时只需切换流量)。冷备省资源,温备能大幅缩短切换时间,一般推荐温备——人工操作的时间成本和出错概率通常比多花的资源更值得规避。发散:这体现一个常见取舍——”资源闲置成本”和”故障恢复速度”之间,多数场景应优先保证恢复速度,因为故障期间业务中断的隐性损失往往远大于资源闲置的显性成本。 进一步展开见冷备与温备的取舍。
负载均衡集群的分配用轮询、随机基本就够,难的是判断服务器是否故障:不仅查宕机和网络,还要查任务是否卡死、执行是否过长,通常靠心跳传递信息。判定条件要按业务定:页面平均 500 毫秒返回的在线系统,可设“1 分钟内超过 1 秒的页面占 80% 即故障”;任务通常 5 分钟完成的统计系统,可设“单任务超过 10 分钟未结束即故障”。发散:先测正常基线再定阈值。参见阈值类参数只能靠压测和上线观察逐步调优。 进一步展开见故障判定条件按业务设计。
计算高可用集群分两类:对称集群即负载均衡集群,每台都能执行所有任务;非对称集群里角色不同,如 Master-Slave。非对称集群难在两点:任务要先分类再分给对应角色;角色要能重新分配,常用 ZAB、Raft 选举。Master 故障要重新选出,Slave 故障只需剔除。ZooKeeper 选举期间暂停读写。发散:有角色就要有选举。参见故障判定条件按业务设计。 进一步展开见非对称集群难在角色。
28|业务高可用的保障:异地多活架构
异地多活能让业务在整个机房甚至地区瘫痪下依然可用,但代价很高——系统复杂度质变,还要多套机房成本。判断标准是业务中断对用户的实际影响:新闻网站、内部系统换个替代品就行,做异地备份即可;支付宝、滴滴这类中断会让用户当下无法完成关键操作的业务,才值得承担这份复杂度和成本。业务规模很大时,能做还是尽量做,以减少口碑和广告收入损失。发散:先问场景概率和真实损失,而非技术上能做就做。 进一步展开见异地多活不是所有业务都值得做。
同城异区(同城不同区建两机房,高速专网连接)无法应对地震水灾这类波及全城的灾难,但能以很低复杂度和成本,把两个物理分离的机房逻辑上当成一个机房用,覆盖概率高得多的机房级故障。地区级灾难概率极低而机房级故障概率高得多,同城异区因此在成本、复杂度、故障覆盖率间达到最优平衡。发散:这是典型的防护半径帕累托最优选择——防护能力不是越大越好,要卡在覆盖多数真实故障场景和不过度投入极小概率场景间的临界点。 进一步展开见同城异区是应对机房级故障的最优解。
跨城异地要真正防灾,两机房必须离得足够远,但距离一远,网络延迟可能从几十毫秒飙升到几秒,数据同步必然出现不一致窗口。对余额这类强一致数据,一旦多点写入,网络分区期间用户可能利用不同步窗口重复操作造成资金损失。因此强一致数据只能停留在同城异区,无法做跨城异地多活;能容忍短暂不一致(登录状态、新闻)的数据才适合跨城。发散:这印证CAP的决策粒度是数据而非整个系统——异地多活也按数据类型决策。 进一步展开见强一致性数据无法承受跨城异地多活。
跨国异地的同步延时正常就有几秒,已经达不到异地多活的第一条标准:用户访问任何地点都能得到正确服务。比如上海用户刚发的微博,访问纽约机房的关注者很可能看不到。因此跨国“多活”的含义变了,主要用于两种场景:一是为不同地区用户分别服务,如亚马逊中国账号不能登录美国站;二是只读业务多活,如谷歌搜索,几秒延迟不影响结果。发散:说“多活”时先问是哪种距离。参见强一致性数据无法承受跨城异地多活。 进一步展开见跨国多活含义不同。
特别放送|如何高效地学习开源项目 第3期
学习开源项目时,源码阅读不是第一步而应是最后一步——顺序是先安装、再运行、再研究原理、再测试,最后才看源码。安装过程能通过依赖库反推系统设计(依赖 libevent 就能推测网络模型是 Reactor);运行阶段靠命令行参数摸清能力边界;原理研究要做到”系统性”,既懂实现原理也能对比方案优缺点。缺少问题意识就一头扎进源码,效率不高;带着问题学效率最高。发散:这本质是”先建心智模型,再深入细节”。 进一步展开见学习开源项目应自顶向下而非直接看源码。
只有清楚一门技术方案的优缺点,才算真正掌握它,也只有如此才能在架构设计时做出合理选型。优缺点主要靠对比分析得出——把两个类似系统放在一起比较实现差异,比如对比 Memcache 多线程模型和 Redis 单进程模型的取舍,或同一系统内部不同模式的对比(如 Redis 的 RDB 和 AOF)。发散:”会用某技术”和”掌握了某技术”是两回事,后者的检验标准是能否在类似方案间做出取舍,而非能否跑起来。 进一步展开见掌握技术优缺点才算真正掌握。
项目里要用开源系统就必须自己测:版本不同结果差异大,别人测 128 字节的 value,你的场景是 128K,结论不能照搬。测试还必须放在原理研究之后,否则配置或运行模式用错,结论会误导设计。有团队装好 MySQL 5.1 就压测,结果奇差,排查才发现 innodb_buffer_pool_size 还是默认的 8M。发散:压测报告应附关键配置。参见学习开源项目应自顶向下而非直接看源码。 进一步展开见先懂原理再做测试。
29|异地多活设计4大技巧
异地多活最容易陷入的误区是想让所有业务都支持多活,但注册、改资料这类涉及全局唯一性约束(如手机号只能注册一次)的业务,多中心并发写入会产生无法调和的冲突。正确做法是优先保障影响面最大的核心业务——比如登录,每个中心存有全量账号密码,某中心宕机可换中心登录;注册、改资料等低频操作短暂不可用,影响远小于千万用户同时登录失败。发散:这是把有限资源投向影响面最大处,而非各业务一视同仁。 进一步展开见异地多活优先保障核心业务而非全部业务。
异地多活的本质是靠数据冗余换可用性,但”所有数据都实时同步”因光速和网络延迟物理上无法达成。可行策略有三种可组合使用:缩短机房物理距离;只同步核心数据,可重建的数据(如登录 session)不同步;采用最终一致性而非强一致性,不同数据按重要性接受不同的同步时延。发散:这体现了物理约束定义了设计问题的解空间边界,架构设计不是突破约束,而是在约束内做工程取舍。 进一步展开见异地多活的数据同步只能追求最终一致性。
存储系统自带同步功能看似够用,但在极端场景下可能长延迟甚至服务中断(原书举 MySQL 5.1 单线程复制、Redis 2.8 前断连触发全量复制),仅依赖它会让”多活”名不副实。更稳妥的做法是组合多种手段:只创建不修改的账号数据走消息队列,低频修改的密码等走存储系统同步,本地读不到就向对端”二次读取”,可丢弃的大数据不同步、改按路由”回源读取”,失败就重新生成。发散:可靠性来自多种互补机制的兜底。 进一步展开见不依赖单一存储同步机制,多手段组合同步数据。
异地多活受光速、网络延迟等物理规律限制,不可能做到100%可用——为最后0.01%用户设计完美方案,往往让方案复杂到连99.99%的用户都保障不了。强一致性业务(如银行转账)甚至只能牺牲更多可用性换正确性,可用”记录申请、后台异步执行、失败可重试”模式变相支持多活。剩下无法覆盖的损失,靠公告、补偿、体验优化安抚,而非继续加码技术复杂度。发散:承认边界比死磕边界更专业,这是”没有免费午餐”的体现。 进一步展开见异地多活无法做到100%可用,只能忍受小概率损失。
异常时 A、B 两个中心都修改了同一用户的信息,最直观的合并规则是“最后修改的生效”。业务上说得通,坑在时钟:异地多中心无法保证所有机器时间绝对一致,两中心误差超过 1 秒,先改的就可能反而生效。改用全局唯一递增 ID 排序,成本又很高,因为这个 ID 生成系统本身也要做异地多活。所以作者建议这类非核心数据不一定要做多活。发散:依赖时间戳合并前先确认时钟误差上限。参见异地多活优先保障核心业务而非全部业务。 进一步展开见最后修改生效依赖时钟。
原书依据 · 16 处
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
- 29|异地多活设计4大技巧 · 查看原书依据
30|异地多活设计4步走
为业务做异地多活分级时,常见标准有访问量大、核心场景、贡献收入三种,但它们可能给出完全不同的排序——以QQ为例,聊天是核心场景却难插广告、难带来收益;QQ空间重要性不及聊天,却能插广告、带来更多收益。分级不是套公式,而要综合业务目标(留存、收入、口碑)权衡取舍,不存在”唯一正确”的排序。发散:这类多准则冲突在几乎所有优先级判断里都存在,业务分级只是同一类问题的具体场景。 进一步展开见业务分级标准可能互相冲突。
判断一份数据要不要花大代价做异地实时同步,关键看两个独立维度:丢失后是否严重影响业务(可丢失性),以及能否通过其他手段找回(可恢复性)。登录 session 丢了重新登录即可,属于可丢失、可恢复,不必强同步;用户账号丢了则无法找回,必须优先保障。发散:这套框架可推广到任何”要不要为某类数据做高成本容灾”的决策——先问丢了有多痛、能不能自己长回来,而非想当然地全量备份。 进一步展开见数据的可丢失性和可恢复性决定同步投入。
用消息队列做跨机房数据同步时,必须先确认数据是否有事务性或时序性要求。新注册的账号数据之间互不依赖,即使异地机房乱序同步也不影响正确性,适合走消息队列;但密码这类数据存在先后修改关系,如果同步顺序错乱(后改的先到),最终生效的就是错误密码,这类数据不能简单走消息队列同步。发散:技术选型不能只看”消息队列能异步解耦”这个优点,还要反过来问数据本身对顺序、事务的要求,否则解耦反而引入了正确性风险。 进一步展开见消息队列同步只适合无时序要求的数据。
设计多通道同步来对抗单通道故障时,最容易被忽略的坑是两条通道底层共用同一条物理网络——如果数据库同步和消息队列同步都走同一条公网连接,网络一旦故障,两个通道会同时失效,多通道形同虚设。真正有效的多通道要求物理路径隔离,比如一条走公网、一条走内网。发散:这是”消除单点”这一可用性设计基本原则在具体实现层面的体现——冗余必须冗余到最底层的物理依赖,否则表面上的”两条路”其实是同一条路。 进一步展开见多通道容错的关键是物理隔离。
异地多活的异常处理之一是记日志:关键操作前后各记一条,存到独立的地方,故障恢复后与数据比对修复。存在哪里取决于要扛多大的故障:日志存服务器、数据存数据库,只能应对单台数据库故障;存本地独立系统,能应对服务器和数据库同机架、同电源一起宕机;存到异地,才能应对整个机房宕机。应对的故障越严重,方案越复杂、成本越高。发散:日志和数据不能处在同一故障域。参见多通道容错的关键是物理隔离。 进一步展开见日志存放按故障级别。
异地多活的数据分类,除了可丢失性和可恢复性,还要看三个维度。数据量:新增、修改、删除越多,越可能同步延迟。唯一性:用户 ID 这类数据若两个机房各自生成出相同值就会出错,所以必须唯一的数据,要么只由一个中心生成,要么设计唯一生成算法。实时性:要求多快同步到异地,要求越高方案越复杂。这些特征决定后面选哪种同步方式。发散:先问数据能否在多处产生。参见数据的可丢失性和可恢复性决定同步投入。 进一步展开见唯一数据只能单点生成。
多通道同步除了要物理隔离,还有一个前提:数据必须可以重复覆盖,无论哪条通道先到,最终结果都一样。新建账号符合,同一条记录到两次结果不变;密码不符合,先后改成 m 和 n,到达顺序不同就会留下错误密码。通道一般两条就够。另一种手段是同步加访问:优先读本地,读不到再按路由规则调用对端接口,适合实时性要求很高的数据。发散:多路冗余前先确认操作幂等。参见多通道容错的关键是物理隔离。 进一步展开见多通道要求可重复覆盖。
31|如何应对接口级的故障?
降级和熔断常被混为一谈,但应对的问题完全不同——降级是应对系统自身负载过高,主动放弃部分功能保住核心功能(丢车保帅);熔断是应对依赖的外部服务变慢或故障,主动切断对该依赖的调用、直接返回错误,避免自己被下游拖垮。简单说:降级砍的是”自己的功能”,熔断断的是”对别人的依赖”。发散:这提示故障隔离要先分清”问题出在自己身上”还是”来自依赖”,两种情况需要完全不同的应对策略,混用会文不对题。 进一步展开见降级与熔断的本质区别。
限流分两类:基于请求限流从外部访问量入手(限制总用户数或单位时间请求数),实现简单但阈值难定——硬件差异也让处理能力难按倍数推算;基于资源限流从内部关键资源(连接数、线程数、CPU占用率)入手,更贴近真实压力,难点在于找准”关键资源”是哪个。发散:两种限流是”外部症状限制”和”内部病灶限制”的区别,后者更准但要求摸清系统瓶颈,做不到时退而求其次用前者。 进一步展开见限流的两种视角:基于请求 vs 基于资源。
无论限流阈值还是熔断阈值,都无法靠理论计算或经验公式一次性确定——硬件配置翻倍不代表处理能力等比例翻倍,性能压测又存在场景覆盖不全的问题。可行做法是”先根据分析给出初始阈值,上线观察真实运行情况,再持续调优”,把阈值设计当成需要反馈闭环的过程,而非设计阶段一次性拍板的数字。发散:这类”无法靠推导求解、必须靠观测迭代收敛”的参数很常见,提前接受这点能避免过度纠结精确值。 进一步展开见阈值类参数只能靠压测和上线观察逐步调优。
限流直接拒绝超出能力的请求,排队则让用户先等一会儿,12306 就是典型。排队不等于体验更好,用户等很久才进入系统,未必比被拒绝舒服。排队要缓存大量请求,单个系统放不下,一般用 Kafka 这类消息队列单独实现。1 号店秒杀拆成三块:排队模块按商品先进先出保存请求,调度模块看服务能力动态拉取请求,服务模块处理业务并回写结果。发散:先算清队列长度与处理速度。参见限流的两种视角:基于请求 vs 基于资源。 进一步展开见排队是限流的变种。
熔断的前提是有统一的 API 调用层,由它采样、统计依赖接口的响应;调用散落在代码各处就无法统一熔断。另一关键是阈值,如“1 分钟内 30% 的请求超过 1 秒就熔断”,每个数字都影响效果,只能先分析设定、再上线调优。降级有两种做法:系统后门降级,用带密码的 URL 下指令,成本低但服务器多时要逐台操作;独立降级系统能批量操作并做权限管理。发散:预案要能批量、快速执行。参见降级与熔断的本质区别。 进一步展开见熔断需统一调用层。
32|可扩展架构的基本思想和模式
所有可扩展架构设计方法,底层思想都归结为一个字——拆:把大一统的系统拆成多个小规模部分,扩展需求来了只改其中一部分,无须牵动整个系统。但软件的”拆”和物理世界拆东西不同,物理拆分完就丢弃,软件拆分是建设性的——拆完系统要变得更优美、更好扩展,这决定了软件拆分难度远高于字面意义的拆。发散:分层、微服务、微内核等具体技巧,本质都是”如何拆得更合理”的不同答案,不必当孤立知识点死记。 进一步展开见可扩展架构的本质是”拆”。
拆分系统有三种思路,范围从大到小依次是流程>服务>功能。以 TCP/IP 为例,流程对应协议栈四层的固定顺序(应用层→传输层→网络层→链路层);服务对应应用层内并列的 HTTP/FTP/SMTP;功能对应某服务内部的具体操作(如 HTTP 的 GET/POST)。三者分别对应分层架构、SOA/微服务、微内核架构,可组合使用。发散:分清是先后、并列还是细分关系,能快速判断该往哪个方向拆分。 进一步展开见三种拆分维度:流程、服务、功能。
即使团队都是熟练工程师、不拆分也能靠自律控制修改范围,现实中团队水平参差,拆分的价值在于强制约束——即便某程序员判断失误,出错范围也被拆分边界天然限制住,不会波及无关模块。不同拆分方式带来不同扩展半径:面向流程拆分改动通常局限一两层,面向服务拆分局限相关服务,面向功能拆分局限具体功能模块。选错拆分维度,日后每次新需求都要跨边界修改,等于白拆。发散:拆分本质是给未来变更预先划定安全边界。 进一步展开见拆分方式决定了系统未来的扩展半径。
33|传统的可扩展架构模式:分层架构和SOA
分层架构支撑扩展,本质是”隔离关注点”——每层只处理本层逻辑,扩展某层其他层不受影响。但简单把相似模块归到一层不够,真正起作用的是层间要有稳定依赖接口。以 Linux 支持新文件系统为例,若只把 ext2、ext3 归为”文件系统层”,新增仍要改所有依赖方;只有抽象出稳定的 VFS 接口后,新增才只需适配 VFS。发散:分层只是表象,扩展性来自背后稳定不变的契约,没有契约,分再多层也只是形式主义。 进一步展开见分层架构支撑扩展的关键是稳定接口,而非简单分层。
分层架构强制请求逐层传递、不能跳层访问,好处是把系统依赖收敛成简单的两两依赖,任何一层改动的影响范围都可预期;代价是每层都要写近乎重复的转发代码,即使”查看头像”这种极简单功能也要在展示层、业务层、持久层各写一遍相似方法。这种冗余看似啰嗦,但比起绕过分层直接跨层调用带来的长期维护混乱,更划算。发散:这是典型的”用局部形式化冗余换取全局可维护性”的取舍,类似取舍在很多强约束的架构规范里都能看到。 进一步展开见分层架构用冗余换取复杂度可控。
SOA 诞生的背景是企业内多个独立采购、技术栈各异的 IT 系统(人力、财务、销售各用不同语言协议)重复建设、难以协同。ESB(企业服务总线)承担异构系统间协议和数据格式转换角色,让其互联互通,但这是无奈之举——重写已运行多年系统成本太高,只能靠 ESB 做适配层,其要处理的协议太多,自己反成复杂度和性能瓶颈。发散:这解释了互联网公司少用 SOA——系统多自建、技术栈统一,不存在异构遗留整合问题。 进一步展开见SOA的ESB本质是应对历史遗留异构系统的无奈妥协。
分层架构按划分对象和维度分三类:C/S、B/S 按用户交互把整个系统分两层;MVC、MVP 按职责划分单个子系统,层间依赖较灵活;逻辑分层也按职责划分,但层自顶向下依赖,如操作系统内核、TCP/IP。不论哪种,最关键的是层间差异清晰、边界明显。层分太多、差异不明,同一功能该放哪层就会争执,落地后两层混成一锅粥。发散:加层前先说清与邻层区别。参见分层架构支撑扩展的关键是稳定接口,而非简单分层。 进一步展开见分层边界必须清晰。
34|深入理解微服务架构:银弹or焦油坑?
微服务和SOA常被混淆,本质是不同设计理念,只在”用服务解决可扩展性”上有交集。核心差异有三:服务粒度(SOA粗如”员工管理系统”,微服务细如”考勤管理”单独成服务)、通信方式(SOA靠ESB统一处理协议转换,微服务用轻量协议只传递不处理)、适用场景(SOA面向异构企业系统,微服务面向可从零构建、快速试错的系统)。发散:这解释了微服务硬套传统IT改造往往行不通——它假设系统能按业务能力重新切分。 进一步展开见微服务与SOA的本质区别不在有没有ESB而在设计理念。
服务拆得越细,单个服务确实变简单,但服务间调用关系数按 n×(n-1)/2 增长,潜在交互复杂度远超服务数量本身的增长。这是微服务最容易被忽视的陷阱——不少小团队看到”微”字就把系统拆成远超自身维护能力的服务数(如5-6人团队拆出30多个服务),结果每个需求都要跨服务改动部署联调,效率不升反降。发散:”服务粒度”是需要显式取舍的架构决策,不是拆得越细越先进。 进一步展开见微服务把系统内复杂度转移为系统间复杂度。
微服务间靠网络调用(HTTP/RPC),单次调用平均耗时约50毫秒,一次请求若经过6次调用,仅网络开销就有300毫秒,很多高性能场景难以接受。故障定位同样被拉长:一次异常往往要从最上游服务逐层排查,没有链路追踪工具时定位耗时可能是几个小时,多个服务同时故障更是雪上加霜。发散:这说明”拆分”带来的收益(单服务更简单、可独立扩展)必须拿真实的网络延迟和排障成本去对冲,不能只看拆分后单服务变简单这一面。 进一步展开见微服务的调用链越长,性能损耗和故障定位成本越高。
微服务标榜的”lightweight”(无须ESB这类重中间件),实际是把复杂度转移给了自动化基建——服务路由、故障隔离、服务注册发现。若没有自动化系统支撑、全靠人工管理,微服务不仅达不到”轻量”,管理复杂度反会膨胀到和ESB相当。发散:这戳破了”微服务天然比SOA先进”的错觉——它没消灭SOA要解决的治理问题,只是把复杂度从架构层转移到运维基建层。 进一步展开见微服务的”轻量”承诺依赖成熟的自动化基础设施。
35|微服务架构最佳实践-方法篇
微服务的拆分粒度不该按业务逻辑随意细分,而应先按团队规模倒推服务数量——作者的经验法则是设计开发期每个微服务由3人负责(维护期1人可维护多个):2人系统复杂度不够、难以体现分工价值,4人以上则难以让每个人都吃透细节;3人能形成稳定的人员备份避免单点,也刚好能有效讨论又快速达成一致。团队变大后,再把已有服务进一步拆分。发散:服务粒度本质是组织设计问题,先算团队能撑起几个3人小组。 进一步展开见微服务粒度应由团队规模决定——三个火枪手原则。
微服务拆分不只有”按业务逻辑拆”一种方式:按业务拆分适合职责清晰场景,但拆多细全凭主观,需用团队规模倒推数量上限;按可扩展性拆分,稳定模块归粗粒度服务、频繁迭代模块拆细;按可靠性拆分,核心与非核心服务分开,让核心服务高可用方案更简单;按性能拆分,把压力大的模块(如抢购排队)独立隔离。这几种方式可自由组合,不是单选项。发散:先想清楚拆分要解决什么目标,再选对应维度。 进一步展开见微服务拆分方式可以按业务、稳定性、可靠性、性能自由组合。
微服务真正决定成败的特性是”automated”(自动化),而非”small”或”lightweight”——粒度划错了还能拆服务、合服务补救;但服务发现、路由、容错等基础设施没跟上,微服务就会变成焦油坑。本质上微服务没有减少复杂度,只是把 SOA 里 ESB 的功能拆成了独立基础设施,复杂度从通信层转移到基础设施层。发散:可借助开源基础设施组件按优先级逐步补齐,不必一步到位。 进一步展开见微服务真正的代价是把ESB拆散成了基础设施。
微服务基础设施很庞大,但小团队不必因此放弃:有 Spring Cloud 这类开源全家桶,服务不多时也不是每项都必需。建议顺序:先做服务发现、路由、容错,这是最基本的;再做接口框架和 API 网关,提升开发对接效率;然后是自动化部署、自动化测试、配置中心;最后是服务监控、跟踪、安全。后两类在节点少时可先靠人工顶住。发散:按痛点出现顺序补齐。参见微服务真正的代价是把ESB拆散成了基础设施。 进一步展开见微服务基础设施的搭建顺序。
36|微服务架构最佳实践-基础设施篇
服务发现有两种方式:自理式让每个微服务自己查询注册表再直接调用,压力分散到各节点,不会有单点瓶颈;代理式引入独立负载均衡系统代为发现和路由,微服务实现更简单,但流量都经过代理,一旦故障影响全部调用,流量大时代理易成瓶颈,通常还得做成集群,反引入新复杂度。发散:这是”胖客户端 vs 中心网关”在服务发现场景的体现——复杂度放调用方换无单点,收敛到中心节点换简单,但要额外担高可用成本。 进一步展开见服务发现的自理式与代理式两种权衡。
服务监控和服务跟踪常被混为一谈,实际针对完全不同粒度的问题。服务监控关注聚合统计——某接口调用总次数、平均响应时间、错误码分布,判断”系统整体是否健康”;服务跟踪关注单次请求的完整链路——某次调用的发起时间、经过的每个节点、每一跳的响应内容,回答”这一次请求为什么慢/为什么错”。因每次请求的完整链路数据量极大,跟踪无法用监控那套聚合方式实现,两者互补而非替代,需各自独立建设。 进一步展开见服务监控与服务跟踪解决的是宏观和微观两个不同问题。
微服务提倡用 HTTP/REST 或 RPC 统一接口协议,但只统一协议不够,还要连数据格式也一并统一。若只定协议不定格式,有的服务用 XML、有的用 JSON、字段命名也各不相同,每个微服务都要自己适配几十套规范——相当于把原本由 ESB 承担的转换工作,转嫁回了每个微服务自己头上。发散:”统一标准”不是终点,标准要下沉到能消除下游重复适配成本的粒度,否则表面统一、实际各自为战。 进一步展开见统一接口协议还不够,必须统一数据格式。
系统拆成微服务后,内部点对点互通没问题,外部系统却不该也这样接入:它只关心要什么能力,不需要、也没办法理解几十个微服务的职责和边界;而且外部直连每个服务,就意味着每个服务都要自己实现安全和权限,工作量大又重复。所以需要统一的 API 网关,作为所有外部接入的唯一入口,负责接入鉴权、权限控制、传输加密、请求路由和流量控制。发散:内部服务怎么拆,不应暴露给外部调用方。参见微服务基础设施的搭建顺序。 进一步展开见外部访问统一走网关。
37|微内核架构详解
微内核架构(插件化架构)把系统拆成两类组件:负责通用能力(模块加载、模块间通信)且长期稳定的核心系统,以及承载具体业务逻辑、可持续新增替换的插件模块。设计本质是判断系统里”哪些是稳定骨架,哪些是持续变化的业务细节”,把变化部分隔离到插件,让核心系统不必因业务扩展反复修改。发散:这和系统的涌现性——组成系统的三个条件是同一逻辑在扩展性维度的应用——核心系统是”规则”,插件是可替换的”个体”。 进一步展开见微内核架构的核心思想——把变化封装进插件。
微内核架构的核心系统要解决三件事:插件管理(知道有哪些插件、何时加载,靠注册表)、插件连接(插件按统一规范接入核心,如依赖注入、RPC)、插件通信(业务常需多插件协作,核心需提供类似总线的通信机制)。这三点和计算机硬件架构类似:CPU、内存、硬盘独立设计,靠主板总线通信。发散:任何插件化系统都可用这三点检验设计完整性——只能加载插件、没有统一连接规范或插件间无法协作,都不算合格微内核。 进一步展开见微内核的三个设计关键点。
规则引擎是微内核架构的具体实现,执行引擎相当于核心系统,规则相当于插件,常用于计费、促销这类规则多、组合爆炸且变化频繁的业务——都写成代码开发效率会跟不上变化速度。其关键价值是把业务逻辑与系统解耦,用规则描述替代代码,让业务人员也能配置,不必靠程序员改代码上线。发散:这是把”变化频率高但结构相似”的逻辑从编译时下放到运行时配置,和微内核架构的核心思想——把变化封装进插件同一策略的落地。 进一步展开见规则引擎是把业务逻辑从代码转移到可配置数据。
38|架构师应该如何判断技术演进的方向?
面对新技术,常见三种误判:潮流派认定新技术必然带来收益,容易在技术未成熟时踩坑;保守派认定稳定压倒一切,只用一种技术打天下,会错过技术带来的非线性收益(如同有了拖拉机还硬用牛车);跟风派靠竞品动向决定是否跟进,看似稳妥,却可能无风可跟,也可能误判——适合竞争对手的技术未必适合自己。三者共同问题是都从技术本身出发判断,而非从自身业务需求出发,本质是把手段当成了目的。 进一步展开见技术选型的三个常见误判。
判断技术演进方向不能只看技术潮流或竞品动态,而要看业务复杂度的变化:产品类业务(用户独占使用,靠功能取胜,如手机、浏览器)由技术创新直接推动发展;服务类业务(价值随用户规模增长,如微信、淘宝)则是业务规模扩大带来的复杂度倒逼技术演进,业务先行、技术随后。架构师需要识别当前业务复杂度主要来自功能叠加还是规模扩张,才能避免把资源投入对业务无用的技术升级上。 进一步展开见技术演进由业务复杂度变化驱动。
39|互联网技术演进的模式
互联网业务技术演进大致分四阶段:初创期求快,能买则买能开源就用;发展期经历堆功能→优化→架构拆分三步,优化顶不住才被迫重构;竞争期系统数量暴增,重复造轮子和交互复杂度飙升,靠平台化、服务化收敛;成熟期创新空间变小,转向局部”求精”优化。发散:该模型说明”过早架构”和”过晚架构”都是错的,关键看是否真到了优化顶不住的临界点。 进一步展开见互联网业务技术演进的四个阶段。
系统因功能堆积变得难维护时,团队通常在”优化现有系统”与”调整架构”(拆分子系统)间选择,多数情况优化派会赢,因为优化改动小、见效快,能最快解决当下竞争压力,而业务能否发展到需要架构调整的规模本是未知数。只有优化边际收益趋近于零(单机到物理上限)时,架构调整才被提上日程。发散:这解释了架构升级为何总”来得太晚”——不是没意识到问题,而是每个当下优化确是理性选择,直到量变积累到临界点。 进一步展开见优化派与架构派之争,通常优化派先赢。
用户规模增长对技术的影响不是线性的,而是跨过临界点后发生质变。以数据库为例,单台 MySQL 到瓶颈后,从一台变多台不是数量简单增加,而是从集中式变分布式存储的本质转变,引入分库分表等一整套新复杂度。可用性同理:1万用户宕机1小时损失很小,100万用户宕机10分钟造成显著损失。发散:评估”是否需要升级”不能只看规模是否够用,更要判断是否接近会引发质变的临界点,提前规划比事后补救成本低得多。 进一步展开见用户规模的量变会带来技术复杂度的质变。
40|互联网架构模板:”存储层”技术
存储层是否做成平台,取决于规模和重复程度。SQL 拆库后,先把拆分与组合做成中间件,大公司自研,中小公司用开源方案;集群多到资源浪费、维护成本高时,再建统一存储平台。NoSQL 自带集群,几十台时做平台收益不大,几千台时集中管理和提升利用率才划算。小文件存储各业务都需要,起步阶段就可以封装开源方案做成统一平台。发散:重复造轮子的成本超过平台成本时再平台化。参见互联网业务技术演进的四个阶段。 进一步展开见存储何时值得平台化。
原书依据 · 1 处
41|互联网架构模板:”开发层”和”服务层”技术
系统越来越多、由不同小组开发时,如果各组用不同的框架和技术,团队之间没有共同的技术语言,每类技术都要投入大量人力去精通,人员也难以在团队间流动。所以互联网公司通常会定一个大的技术方向,统一开发框架。选框架的总原则是优选成熟的,不盲目追新:成熟框架文档齐全,坑大多有人踩过,搜索就能解决问题;好招人,也更稳定。发散:统一框架首先是组织效率问题。参见选开源项目要优先看成熟度而非新特性。 进一步展开见统一框架优选成熟。
系统少时各自管理配置就行,系统多了问题就来了:上线和排障要多个系统配合查改配置,协调耗时;文本编辑没有校验,把 IP 里的数字 0 敲成字母 O,肉眼很难发现。配置中心的价值不只是集中操作、方便检查,还能用规则自动校验最小值、最大值、IP、URL 等格式;它也相当于配置备份,硬盘、主板坏了要重建环境时,程序包加配置就能快速恢复。发散:配置也该像代码一样校验和备份。参见微服务基础设施的搭建顺序。 进一步展开见配置中心不只是集中。
大 V 发微博不能等所有粉丝都收到通知才返回成功,这类业务必须异步。传统做法是生产者直接调用每个消费者的接口,子系统一多,调用关系就成了蜘蛛网。消息队列把它变成线性结构:生产和消费解耦,新增消费者时生产者不用改,高可用、高性能也由队列统一做,业务系统只管业务。基本功能好实现,难的是高性能、高可用、时序性和事务性。发散:解耦的同时要确认数据对顺序的要求。参见消息队列同步只适合无时序要求的数据。 进一步展开见消息队列化网为线。
42|互联网架构模板:”网络层”技术
多中心以多机房为前提,但难度高出一个等级。多机房的目标是灾备:机房故障时把业务切过去,允许中断十分钟甚至一小时,也可能丢失未同步的数据。多中心要求每个中心同时对外服务,业务能在中心间自动切换,故障后几乎不需要人工干预。难点在数据一致性和事务性,没有通用方案,淘宝的商品浏览、订单、支付都要各自设计多中心方案。发散:判断“多活”先问是否同时服务、能否自动切换。参见异地多活不是所有业务都值得做。 进一步展开见多中心比多机房高一级。
原书依据 · 1 处
43|互联网架构模板:”用户层”和”业务层”技术
用户管理要解决单点登录(多个子系统统一登录,成熟方案如 CAS)和授权登录(开放平台用 OAuth 2.0)。用户数常常千万级,QQ、微信、支付宝是亿级,但实现并不难:不同用户之间几乎没有业务关联,A 登录和 B 登录互不相关,所以一个简单的负载均衡架构就能应对。数据量大,难度不一定大。发散:评估复杂度先看数据之间有无关联和一致性要求。参见规模复杂度的本质是量变引起质变。 进一步展开见数据量大不等于复杂。
业务层的主要挑战是复杂度,应对手段是“拆”:电商从一个系统拆成商品和订单,再拆成更小的子系统。但子系统多到几百上千时,新问题出现了:没人说得清业务调用流程,出问题排查极难。这时不能再合回大系统,而是换一种“合”法:按高内聚、低耦合,把职责关联强的子系统合成虚拟业务域,通过网关对外统一呈现,类似 Facade 模式。发散:拆分到一定数量后,需要更高一层的分组来管理。参见可扩展架构的本质是”拆”。 进一步展开见子系统过多时按域再合。
44|互联网架构模板:”平台”技术
运维平台负责配置、部署、监控、应急四块,核心设计是“四化”。标准化是基础:统一配置、部署、监控指标和应急规范;某系统改不动,就由中间程序适配,如把 RESTful 性能接口转成日志上报。平台化把标准固化进平台;自动化把登录、上传、备份、启动等重复操作变成一键完成;可视化像汽车仪表盘一样,让应急时一眼看出状态。发散:没有标准,自动化无从谈起。参见阈值类参数只能靠压测和上线观察逐步调优。 进一步展开见运维平台四化以标准为基。
原书依据 · 1 处
45|架构重构内功心法第一式:有的放矢
面对一堆复杂的系统问题,架构重构不是要一次性解决所有问题,而是先识别出真正需要靠重构解决的核心问题,其余留给日常优化。判断方法:假设从0重新设计当前系统,新架构和现有架构是否有本质差异——差异不大说明只是实现细节,做优化即可;差异很大(如数据耦合方式、全局单点、功能边界完全不同)才说明架构本身有问题,需要重构。发散:这把是否重构从主观争论变成可推演的思想实验,避免只重构或只优化两种极端。 进一步展开见架构重构的判断标准——有的放矢。
相比从零设计新架构,架构重构对架构师能力要求更高:业务已上线不能停摆,重构须像”给飞行中的飞机换引擎”一样在不中断服务前提下完成;关联方众多牵一发动全身,各团队资源投入、节奏、敏感度不同,协调成本高;还受旧架构和历史数据强约束,技术选择空间小得多。发散:这说明重构本质是组织协调能力和技术判断力并重的工作,”说得动老板、镇得住同事”和”技术方案过硬”同等重要,纯技术强不足以做好重构。 进一步展开见架构重构比新设计架构更难的原因。
M 系统接手时问题一大堆:数据常出错、单机、性能差、界面丑、代码乱、业务数据和游戏数据耦合。重构只解决最后一个核心问题,把两类数据拆开,其余问题不是放任不管,而是在重构完成后另启优化项目。顺序很关键:解耦后优化基本在团队内部完成,很快;不先解耦,每次优化都要拉一堆关联团队讨论方案,效率极低。发散:重构的价值之一是给后续优化松绑。参见架构重构的判断标准——有的放矢。 进一步展开见先重构解耦再做优化。
46|架构重构内功心法第二式:合纵连横
向非技术干系人推动架构重构时,直接说”可扩展性差”“可用性只有3个9”这类术语,对方往往无法建立直观认知。有效做法是把术语翻译成可感知的事实数据——把”可扩展性差”换成”一版设计花2周,开发只要2天”;把”可用性差”换成”故障次数、每次时长和用户数,与同类系统对比”。发散:此原则可推广到任何专业术语和外行沟通场景——沟通是否有效,标准不是”我说清楚没有”,而是”对方能不能据此决策”。 进一步展开见跟非技术人员沟通重构,要把术语换成数据事实。
推动其他团队配合重构时,常见阻力是”这对我有什么好处”。把问题拔高到”为公司大局着想”效果很差,标准模糊还可能真对某组不利。更有效的策略是换位思考、找对方具体收益——如要求配合方改接口调用,短期改动大,但讲清楚能省掉长期排查痛点,对方就会乐意配合。发散:这是把”说服”重新定义为”帮对方算清一笔账”,而非诉诸道德压力。 进一步展开见跨团队推动重构靠换位思考而非道德绑架。
推动配合方重构时,常听到“这部分我们现在不急”。即使是借口,也说明双方还没达成一致,可按“对你有什么好处”再沟通。如果对方确实有更重要的业务,勉强不好:大多数重构是前瞻性规划,不是火烧眉毛,等一等可以,但必须约定明确的启动时间,如“3 个月后”“6 月份”,不能接受“以后”“等不忙的时候”。方案上也可先做与对方无关的部分。发散:可以等,但时间点不能空。参见跨团队推动重构靠换位思考而非道德绑架。 进一步展开见对方不急要约定启动时间。
47|架构重构内功心法第三式:运筹帷幄
识别出核心复杂度问题后,往往发现直接动手重构的条件不具备——还需先做准备或解决前置问题。有效做法是把问题按优先级、性质、难度划分成若干阶段,每阶段只聚焦一类目标集中攻克,而非同时并行或随机挑一个解决。好处:每阶段有明确可见成果,能建立信心;工作量可控,能和业务并行;单次改动范围小,风险低。发散:这本质是把难驾驭的大项目转化为一系列有明确验收标准的小项目,避免”做了大半年却看不出成果”的困境。 进一步展开见分段实施是大型重构落地的关键策略。
直觉上应先攻克最难的核心问题,但实际执行”先易后难”效果更好:难题往往依赖简单问题先解决作为前提;难题耗时长、迟迟看不到成果会打击团队士气和外部信任;项目启动时的分析可能有遗漏,随简单问题逐步解决,原本”很难”的问题可能变容易,或暴露更准确的问题全貌。发散:这与架构重构比新设计架构更难的原因呼应——重构是资源受限、多方协调的工作,先易后难本质是用小胜利换取继续投入的合法性和信心。 进一步展开见重构应先易后难而非擒贼先擒王。
划分重构阶段后,各阶段耗时可能差别很大,有的 1 个月,有的 6 个月。作者的经验是按固定节奏推进:每个阶段最少 1 个月,最长不超过 3 个月,评估超过 3 个月就继续拆。阶段内再分任务子集,小的可以并行,大的当作独立里程碑。反面是一次随便挑一个问题来做:不分优先级、不归类、只挑软柿子,做了半年看似很忙,整体却没进展。发散:节奏固定,外部才看得到进展。参见分段实施是大型重构落地的关键策略。 进一步展开见重构阶段一到三个月。
系统三天两头出故障时,不能直接开始架构重构。S 系统的做法是先救火、后优化、再重构:先扩容并做 Nginx 一键切换,止住资源不足导致的故障;再解决性能等明显的可用性问题;最后才把单点数据库改成多中心。X 系统同样把服务化放在第三阶段。跳过前两步直接重构,降级、接入服务中心这些事都会挤进重构方案,让方案失去焦点、异常复杂。发散:重构前先让系统稳下来。参见分段实施是大型重构落地的关键策略。 进一步展开见先救火后优化再重构。
48|再谈开源项目:如何选择、使用以及二次开发?
面对功能相似的开源项目,容易陷入”哪个更优秀”的焦虑,但该问的是”能否满足当前业务需求”。某社交业务引入 Tokyo Tyrant 想替代 Memcached+MySQL,结果两套存储并存,还因复杂功能带来更多 bug,而原组合本就够用。发散:这是”合适原则”与”演化原则”在选型上的应用——为未来需求过度选型本身就是不必要的复杂度。 进一步展开见选开源项目要看是否满足业务而非是否够优秀。
新开源项目常标榜性能更高功能更强,但往往隐藏更不成熟的代价——再厉害的开发者写的项目也会有bug,生产环境风险是宕机、数据损坏甚至丢失且无法恢复。判断成熟度可看版本号、使用该项目的公司数量规模、社区活跃度。容易被忽视的是运维能力——出问题能否靠日志定位、有无管理工具和自愈机制,直接决定出事时能否快速止损。发散:选型表常只有性能和功能两栏,但成熟度和运维能力这两个维度,恰恰决定故障后果的严重程度。 进一步展开见选开源项目要优先看成熟度而非新特性。
使用开源项目不能只看几个Demo就上线(有团队不懂Elasticsearch倒排索引原理就用默认配置上线,异常节点剔除太慢拖垮整站)。正确路径分三步:先研究文档、核对配置、做性能与故障测试摸清边界;再小心灰度,先用在非核心业务积累经验;最后对存储类组件保留应急方案,如用成熟MySQL为Redis做备份。发散:三步骤本质是把”信任一个新组件”分解成风险递减的检查点,而非一次性押注。 进一步展开见使用开源项目要经历研究-灰度-留后路三步。
发现开源项目不满足需求时,直接大改源码看似直接,实际代价很大——投入人力多,且改动越大越难跟上原项目后续版本演进。更好做法是保持原系统纯洁,通过外围辅助系统扩展能力,比如不改Redis本身而加一层proxy实现集群功能。若无合适现成方案,也可选择重新造一个贴合业务的轮子——这不是否定不重复造轮子,而是承认没有哪个开源项目为你的业务量身定制,选开源还是自研本质是成本收益权衡。 进一步展开见开源项目二次开发的原则——改外围而非改内核。
原书依据 · 10 处
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
- 48|再谈开源项目:如何选择、使用以及二次开发? · 查看原书依据
49|谈谈App架构的演进
App架构经历了网页壳、原生开发、混合方案、组件化容器化四个阶段的演进,每步都对应业务主要复杂度的切换,而非单纯技术潮流驱动。早期方向不明,选成本最低的方案利于试错;成为主流后体验差距成主要矛盾,转向原生开发;竞争加剧后迭代速度重新重要但原生效率低,转向混合方案,只求平衡不求同时解决。发散:架构没有终局最优解,只有匹配当下复杂度的阶段性最优解。 进一步展开见App架构演进是复杂度主导因素轮转的结果。
当超级App承载几十上百个子业务且各由独立团队开发时,可扩展性成为主要复杂度。App与后端拆分本质不同:后端可拆成上千个独立微服务、各用不同技术栈;App对用户始终是同一整体,须共用同一套技术栈,不能照搬”拆服务”思路,而要用组件化/容器化——拆成统一规范、可独立开发测试的组件,靠消息通信隔离。大厂用得多,中小公司通常不一定需要。发散:同一个”拆”的思想落到不同物理形态时须重新推导。 进一步展开见组件化容器化是可扩展性复杂度到临界规模才需要的架构。
50|架构实战:架构设计文档模板
架构文档的需求分析可按 5W1H8C 展开。5W 指干系人、使用时间、产出、应用环境、要解决的问题;1H 是关键业务流程,不是设计方案,复杂系统可单独写用例文档;8C 是八类约束:性能、成本、时间、可靠性、安全性、合规性、技术性、兼容性。这些约束只是利益方的诉求,不一定准确,分析后发现没必要或代价太高可以调整。发散:约束本身也要论证。参见用峰值倍数预留性能余量的实战方法。 进一步展开见需求分析用5W1H8C。
架构设计文档描述选定方案的细化:总体方案与架构图、核心流程、详细设计(高可用、高性能、可扩展、安全等)、部署方案和演进规划。不涉及的设计点也要写“无”,表示考虑过但不需要;完全不写会被当成遗漏。已知不处理的场景也要写明,如 SDK 缓存的消息遇重启会丢失,由业务方兜底。需求一次做完周期太长时,按期拆分。发散:写明不做什么,评审才不反复追问。参见避免”PPT架构师”陷阱——细节可能推翻整个方案。 进一步展开见不涉及的设计也写无。
特别放送|架构师成长之路 第4期
架构设计原则(如”合适原则”)无法给出放之四海而皆准的标准,”合适”依赖业务、团队、技术实力等具体情境,最终要靠架构师的”内功”判断。内功拆成三层:判断力(准确看出系统复杂度所在)、执行力(用合适方案解决已识别问题)、创新力(创造前所未有的新方案)。发散:这说明”知道原则”和”会用原则”之间隔着内功训练,读懂方法论只是第一步,真正能力体现在没有标准答案时能做出准确判断。 进一步展开见架构师的三种内功——判断力、执行力、创新力。
判断力、执行力、创新力这类”内功”来自三个源头:经验(亲手设计、踩坑、填坑积累的体感)、视野(掌握足够多知识,站在他人经验之上)、思考(把经验和视野”消化”成判断模式)。经验和视野是外部输入,思考才是把输入转化为可迁移能力的关键,也是新想法和灵感的来源。发散:这套框架不局限于技术领域,任何专业能力精进本质都是”多经历、多参照、多消化”的循环,只囤积经验或只看书不提炼,能力很难沉淀。 进一步展开见内功的来源——经验、视野、思考三者缺一不可。
技术成长路径大致是:工程师(积累基础技能)→高级工程师(积累设计经验,从知道How到知道Why)→技术专家(拓展技术宽度)→初级架构师(形成方法论)→中级架构师(补齐理论深度)→高级架构师(创造新架构模式)。作者提醒:在正确的阶段采取错误的方法,可能事倍功半;如CAP等理论,到中级架构师面对高复杂度系统时才真正用得上、理解得透。发散:理论常要遇到匹配的问题才能内化。 进一步展开见从工程师到架构师的六个阶段,每阶段成长重点不同。
观察谷歌大数据论文、Storm、Docker等开创性架构的诞生背景,作者归纳了四个可能的背景条件:足够复杂的业务场景(复杂度倒逼突破)、足够强的技术团队(能落地想法)、不满足现状的态度(虚拟机太重才有Docker)、尊重技术价值的文化(允许不成熟探索,不被短期KPI否决)。作者也坦言创造性更多靠天分或灵感,难以教会。发散:环境条件只是土壤,不保证结果。 进一步展开见创造性架构诞生的四个背景条件。
原书依据 · 14 处
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
- 特别放送|架构师成长之路 第4期 · 查看原书依据
结束语|坚持,成就你的技术梦想
把学到的东西讲给别人听、写成文章,是检验和加深理解的有效手段——很多自认为已掌握的知识,一旦要讲给别人听或写成文字,会发现还有很多细节没想清楚,需重新研究。输出不需追求篇幅或阅读量,哪怕只是一段话,只要持续做,就能推动自己把知识吃透,同时锻炼表达和临场反应能力。发散:这本质是费曼学习法的应用——”能否给外行讲清楚”是检验自己是否真懂的最诚实标准,比自我感觉”学会了”更可靠。 进一步展开见输出是最好的学习方法。
作者把从工程师成长为架构师这类能力提升,类比为他提到的”一万小时理论”——每天投入约3小时、坚持10年才达到量级(作者称之为著名定律,并认为技术成长基本遵循它;卡片注:这是经验性说法,非严格论证)。对大多数人而言,理论、方法、技巧往往都能知道,真正的瓶颈是能否长期坚持投入;所谓成长,就是不断学习、踩坑、填坑的过程。 进一步展开见技术成长的关键瓶颈是时间投入而非知识本身。
跨章综合
性能与可用性都可能采用冗余,却有不同目的:前者增加处理能力,后者面对部分组件失效仍提供服务。因此,读写分离、分片与副本不能仅按机器数量看成同一方案。缓存和消息队列改变请求在何时、何处被处理,也改变一致性、积压与恢复的责任。
分层、服务拆分与重构进一步把变化隔离到边界内。边界越多,跨边界通信和部署治理越值得关注;这与前面的简单及演化原则相呼应:应从主要问题出发逐步获得收益,而不是为尚未发生的规模无限提前建设。具体用户容量、产品版本与技术生态保留出版时语境,不作为当前运行保证。
发散与实践
读者延伸:实践计划及其准备材料保留在本书ideas目录。已有历史记录与本轮计划区分,尚未执行的观察、测量或验证不作为实际结果;涉及实现深读的项目与版本单独记录核验入口。