此笔记位置已失效,请从目录继续阅读。
全书导读
本书把企业应用架构看成一项连接需求、设计、代码与运行的工作。它先用逻辑、数据、开发、运行、物理五个视图检查同一个系统,再把设计带到分布式、微服务和云端部署,最后转向数据平台。五个视图分别回答业务怎样组织、数据怎样表达和保存、开发如何协作、运行需要什么质量、机器怎样部署。它们需要彼此约束,不能靠列出五套图就自动保持一致。
第一部分适合建立设计时要问的问题,第二部分适合观察容量增长和团队变大带来的变化,第三部分适合了解数据从采集到应用之间的职责。书中的 Spring Cloud、Kubernetes、Hadoop 等代码和配置来自其写作时代;以下保留能解释问题的机制,具体参数和产品限制只按书内版本情境理解。代码中因 EPUB 标签破损而缺失的内容没有补造为可运行源码。
全书主线
设计从业务任务和质量目标出发。逻辑架构把需求落实到领域对象及其关系,数据架构继续决定这些对象怎样落到存储中;开发架构再整理模块、接口、层次与共用能力。运行和物理架构把响应时间、吞吐、可用性等目标落实到连接、缓存、线程、节点及故障处理上。前一个视图的选择会影响后一个视图的成本,所以设计需要往返检查。
当单个系统的能力或团队协作遇到瓶颈,增加副本、拆分数据和拆分服务是不同的选择。副本可能分摊计算,却留下共享存储瓶颈;服务拆分可能减少团队互相等待,却带来远程通信和跨边界一致性。云端部署让这些拆分的制品可以发布、观察和扩缩。数据平台则把视角放到业务之后产生的数据:先收集和保存,再统一口径、整理质量,最终服务查询、分析与业务应用。
前言
本书要解决的不是缺少某个框架的用法,而是架构工作杂散、遗漏风险、难以指导协作的问题。作者希望把设计过程整理成可落地的方法。全书依次介绍五视图方法论、分布式与微服务实践、大数据中台,阅读时可以把后一部分看作前面设计思想在不同系统条件下的应用。前言还说明目标读者、书名来历、勘误和资料位置;这些写作背景不另拆知识卡。
第一部分 架构设计方法论
架构师的成长在本部分被描述为认知和实践的共同变化。起初可能不知道自身局限,碰壁后承认不懂,再通过学习与项目实践逐步建立能力,最终从具体经验中提炼可迁移的方法。图中的自信曲线是帮助自省的经验性示意,不能用于诊断他人或声称每个人必经同样阶段。认识“道”仍要以具体的“术”和实践为基础,谦逊、接受不同意见和主动试用所学才让经验持续增长。
相关卡片进一步展开本节的具体判断与机制:认知成长须经过实践;抽象建立在具体积累上。
第1章 架构师的修炼
第一章从软件规模扩大、业务复杂及长期维护的要求引出架构师角色。首版能完成不代表系统可以长期演化,参与者增加也要求更明确的协调。后续先界定软件架构,再讨论职责和思维方式,最后以五视图为整个方法论建立路线。
1.1 何为软件架构
架构首先规划系统各部分怎样协调,同时提前面对风险。小系统中局部经验可能足够,规模增大后,性能、安全、部署以及团队协作等问题会彼此影响。建筑类比强调提前考察条件的意义,不能等问题暴露才想如何处理。因而风险识别贯穿设计各环节,应先辨认本项目风险,再提出针对方案。
相关卡片进一步展开本节的具体判断与机制:架构统筹整体并预防风险。
原书依据 · 1 处
1.1.1 常见研发场景
个人独立完成或把模块分别交给不同人,都可能获得很快的初期速度。其代价是理解留在个人脑中,共性功能重复实现,人员更替或同一规则改变时很难保持一致。系统规模增长后,需要有人从全局识别共性技术问题和模块关系,形成整体规范。这里的架构价值包括可维护性,不仅是开发速度。
相关卡片进一步展开本节的具体判断与机制:独立快写会积累维护负担。
原书依据 · 1 处
1.1.2 准确理解软件架构
软件架构从宏观上描述系统的组成与特性,不能只理解成分层骨架。逻辑视图确认用户和功能,数据视图抓业务结构及操作,开发视图规范代码与协作,运行视图处理性能、安全等非功能要求,物理视图落实部署设备与网络。五者处理不同问题,互相提供约束;它们的目的是避免关键维度遗漏,而不是用视图数量证明质量。
相关卡片进一步展开本节的具体判断与机制:五视图覆盖不同设计问题。
原书依据 · 1 处
1.2 如何成为合格的架构师
合格架构师既要能从整体思考,也要把整体判断逐步细化成可实施的方案。直接讨论怎么编码可能看不见系统目标,只停留在抽象概念又不能交付。由宏观到落地是一条连续工作路径,后面的职责和思维方法用来支持这条路径。
相关卡片进一步展开本节的具体判断与机制:宏观分析仍须逐步落地。
原书依据 · 1 处
1.2.1 架构师的职责
架构师处在业务需求与技术实现之间,要把两边的认识连接起来。他还要统筹设计规范和解决共性技术难题;项目经理则更多协调人员与进度。不同企业岗位可以侧重客户方案、系统全流程、平台或战略,因此理解职责比理解头衔更重要。技术攻关也需要团队,架构师不是必须独自掌握全部细节。
相关卡片进一步展开本节的具体判断与机制:架构师连接业务与研发;项目管理与设计统筹分工;架构角色按责任侧重区分。
1.2.2 架构师的思维模式
宏观思维帮助先看整体,抽象思维帮助从多个模块中发现可统一处理的问题。但抽象过多或不足都可能妨碍设计,需用实例化需求与分而治之校正。前者把方案放回真实场景检验,后者按相对独立的问题分解认知负担。平台建设也先找到要服务的系统和功能,再沉淀共性,不能先做一批想象出来的能力。
相关卡片进一步展开本节的具体判断与机制:共性问题沉淀为平台;实例化需求校正抽象;分而治之降低认知负担。
1.3 如何成为顶级的架构师
顶级架构师在本书中以能否把技术转换为用户价值来衡量。技术知识只有在解决实际痛点、形成可交付功能时才发挥作用。后续两节因此分别讨论理解业务与技术落地,再延伸到前瞻和战略思考。这是一种能力成长方向,不能把职称直接等同于这种能力。
相关卡片进一步展开本节的具体判断与机制:技术价值要落到业务结果。
原书依据 · 1 处
1.3.1 能够将业务转换为技术
把业务转成技术方案,先要理解客户的工作流程与痛点,不能简单复刻给定需求。作者强调在项目中主动交流、研究相关领域并反复应用,逐步累积业务认识。这段以实践经验说明学习路径,不应反过来断言读业务资料无用,或用从业年限替代理解程度。
相关卡片进一步展开本节的具体判断与机制:在项目中积累业务理解。
原书依据 · 1 处
1.3.2 能合理利用技术支撑业务
技术落地需要较广的知识面和具体使用时的深入验证。架构师不必先精通所有工具,但要知道可选手段,才能提出合理方案。宏大愿景还应拆成短期可交付目标,让价值逐步出现;书中的项目周期和人工智能建设时长属于写作时的经验例子,不能当成普遍预测。
相关卡片进一步展开本节的具体判断与机制:广知识面配合按需深学;长期愿景拆成近期价值。
1.3.3 具备前瞻思维和战略思维
前瞻思维观察产业和技术变化,战略思维再判断当前工作能否构建未来能力。两者的关系是先认识可能方向,再有选择地投入,而不是追逐热点。银行风控案例说明可以从一次交付识别潜在共性,沉淀分析和共享能力;但仍要验证其他客户是否有相似需求。文中各年份的技术热点只作历史背景。
相关卡片进一步展开本节的具体判断与机制:前瞻观察与投入决策分开;日常交付沉淀战略能力。
1.4 “5视图法”架构设计
五视图法用不同问题维度分解复杂设计,减轻一次考虑全部内容的负担。通常先从逻辑需求起步,再细化数据与开发设计,运行要求最终落实到物理设备。这个次序并非严格串行:各视图可以错峰开始、并行细化、互相反馈。数据设计由粗入细,开发设计再归纳共性,使团队能按一致规范开展工作。
相关卡片进一步展开本节的具体判断与机制:五视图错峰并行推进。
原书依据 · 1 处
第2章 逻辑架构设计
逻辑架构把原始诉求转换为系统实际提供的功能。先读目录和建设目标建立整体认识,再分析子系统、流程、界面和接口;细化完成后,还要归纳哪些模块边界不合理、哪些功能应合并。建设目标也为优先级和分期提供依据。需求工作由架构师和分析团队协作完成,不必由一人逐项包办,也不能不加判断照抄客户划分。
相关卡片进一步展开本节的具体判断与机制:逻辑架构由粗到细再归纳;按建设目标分期交付。
2.1 用例模型分析
用例模型是本章从整体功能向细节分析的入口。这里先指出它的用途:帮助回答复杂系统究竟包含哪些功能。具体元素与边界在下一节展开,本节属于方法引入,没有另一个独立机制需要重复成卡。
2.1.1 用例模型
用例模型将系统当成黑盒,描述它为哪些外部角色或触发者提供什么能力。用例是功能,参与者是系统外的使用或触发来源,系统边界界定承诺范围。角色之外,时间和外部系统也可作为分析对象。确定边界有助于管理变更与工作量;功能怎样由内部对象调用完成,留给后续设计,不在用例图里混画。
相关卡片进一步展开本节的具体判断与机制:用例模型描绘黑盒能力;参与者不限于操作人员;系统边界约束交付范围。
2.1.2 由粗到细的用例分析
用例分析先在第0层概括模块与主要参与者,再逐层展开每个模块。包含用于抽取组成或可复用子流程,扩展用于可选功能,继承表示可替代的专门化。它们都不等于流程先后。医疗平台例子仅用来演示建模,不构成诊疗方法或平台效果的验证;角色继承表达能力范围,不是人员汇报顺序。
相关卡片进一步展开本节的具体判断与机制:分层用例逐步展开细节;包含扩展继承不能混用。
2.1.3 用例描述
用例图之后需要用例描述,明确功能的实际含义。操作型用例重流程,报表重筛选与计算,图表重内容与数据频率,所以表格要按类型突出重点。触发事件说明什么启动,前置条件说明启动前状态,后置条件说明完成后的结果。全局非功能要求与某个用例特有要求分开记录。模板能帮助查漏,填满模板本身不能保证业务认识已经正确。
相关卡片进一步展开本节的具体判断与机制:用例描述按类型突出重点;触发条件与前后置条件。
2.1.4 事件流
事件流用基流描述顺利完成的顺序,用分支流表示分出后返回主流程的可选路径,用替代流表示业务异常下替代后续步骤的路径。分支需标出源步骤及触发条件。流程过长时,可引用单独描述的子用例来减少重复。表中还对比报表和图表用例:它们的重点是筛选、字段、公式、来源和展示频率,不应硬套操作步骤。
相关卡片进一步展开本节的具体判断与机制:基流分支流与替代流;复杂事件流抽取子用例。
2.1.5 业务需求列表
业务需求列表保存用户原始的业务意图,作为跨角色、跨版本的追踪基线。它不等于分析者最终设计,也不应把客户设想的某种界面当作唯一验收基石。每次变更先记录新意图,再分析设计,完成后回到列表检查是否满足。这样才能分清目标改变、理解修正和实现手段变化,减少需求被遗忘或变味。
相关卡片进一步展开本节的具体判断与机制:原始需求列表守住意图;变更先登记再验证设计。
2.1.6 需求规格说明书
需求规格说明把业务与技术讨论后达成的可行共识保存下来,用于设计、测试、验收和后续交接。轻文档仍要保留这些必要约定。模板从目的、背景、目标和术语开始,再描述整体用例、角色、功能、非功能和外部接口。作者倾向共享一套说明以支持统一语言;具体组织仍可按使用者和系统规模拆文档。
相关卡片进一步展开本节的具体判断与机制:规格说明记录可行共识;轻文档保留必要约定。
2.2 界面原型分析
快速原型把抽象需求变成可操作的界面和关键流程,使用户能够更具体地指出问题。原型为确认需求而做,不必把性能、可靠性与全部细节完成;做到什么程度应由当前要验证的问题决定。展示前需明确模拟与正式产品的边界,否则快速做出界面可能被误解为全部建设已完成。前台原型和后台用例相互补充。
相关卡片进一步展开本节的具体判断与机制:快速原型用于需求确认;原型展示前说明交付边界。
2.3 领域模型分析
本节引入领域驱动设计,说明软件规模和维护周期扩大后,重写代价上升,需要更好地控制变更成本。它为后续退化根因、结构重构与领域建模建立背景。原文对行业阶段的概括只视为写作背景,不推广为所有团队的历史。相关作品可登记为引用,后面实际方法另成知识卡。
2.3.1 软件退化的根源
付款功能从简单求和变成容纳折扣、会员和多种支付方式,说明需求复杂化会改变合适的程序结构。若只往原payoff方法里加代码,复杂度持续集中,后续变更越来越难。作者把结构未随业务复杂度调整视为退化关键,因此应在变更时重新识别职责和扩展点。这里没有并发或重复扣款的具体事故根因,不额外编造资金案例。
相关卡片进一步展开本节的具体判断与机制:设计退化源于结构未适应。
原书依据 · 1 处
2.3.2 两顶帽子的设计方式
两顶帽子先做不增加行为的重构,再加入新功能,使结构调整与行为变化可分别检验。折扣示例先从旧行为中抽出策略,再加其他折扣。开放-封闭原则约束新增功能对已有稳定行为的影响,并非禁止一切修改。扩展点应围绕已知需要建立,避免为猜想的未来功能引入大量没有价值的复杂性。
相关卡片进一步展开本节的具体判断与机制:两顶帽子分开重构与新增;开放封闭约束扩展影响。
2.3.3 领域驱动的设计思想
领域驱动的基本过程,是先把业务事物、行为和关系表达成模型,再用模型指导代码。订单、明细、商品、用户和地址的关系提供具体例子。模型把认识留在可讨论的结构中,业务变化时先更新认识,再更新实现;它是选定范围的抽象,不是现实世界的无限复制。
相关卡片进一步展开本节的具体判断与机制:领域模型连接事物行为关系。
原书依据 · 1 处
2.3.4 领域驱动的变更设计
单一职责在这里按变化原因判断:如果付款变化与折扣变化并不总是相伴,就应考虑把它们分开。折扣策略分离各规则,VIP分离会员能力与用户档案,支付适配器分离内部支付契约与外部渠道。它们共同减少一次变更需要改动的范围。原图中的接口和方法只保留可实际确认的部分;外部接口稳定性仍是设计依赖。
相关卡片进一步展开本节的具体判断与机制:单一职责按变化原因划分;折扣策略隔离变化;会员能力与用户档案分离;支付适配器屏蔽外部变化。
2.3.5 领域驱动设计总结
统一语言是共同理解业务,而不只是统一变量拼写。团队主动理解流程、痛点和需求动机,将认识表达成领域模型,再指导数据库和程序设计。理解会逐渐加深,因此仍可能主动发起合理变更。减少无谓变更与拒绝所有变更不同,模型的作用是让演化有明确依据。
相关卡片进一步展开本节的具体判断与机制:统一语言形成共同理解。
原书依据 · 1 处
2.4 技术可行性分析
技术可行性需要在需求确认时就参与,而不是全部交给后期开发承担。遇到不可行的实现设想,先理解与之相关的业务,再追问它要解决的痛点,最后围绕相同目标提出可行替代方案。这个过程依靠业务和技术双方讨论,不是架构师独自宣布用户目标无效;可信度来自解释清楚如何解决问题。
相关卡片进一步展开本节的具体判断与机制:技术不可行时回到业务动机。
原书依据 · 1 处
第3章 数据架构设计
数据架构抓住功能性需求中的数据结构和业务操作,以此继续细化逻辑架构。这里只处理足以指导后续设计的主要问题,不能把架构阶段等同于一次写完全部程序。知道表字段不等于理解功能,还要明白数据如何被处理、由谁维护。
相关卡片进一步展开本节的具体判断与机制:数据架构抓住结构与操作。
原书依据 · 1 处
3.1 数据架构的设计过程
领域模型同时表达状态与行为,可以分别指导持久化和程序,避免先梳理表结构、再从头梳理业务逻辑的割裂。数据库因此成为领域状态保存的一种实现。技术替换能否隔离在访问层,仍取决于查询与一致性语义;不能保证换库时业务代码天然不变。分析人员与开发人员需要共同理解模型,而不是顺序扔文档。
相关卡片进一步展开本节的具体判断与机制:领域模型同时指导存储与程序;对象持久化与数据库实现分开。
3.2 基于领域的数据库设计
把领域模型映射到关系数据库,除了类与表、属性与字段,还要把对象间基数和约束转成数据关系。申辩申请、明细、过错行为与过错类型的例子为后面关系映射提供语境。对象名称相近不代表它们生命周期一致,设计要保留业务约束,而不是机械生成表。
相关卡片进一步展开本节的具体判断与机制:类到表映射保留业务关系。
原书依据 · 1 处
3.2.1 传统的4种关系
一对一要同时表达引用与唯一性,多对一常在多侧引用,一对多的子表指向主表,多对多用关联表保存双方关系。对象侧则通过引用或集合表达可访问关系。文中Sbsqd代码展示集合访问,泛型在EPUB标签处理中不完整,不据此猜补。先分页再补关联信息是一种读策略,是否优于连接需按过滤排序语义、访问次数与负载判断。
相关卡片进一步展开本节的具体判断与机制:基数约束决定关系映射;先分页再补关联信息。
3.2.2 继承关系
继承在关系表中的常见映射有三种:全层次一表、每个具体子类一表、父类与子类分表。它们分别在统一检索、类型专用查询、公共字段查询与明细关联上有不同代价。选择应由实际查询和字段形态驱动。原文将空字段存储成本作全称描述过强,笔记仅保留稀疏结构和查询复杂度的权衡。
相关卡片进一步展开本节的具体判断与机制:继承映射按查询方式取舍。
3.2.3 NoSQL数据库的设计
本节用文档式发票说明读取前预组合数据:嵌入购销方对象和明细数组,让常用查询少做关联。另一例让不同类型记录拥有不同字段。它们体现特定文档模型的灵活性,不能推广成所有NoSQL都这样存储、空字段一概不占空间或所有业务都应宽表。采用冗余还要评估更新、一致性和记录大小,本节没有给出完整运行保证。
相关卡片进一步展开本节的具体判断与机制:文档嵌入减少读取时组合;异构记录保留类型差异。
3.3 基于领域的程序设计
基于领域的程序设计在架构阶段先识别主要服务、实体和关键行为流程,为后续详细开发提供方向。领域模型在这里从业务认识转成程序职责,但并不要求提前写完全部实现。后面通过服务、实体、值对象、聚合、仓库和工厂逐步展开这些职责。
相关卡片进一步展开本节的具体判断与机制:架构阶段程序设计抓顶层。
原书依据 · 1 处
3.3.1 服务、实体与值对象
服务承接对象之外或应用入口的操作,实体用身份持续识别个体,值对象则需要结合业务关心的是身份还是取值来辨认。书中的菜单例子强调同一名称可以因需求而采用不同建模方式。把城市或职位说成永不变化,以及把一条共享目录记录直接等同值对象,容易混淆语义;本笔记保留业务语境判断,不把这些例子当成通用定义。
相关卡片进一步展开本节的具体判断与机制:服务协调对象之外的操作;实体依靠身份跨时间识别;值对象须按业务语境辨认。
3.3.2 贫血模型与充血模型
贫血与充血模型的区别在业务行为放在哪:Service还是领域对象。VIP示例用对象多态减少外部类型分支;另一方面,完整对象的创建、装配、事务和协作也会增加实现成本。作者建议按需求混合使用,把需要封装或多态的规则放进对象,把合适的跨步骤流程交给服务。流水线传递对象并不自动消除状态和顺序依赖;编码转换则可集中在边界,避免上层到处识别底层表示。
相关卡片进一步展开本节的具体判断与机制:贫血充血区别逻辑归属;多态对象减少类型分支;模型取舍包含实现与协作成本;流水线流程与对象规则分工;编码转换封装在对象边界。
3.3.3 聚合
聚合把需要作为整体维护的对象组合起来,通过根对象统一修改入口。订单与订单明细是示例,用户则不因为被订单引用而属于订单生命周期。共同生命周期是辅助问题,不是从一对多表关系直接推出聚合。修改规则和读取需求还应分开:销量分析不必逐个装配完整订单;本书据此主张为统计使用合适的查询路径。
相关卡片进一步展开本节的具体判断与机制:聚合根统一修改入口;共同生命周期辅助识别聚合;聚合修改与统计读取分开;订单集合表达组成关系。
3.3.4 仓库与工厂
Repository封装领域对象或聚合的存取,DAO负责更底层的数据访问,工厂负责复杂创建和装配。订单保存协调订单与明细的事务,查询时再按需要补上用户等引用。缓存是书中给出的可选内部实现,不是仓库必备功能,失效策略需另外设计。分页后装配限制读取范围,但也要控制补全成本;不能把不用join当作天然正确或更快的证明。
相关卡片进一步展开本节的具体判断与机制:仓库封装聚合存取;领域工厂负责创建和装配;仓库缓存是可选实现策略;对象关联明确拥有与引用。
3.3.5 问题域和限界上下文
系统问题空间可以拆成子域,在局部范围内建立模型,避免巨图无法理解。限界上下文用于明确模型与职责边界,上下文之间通过受控接口协作。原文把它简化为一张模型图,并倾向映射一个微服务,笔记保留边界与协作机制,避免机械一一对应。单体先有逻辑边界,独立部署与数据权限可再加强物理边界,两者并不是同一个概念。
相关卡片进一步展开本节的具体判断与机制:子域切分复杂问题空间;限界上下文明确模型边界;上下文调用依赖稳定接口;逻辑边界可演进为物理边界。
第4章 开发架构设计
开发架构把前面逐步细化的业务和数据设计重新归纳:哪些技术能力可以共用,哪些边界需要统一。它的产出面向多团队协作,覆盖系统规划、接口、分层、技术选型及代码规范,给后面的运行质量设计提供结构基础。
相关卡片进一步展开本节的具体判断与机制:开发架构归纳技术共性。
原书依据 · 1 处
4.1 系统规划与接口定义
系统规划先从整体定义子系统职责,再通过接口把各团队的独立工作连接起来。划分不是把已有系统简单分开:每块必须有明确范围,彼此之间的调用、数据与责任也要在开工前得到说明。
相关卡片进一步展开本节的具体判断与机制:先定边界再分配团队。
原书依据 · 1 处
4.1.1 系统规划
医疗平台示例从诊疗模型、云端服务、诊所管理和购物服务四部分安排职责,再将医生、患者、诊所和平台管理区分为不同参与端。医生端独立于某个诊所,说明系统边界可以服务跨机构角色;这些是书中业务规划示例,不代表医疗判断或效果已获验证。
相关卡片进一步展开本节的具体判断与机制:按角色解开系统边界。
原书依据 · 1 处
4.1.2 接口定义
接口定义沿患者预约、挂号、接诊、辅助诊疗、化验和取药的流程展开。流程先暴露跨子系统协作点,团队再确认技术协议。诊疗能力有多个接入来源,因此外部规范与内部模型接口需要分别定义,不能把某个界面路径当作所有调用者的契约。
相关卡片进一步展开本节的具体判断与机制:业务流程引出接口契约;多来源接入需要开放契约。
4.2 系统分层与整洁架构
子系统纵向拆开后,还需要横向统一开发方式,使它们能够组成一个系统。统一约束包括分层、技术路线、模块组织和编码规范;后续各小节分别说明这些约束如何限制变化影响,而非要求所有模块毫无差别。
4.2.1 系统分层
分层按变化原因隔离职责:界面、业务规则、数据访问和基础框架不应相互混杂。实际失效常来自控制器里塞业务逻辑,或者访问层中隐藏业务查询条件。书中将SQL集中到映射配置以便维护;这改变代码组织,不会自动让查询摆脱业务语义。
相关卡片进一步展开本节的具体判断与机制:按变化原因划分层次;控制器减负归还业务逻辑;查询配置仍要识别业务。
4.2.2 底层技术更迭
底层框架升级困难的例子,是各模块直接继承HibernateDaoSupport,使框架类名与接口变化扩散到整个系统。方案是在业务需要与框架之间建立自有DaoSupport契约,再提供不同框架的实现。其价值在于缩小变更面,前提是契约能保持稳定并准确表达所需操作。
相关卡片进一步展开本节的具体判断与机制:自有接口隔离框架变化。
原书依据 · 1 处
4.2.3 整洁架构设计
核心业务与外部技术的隔离由适配层承担。数据接入层把不同渠道转为共同业务调用,数据访问层处理存储形式,技术接口层隔离基础框架。正文借环状图说明向核心规则收敛的依赖思路;本笔记不沿用书中把整洁架构与洋葱架构直接等同的表述,也不保证任何存储迁移都无需业务调整。
相关卡片进一步展开本节的具体判断与机制:适配层保护核心业务。
原书依据 · 1 处
4.2.4 易于维护的架构
书中为减少每个功能重复转换数据,提出JSON、值对象和持久化配置的统一约定:共用控制器转换请求,共用DAO读取字段映射。它把重复技术代码下沉,使团队更聚焦业务。统一对象也是约束,需要判断业务、外部契约与存储变化能否接受共同表示,不能仅由代码行数判断设计质量。
相关卡片进一步展开本节的具体判断与机制:统一数据形态减少转换。
原书依据 · 1 处
4.3 技术中台建设
技术中台是架构支持团队提供的共同技术能力,让各业务团队通过约定接口开发。书中要求它简单、便捷、可演化,并支持领域建模与微服务。下文用通用入口、查询流程和仓库扩展演示落地,都是特定方案的取舍,不是中台必备的唯一实现。
相关卡片进一步展开本节的具体判断与机制:技术中台封装共性能力。
4.3.1 增删改的架构设计
命令改变业务状态,查询读取数据,书中据此分别组织技术支持。命令入口通过bean、method与参数契约反射调用Service,值对象持久化由配置元数据和通用DAO承担。关键风险是示例OrmController没有权限校验,隐藏具体类名不能保证安全;接入前需要可调用方法的访问控制。
该节部分XML在EPUB中已变成异常自闭合标签,已实际读取原HTML辨认含义,但不将破损片段交付为可运行代码。业务服务减少技术注解、改由外部XML装配是本书隔离技术知识的选择。本笔记只保留读写职责分离机制,不传播CQRS历史归因及“任何查询都不适合领域设计”的全称判断。
相关卡片进一步展开本节的具体判断与机制:命令查询分别设计;反射路由须先校验权限;通用入口依赖参数契约;配置元数据驱动持久化;配置边界避免技术侵入。
4.3.2 查询功能的架构设计
查询部分由固定查询入口把参数传给装配了不同映射的通用查询Service;前后钩子允许少量个性逻辑进入子类,避免复制完整流程。返回结果包含本页数据、分页信息和总数,也可包含全结果汇总。
复用首次count能够减少计数请求,但依赖相同查询语境以及可接受的数据新鲜度,不能默认后续页面拿到实时总数。补填供应商示例逐条调用关联服务,说明扩展点的用途;本节未证明这种实现对大结果集仍有良好性能。
相关卡片进一步展开本节的具体判断与机制:查询入口统一参数通路;查询钩子保留个性扩展;复用总数需匹配查询语境。
4.3.3 支持领域驱动的架构设计
领域对象的还原与保存通常不止单表访问,因此书中在基础DAO外包装通用Repository,补充关联装配和聚合保存;工厂负责将读取结果还原为对象。Repository实现相同接口并持有BasicDao,使服务可以按配置选择基础访问或扩展访问。
关联表示读取时怎样补填,并不自动意味着共同保存。订单可以读取客户和明细,但只有明确配置为聚合部分的明细随订单同事务保存。通用配置把这种差异显式化;它是书中的落地办法,不代替对真正事务边界与业务规则的分析。
相关卡片进一步展开本节的具体判断与机制:仓库装配超出单表访问;装饰仓库透明扩展DAO;关联装载不同于聚合保存。
4.3.4 支持微服务的架构设计
微服务技术方案通过控制器和本地远程接口隔离框架,尽量不把服务治理组件直接散布进业务服务。数据库拆开以后,原本本地DAO补填的数据改由远端服务读取;配置将本地join变为远程ref,并提供批量补填约定。
这保持了装配意图,但跨网络带来的失败和一致性约束仍需设计。Spring Cloud、Feign及未来Service Mesh的描述属于书中时代背景,不把其预测写成当前趋势或迁移保证。
相关卡片进一步展开本节的具体判断与机制:远程调用收敛到技术边界;跨服务装配替换数据来源。
4.4 技术选型与技术规划
分层之外,团队还需在技术路线与编码约定上形成共同语言,否则每个模块都采用不同框架,维护时就要反复掌握不同知识。共同规划的目的在于降低协作与变更成本,后面分别讨论如何选择技术与如何落实模块规范。
4.4.1 软件正确决策的过程
架构决策具有层次,也可能带来难以撤回的影响,因此技术选型应先明确需求难点,再调查候选与使用经验。热门技术暴露问题较多,不等于它天然更不可靠;冷门技术问题记录少,也不证明缺陷少。证据应服务于适配判断,不能用作者经验代替本项目验证。
相关卡片进一步展开本节的具体判断与机制:技术决策先验证需求证据。
原书依据 · 1 处
4.4.2 商用软件与开源框架
商用与开源的比较不只涉及许可费。商用产品可能换取供应商支持和完整产品线,同时增加长期费用与依赖;开源产品让团队有更多掌控空间,也要求承担学习、维护和排错能力。书中的市场评价保留时代范围,这里提炼的是总体成本与支持资源的比较维度。
相关卡片进一步展开本节的具体判断与机制:开源免费不等于总成本低。
原书依据 · 1 处
4.5 模块划分与代码规范
模块命名、业务分包、基础框架依赖和层内职责共同构成可执行规范。业务模块通过明确接口协作,有助于避免循环依赖;不同团队按相同规则组织代码,可以降低接手维护的成本。规范必须对应实际技术架构,而不是只有一份抽象通用手册。
相关卡片进一步展开本节的具体判断与机制:规范跟随架构边界制定。
原书依据 · 1 处
第5章 运行架构设计
运行架构转向关键场景的运行质量:对象怎样交互、状态怎样转换、同步还是异步,以及可靠性、性能和伸缩性怎样达到目标。它细化开发架构,而非推翻前面的功能设计,需要技术预研与实验来处理真正的关键难点。
相关卡片进一步展开本节的具体判断与机制:运行架构聚焦交互质量。
原书依据 · 1 处
5.1 属性→场景→决策
“属性→场景→决策”先将质量要求写成可验证标准,再扫描业务流程里难以达到标准的具体场景,设计并验证方案,最后判断是否可推广成共同能力。书中的响应时间、包大小和故障修复时间都是示例项目的目标,不能替读者的项目决定验收指标。
相关卡片进一步展开本节的具体判断与机制:质量属性必须可验证;属性场景决策逐步落实。
5.2 非功能性需求
URPS+提供非功能需求的检查结构,覆盖易用性、可靠性、性能和可支持性。性能并不只取决于底层实现,还受功能范围和部署方式影响。数据导出例子比较限制一次导出规模与异步移交独立服务器;两者都会改变功能体验和资源安排,应一起权衡。
相关卡片进一步展开本节的具体判断与机制:URPS组织质量需求;批量导出在功能性能间取舍。
5.3 恰如其分的架构设计
恰如其分意味着当前需求获得满足,同时避免围绕无法确认的未来变化增加大量机制。近期可见变化可以适当准备,但每种设计只能针对某些变化,不能保证适应所有未来。架构演化以这种有边界的准备为起点。
相关卡片进一步展开本节的具体判断与机制:恰当设计考虑近期变化。
原书依据 · 1 处
5.4 技术架构演化
历史互联网业务增长例子说明架构在某段时期适用,不代表长期不变。访问量与业务范围改变后,原先合理的结构可能失配,需要持续调整。企业故事是演化压力的说明,不构成特定技术方案或扩容幅度的普遍证明。
相关卡片进一步展开本节的具体判断与机制:架构适应有时间范围。
原书依据 · 1 处
5.4.1 意图架构
意图架构从近期业务价值和已观测风险出发,明确为了满足什么需求,需要补充什么能力。近期方案做细,远期保留方向判断,之后随条件变化重新规划。它改变的是规划的范围和周期,不是取消架构设计。
相关卡片进一步展开本节的具体判断与机制:意图架构规划近期价值。
原书依据 · 1 处
5.4.2 使能故事
用户故事组织直接的业务增量,浮现式设计让代码随这些增量演进。若只完成紧急功能而不改善结构,交付能力可能下降;使能故事因此为重构、探索与技术能力建设留下显式工作量。短周期持续改善让架构演化进入日常,而非等待一次长期停工改造。
相关卡片进一步展开本节的具体判断与机制:浮现设计依靠增量演进;使能故事建设交付能力。
5.4.3 架构跑道
架构跑道描述近期已准备的能力边界:多大吞吐量、支撑多久、哪些业务可以在其上开发。团队结合运行数据和业务规划协商范围,用使能故事补足能力。过度超前会浪费,准备不足会阻塞业务,跑道要随消耗不断更新。
相关卡片进一步展开本节的具体判断与机制:架构跑道限定准备范围。
原书依据 · 1 处
5.4.4 我们的实践
业务团队和架构团队按照依赖关系协商API与迭代安排:简单依赖可以并行,复杂基础能力先交付。另一条路径是先让业务运行,再从真实业务中提炼共性,下沉平台并回改业务代码。它用已验证需求约束抽象,仍需满足开工前不可回避的关键条件。
相关卡片进一步展开本节的具体判断与机制:跨团队按依赖安排迭代;已验证共性再下沉平台。
5.5 技术改造与软件重构
旧系统保存了复杂业务和历史数据,推倒重建的代价可能很高,后续架构工作往往发生在既有系统之上。本节为技术改造提供背景,具体风险和方法在后面展开;不把“系统寿命一定变长”当作所有项目的确定预测。
5.5.1 架构师的十年奋斗
补丁式维护只管眼前需求,容易让结构债务累积;宏大改造若缺少资源与风险控制,可能在历史代码前停步;完全重写则可能丢失只保存在旧代码中的细小规则。三种故事共同说明改造要同时保存行为资产和逐步改善结构,而非只选择看起来更整洁的代码。
相关卡片进一步展开本节的具体判断与机制:最小补丁积累结构债务;重写易丢失隐含业务。
5.5.2 演化式的技术改造思路
演化式改造把长期目标分成短周期、保持外部功能的小步重构,每步验证后再继续,逐渐建立业务与技术之间的接口隔离。解耦使后续技术替换有边界;分批修改若没有行为验证,仍不能证明原功能安全。
相关卡片进一步展开本节的具体判断与机制:技术改造先演化式解耦。
原书依据 · 1 处
5.5.3 一个遗留系统改造的故事
重构保持外部行为,调整内部结构以降低阅读和维护成本。抽取方法先隔离独立工作,抽取类重新聚集职责,抽取接口建立替换边界。书中把三种动作连成一条演化路径:从小范围的框架调用开始,逐步形成接口层,再归纳共性,后续范围在验证中接入。
这些步骤的先后是本案例的改造路线,不意味着任何系统都应机械执行同一顺序。每步的范围、外部接口和验证证据必须明确。
相关卡片进一步展开本节的具体判断与机制:重构保持外部行为;抽取方法隔离独立工作;抽取类重新聚集职责;抽取接口建立替换边界;小范围逐步归纳接口层。
第6章 物理架构设计
物理架构将软件组件安排到机器和网络,细化运行架构的安全、可靠性与伸缩目标。客户端直接访问数据库的两层结构,逐步增加应用服务边界并扩展为多节点部署。冗余为故障容忍提供条件,伸缩仍受到路由和同步成本限制,机器数不能代替质量验证。
相关卡片进一步展开本节的具体判断与机制:部署层次隔离数据库;物理冗余服务容错目标;扩容收益受协作成本约束。
6.1 集中式与分布式
集中式与分布式的区别要沿实际访问路径理解。多个数据库计算节点仍可能共享存储瓶颈;按地域独立建站又可能因用户分布不均而忙闲失衡。统一接入、内部调度提供了优化空间。书中把分布式和放弃完全一致性直接等同,范围过强,本笔记不保留这一普遍结论;一致性保证需结合具体协议与故障条件判断。
相关卡片进一步展开本节的具体判断与机制:计算集群仍有共享存储瓶颈;统一入口提供调度空间。
6.2 网络架构图
物理架构示例按暴露范围设置互联网、DMZ、外网受理和内网处理区域,让入口、安全设备、身份认证、业务处理及数据库各处其位。分区必须和访问控制、实际数据流配合;不能因为系统位于内网就认定它不需要安全保障。
相关卡片进一步展开本节的具体判断与机制:安全分区匹配部署职责。
原书依据 · 1 处
6.3 系统架构与应用架构
系统架构更全面地概括功能、技术和部署,应用架构更突出用户关心的功能及其实现安排。给客户的总体图要取舍信息、保持清晰层次,让对方辨认关键需求怎样获得回应;开发团队的详细五视图不应全部堆入同一张展示图。
相关卡片进一步展开本节的具体判断与机制:系统应用架构侧重不同。
原书依据 · 1 处
第二部分
互联网的放大效应可能把需求集中到一个峰值,而用户流失又迫使产品持续快速创新。分布式设计处理系统容量与故障;微服务拆分还要处理团队规模与交付速度。两者关联但不能互相替代:增加节点不会自动改善跨团队依赖,拆小服务也不会自动消除数据瓶颈。第二部分因此从架构演进进入微服务边界,再讨论云端部署。
相关卡片进一步展开本节的具体判断与机制:扩展同时考虑系统与团队。
原书依据 · 1 处
第7章
分布式架构把原本由单一节点处理的工作分给多个节点,同时引入路由、通信、数据复制与故障处理。本章先沿业务增长观察瓶颈如何迁移,再逐项解释缓存、内存数据库、事务、队列与分布式数据库的运行机制。
7.1 互联网架构演进
架构容量应覆盖近期可预见需求;超出设计容量的瞬时峰值需要限流、降级等保护。先把目标写成并发规模和可接受响应时间,再压测发现瓶颈,避免对没有约束当前容量的环节反复微调。
请求量本身也可以改变。一键下单减少用户在关键时刻的重复交互,展示了流程优化与技术优化的互补关系。本节后续的“千万”“亿级”只是书中演进故事的阶段标记,不构成所有系统通用的选型阈值。
相关卡片进一步展开本节的具体判断与机制:并发目标结合响应时间;业务流程也能降低流量。
7.1.1 All-in-One架构
All-in-One以较低协调成本支持初期交付:所有功能集中在一个项目,应用和数据库部署简单。LAMP提供一组常见基础组件,ORM负责对象与关系数据之间的映射;它们不要求系统立即进入微服务。简单部署和清晰代码边界并不冲突,业务与技术框架分离可以降低后续迁移成本。
CDN改变的是内容访问路径,把稳定内容分发到地理上靠近用户的节点。由于各节点更新需要时间,必须先区分内容是否允许滞后,不能把静态文件的缓存策略直接用于实时交易状态。
相关卡片进一步展开本节的具体判断与机制:单体优先满足当前需求;内容分发依赖更新容忍度。
7.1.2 流量在1000万以内的架构设计
应用集群前的反向代理给用户提供统一入口,再把请求分配到不同实例。动静分离依据资源类别路由,前后端分离依据界面和业务职责切分,两者不能仅按文件扩展名混为一谈。
统一入口自身也可能成为单点,因此图7-4增加主备Nginx、虚拟IP和心跳切换。流量继续增加时,图7-5再把应用分成多个组,由多层均衡器逐级分流。每一次扩展都需要重新检查入口容量和故障路径,不能由固定流量数字直接决定产品选型。
相关卡片进一步展开本节的具体判断与机制:两种分离解决不同边界;代理入口也需要容错;多层均衡分摊入口负载。
7.1.3 流量在1000万以上的架构设计
数据库瓶颈要沿负载和存储结构分别定位。写事务、明细检索、历史分析具有不同的更新、索引和扫描需求。简单主从读写分离分摊读取;独立查询库还可以保留更多历史、预关联成宽表,并把允许同步延迟的查询移出生产库。月累计等统计可以组合历史汇总和当前增量,前提是划清时间边界。
Shared Disk只扩计算仍受共享I/O约束;Shared Nothing让节点各有存储,再以分区、路由和复制协调它们。共享资源与协作成本的基础解释复用已有卡:扩容收益受协作成本约束、计算集群仍有共享存储瓶颈。
纵向拆分沿业务边界把表分库,带来跨库事务与关联;横向拆分把同类数据分片,分片键决定热点和定位成本。最后,数据源代理以统一接口封装分片选择,让DAO减少位置依赖;它并没有消除跨片操作。
相关卡片进一步展开本节的具体判断与机制:按访问负载设计数据库;查询模型容许按需冗余;汇总与实时数据划清边界;独立存储分解磁盘瓶颈;业务拆库引入跨库边界;分片键决定访问与均衡;路由代理隐藏分片位置。
7.1.4 流量在5000万以上的架构设计
缓存优化重复读取,命中率取决于再访问时数据是否还在。LRU按近期使用情况淘汰条目,本地容量不足或多实例重复存储时,可以考虑独立共享的分布式缓存,但要支付网络和一致性成本。
内存数据库把活跃写入放在内存,随后持久化,缩短用户等待路径;这与仅保存数据库副本的读缓存不同,安全性将在7.2.2讨论。异步订票进一步把“接受请求”与“订票完成”拆开,队列保存待处理请求,后台完成业务并通过其他渠道反馈。积压增长表明瓶颈只是迁移了,必须限制持续超过消费能力的输入。
相关卡片进一步展开本节的具体判断与机制:命中率决定缓存收益;本地与共享缓存取舍;受理成功不等于业务完成;队列缓冲不消除处理瓶颈。
7.1.5 亿级流量的架构设计
高并发、高可用和数据高可靠分别回答容量、故障继续服务、数据存活三个问题。入口鉴权与限流、业务层异步受理、服务隔离与缓存、数据层分区与查询模型共同形成逐层保护。下游超时占满上游线程池会形成故障传播,熔断和降级应切断这条压力路径。
业务复杂度增加还推动服务治理:抽出可复用能力供前台组合。业务中台、技术中台、数据中台分别复用领域能力、技术支撑和数据处理。技术封装的基础说明复用技术中台封装共性能力。
弹性云部署把资源供给跟随峰谷调整,自动化发布、监控和日志帮助管理大量实例。多副本与去中心化只是容错机制的一部分;确认写入的持久性、复制条件和故障恢复仍需单独设计,不能仅凭多节点宣称数据不会丢失。
相关卡片进一步展开本节的具体判断与机制:容量可用与数据可靠有别;逐层保护下游容量;超时会沿调用链传播;中台按复用对象区分;弹性资源匹配峰谷。
7.2 分布式技术
架构演进把集中瓶颈分散后,还会遇到定位缓存、同步数据、跨库事务、消息重复和分布式查询等新问题。本节不再按流量阶段选型,而是逐个解释这些机制如何运行及其边界。
7.2.1 分布式缓存
跨库查询可以先查主表并分页,再通过其他服务补填当前页的信息;批量ID调用避免逐行网络往返。如果关联字段本身参与筛选,应在查询前通过必要冗余或专用宽表解决,而不是分页后再丢弃记录。
共享缓存按key路由至特定节点,读写必须采用一致映射。固定取模节点变化会触发迁移,本节提出保持分片映射并配副本的方案,不能把它当作所有缓存唯一可行设计。更新数据库时,并发读会造成旧值回填;前后双删与定期修复减少风险,但不构成强一致保证。
Redis的复制、哨兵、分片分别涉及故障切换和负载分散。最后还要区分它承担可重建缓存还是主要内存写入位置,这决定后续持久化的责任。
键值模型以key完成定位,value可采用字段映射、列表、集合或有序集合来表达业务对象和操作。结构选择与缓存/主存角色是两个问题:前者控制访问方式,后者控制数据成功与恢复责任。
相关卡片进一步展开本节的具体判断与机制:跨服务查询先分页再补填;查询过滤决定冗余位置;缓存路由必须一致;缓存双删仍有竞态窗口;复制与分片解决不同问题;缓存与内存主存角色有别;键值模型也能承载多种结构。
7.2.2 内存数据库
内存数据库缩短响应路径,却把数据安全问题暴露在“已响应、尚未落盘”的窗口。Redis示例以分片主副本和本地持久化支持恢复,GemFire示例以分布式内存池、多副本和外部持久化分担相应职责;不能仅由副本存在推断所有已确认写入均不会丢失。
异步写库方案把写入意图先作为消息保存,由后台写入关系数据库。实时查询可面向内存数据,需要SQL且容忍延迟的查询可面向持久化库。这个性能取舍引入双写失败、积压和恢复责任,不能作为任何写操作都可直接启用的通用降级开关。
相关卡片进一步展开本节的具体判断与机制:内存写入仍需持久化;内存网格以副本接管数据;异步写库改变查询时效。
7.2.3 分布式事务
跨库转账要同时维护扣款与入账,XA两阶段提交用准备与共同决定组织参与者,但等待中的锁会降低并发。各方本地提交后改用业务补偿,则把恢复责任提升到业务层。TCC用Try、Confirm、Cancel表达相应阶段;本书把取消描述成反向操作,属于简化讲法,不能代替具体框架的资源预留和状态协议。最终一致也需要确认、补偿和失败恢复实际执行完成。
订单异步扣库存展示两个独立问题:延迟扣减可能超卖,重复消息可能多扣。提前预留针对前者,订单号和持久处理记录针对后者。半消息让队列暂缓投递,再根据本地提交或反查结果推进;本地消息表则把订单和发送意图放进同库事务,后台重试发送。二者都不能由流程图推导出所有业务效果必然恰好一次。
原文“补偿失败只写日志找运维”的结论不作为资金安全保证;它未讨论故障相关性与持续恢复。问题卡和方案卡分别保留了转账、超卖、发送不确定性、重复扣减的因果与适用限制。
相关卡片进一步展开本节的具体判断与机制:跨库转账面临部分成功;协调提交维持共同决定;业务补偿承担恢复责任;最终一致依赖收敛过程;异步扣库存可能超卖;库存预留提前约束承诺;发送超时不代表未投递;半消息隔离未提交业务;本地消息表保存发送意图;重复消息会重复扣减;扣减幂等需要持久判据。
7.2.4 分布式队列
异步系统把大量待办交给队列,必须同时关注容量、可靠性和处理语义。竞争消费者分摊同一种任务;发布订阅把一个事件交给不同业务。多个业务分别订阅,各业务内部再由实例竞争处理,就能组合解耦与并发能力。
发送确认超时造成的重试不会因使用竞争消费者而消失,因此仍需业务幂等。产品比较表可转化为选型问题:消息要保留多久、何时确认、顺序范围是什么、失败如何恢复、是否需要事务消息。图中吞吐数字和产品限制不作为跨版本通用事实。
相关卡片进一步展开本节的具体判断与机制:队列与主题表达不同分发;队列选型比较所需语义。
7.2.5 分布式数据库
分布式数据库不只是把数据搬到多个机器,还要定义分区、定位、扩缩容和复制。MPP以独立节点并行执行;Greenplum示例展示散列分布及范围、列表分区,但其SQL片段含排版错误,只用于解释布局意图,不作为可运行脚本。
NoSQL包含不同数据模型,不能统一说成放弃二维表后全部采用同一种key-value或更新机制。发票文档示例的实际价值在于按共同读取边界嵌套购销方对象和明细数组,减少在线关联。副本异步更新会产生旧值窗口,写入确认包含多少复制工作,会影响响应与故障行为。原文把CAP的P解释成数据分区和无限扩展,这一等同不成立,故只登记CAP术语及来源限制,不沿用其表格为技术定理。
NewSQL试图结合SQL接口、分布式存储和事务能力。TiDB示意以TiDB Server处理SQL、TiKV保存Region副本、PD管理位置和调度;Raft出现在副本一致性层,不能由图推导所有副本每次都完成才提交,也不能由复制取代备份。最后的count查询展示筛选与局部聚合下推,SQL层再合并较小结果。
相关卡片进一步展开本节的具体判断与机制:并行查询依赖数据布局;复制确认影响一致性窗口;文档聚合减少在线关联;分布式SQL分离接口与存储;分片元数据帮助定位;下推计算减少传输量。
第8章
微服务把应用拆成有独立运行边界的服务,可能同时缓解复杂业务的维护和局部扩容问题,但也引入网络调用、服务发现和跨库协作。本章先解释拆分的组织与业务动机,再讨论运行所需的注册、路由与故障保护,不能把拆分本身当成质量保证。
8.1 为什么要采用微服务架构
采用微服务前,应先说明它要改善哪一种问题:团队等待、发布耦合、局部扩容还是业务边界。技术流行度不能代替目标与代价分析。本节按快速交付、团队组织、小而专和去中心化逐项展开这些采用理由。
8.1.1 快速变化需要快速交付
需求的业务价值可能随时间变化,延迟进入市场会失去反馈与机会。图8-1用先产生部分价值和最后集中交付作对比,不是任何需求都会按同一曲线贬值的定律。临时出现的一周交付窗口,考验的是平时已经具备的设计、开发、测试与部署能力。
相关卡片进一步展开本节的具体判断与机制:交付速度保留业务机会。
原书依据 · 1 处
8.1.2 打造高效的团队组织
烟囱式组织按技术职能划分,需求横跨多个部门,沟通与交接时间会随规模增加。特性团队按业务结果聚合完成交付所需能力,直接面对用户,承担从需求到运行的责任。
组织改成特性团队后,还要减少统一发布的等待。A团队已经完成也可能被B团队拖住;服务接口和数据边界若仍要求同步改变,独立团队仍无法独立交付。商品数据统一归商品团队所有、其他团队通过接口读取,是避免共同修改表结构的具体办法。
相关卡片进一步展开本节的具体判断与机制:特性团队承担端到端交付;独立发布减少团队等待。
8.1.3 大前端+技术中台
特性团队独立维护、打包和发布各自服务,才能把组织自治变成交付自治。每个团队都重复解决界面、数据、通信和部署问题,会拉高技能与维护成本,因此架构支持团队把共性能力封装到技术中台,业务团队主要关注领域与用户体验。这里“大前端”指业务职责的扩大,并不等于只写浏览器代码;平台也应保留业务个性空间。
技术中台的共性封装复用技术中台封装共性能力。
8.1.4 小而专的微服务
微服务的基本单元是专注业务职责的独立进程,服务间通过接口协作。边界质量由共同变化的聚合程度检验:如果一项常见变化总跨多个服务同步修改,服务小并没有换来独立交付。
数据库也属于这个边界。完全独立数据库会增加初期迁移工作,物理共享库可以过渡,但应按服务定义表的所有权与访问账号。其他服务经接口访问,避免直接依赖他方表结构。原文“一定每次只更新一个服务”是理想目标,实际仍需设计跨服务变更和兼容。
相关卡片进一步展开本节的具体判断与机制:微服务边界围绕共同变化;共享库也应划清表归属。
8.1.5 微服务中的去中心化概念
技术治理去中心化使旧服务与新服务可以采用不同技术,降低大范围重写压力;但技术多样性会增加运维成本。架构A与B共存的例子说明“按需要迁移”,而非所有服务同时升级或各自无限选型。
数据管理去中心化则把存储选择交给服务的数据需求。重复读取、事务写入、历史分析的负载差异可以导向不同设计,但多个存储之间的数据同步和时效仍需协调。图8-8展示每个服务内部具备实体、业务与访问层,不据此推断所有服务内部实现必须相同。
相关卡片进一步展开本节的具体判断与机制:技术自治仍需控制多样性;数据自治按服务负载选型。
8.1.6 互联网转型利器
独立部署让扩容粒度与热点服务对齐,峰值时增加实例、峰后收缩,避免所有模块一起复制。大量实例与频繁调整又推动自动化:代码进入版本库,流水线构建镜像,部署平台维持期望数量。
注册中心维护服务名到实例地址的可发现信息,调用方获取列表后再选择实例;发布中心创建和回收实际进程。实例数与地址在动态变化,心跳和注销只能逐步更新注册视图,因此服务发现不能替代调用超时和故障保护。
相关卡片进一步展开本节的具体判断与机制:按服务扩容聚焦热点;注册与部署分别维护状态;流水线承接大量实例发布。
8.2 微服务的关键技术
网关为外部请求提供入口,注册中心帮助发现服务位置,微服务承载业务,发布中心维持运行实例。这些组件解决不同职责;接下来的技术示例从注册和调用开始,再加入入口控制及远程故障保护。
8.2.1 注册中心
注册中心把稳定服务名映射成动态实例列表,业务调用在客户端选定实例后直接发生。书中Eureka示例由Maven依赖、启动类和配置文件构成,服务名用于发现,端口用于监听,defaultZone用于找到注册入口。properties和YAML只是不同表达,YAML缩进和冒号空格会影响实际属性。
生产者以控制器映射开放REST接口,消费者用Ribbon的RestTemplate或Feign声明接口调用。RestTemplate明确构造请求和返回类型;Feign把这些约定集中到接口,降低多处修改的成本。服务名不会消除网络边界,原例的RequestBody与表单curl也存在不一致,故不交付未验证的可运行工程。
注册中心集群需要节点间传播信息,客户端也要配置多个入口。profiles展示同一项目承载多套节点配置,不能把来源中缺少jar文件名的启动行当作完整命令。Spring Boot 2.1.4、Greenwich及旧Netflix组件的示例属于书中版本,产品市场判断与“唯一/最适合”说法不作为当前选型结论。
相关卡片进一步展开本节的具体判断与机制:服务发现先解析逻辑名称;启动注册服务的三类配置;配置层次影响实际属性;接口映射约定请求形态;客户端均衡在调用前选实例;声明接口集中远程调用;注册集群与客户端同时冗余。
8.2.2 服务网关
网关把对外接入集中在可控边界,后端网络限制外部直达。统一入口承担身份、权限、频率和审计策略,但内网不能被直接推断成可信,TLS传输安全也不等于业务授权。本节的HTTP/HTTPS性能与认证概括不作为安全设计结论。
网关尽量通过路径到服务的规则路由,避免嵌入业务细节。Zuul示例需要依赖、启动注解和路由配置;stripPrefix控制服务前缀是否保留,系统prefix是另一层入口路径。把已迁移路径交给新服务、其余兜底回旧单体,可支持渐进替换;图8-21中product路由值明显重复user,成稿只解释意图,不复制为已验证配置。
过滤器把鉴权、路由判定、返回处理和错误处理置于相应阶段。四个方法分别表达阶段、次序、是否执行与动作,注册为Bean后才进入运行链路。最后,多网关实例仍需前置均衡与故障检测,不能只由实例数量宣称全链路高可用。
相关卡片进一步展开本节的具体判断与机制:网关统一外部访问边界;多渠道入口复用业务服务;路由规则避免复制业务逻辑;转发前缀须匹配服务路径;网关路由支持渐进迁移;过滤阶段对应不同职责;过滤器定义条件顺序与动作;网关集群前仍有统一入口。
8.2.3 熔断机制
多实例为故障转移提供候选,但实例失效到心跳注销有一个窗口,调用方仍需自行应对超时。重试可以换实例,却可能放大延迟、压力与写操作重复效果。隔离限制一个依赖能占用的线程和队列,使其他功能不被一同拖垮;此处与前面一般雪崩机制相关,但进一步说明服务发现为什么不能替代调用保护。
断路器以Closed、Open和Half Open三态控制失败请求:正常放行,近期失败过多则快速拒绝,冷却后少量探测恢复。fallback决定失败时业务还能提供什么,不能只因走了降级分支就称业务成功。Hystrix示例还先检查缓存与资源池,失败记录进入统计窗口,供后续熔断判断。
Ribbon的注解示例将fallback绑定在方法上,同节点重试、换节点重试分别配置;Feign示例用接口实现类承载各方法的fallback。表8-1把线程/信号量隔离、超时、中断、fallback并发、最小请求量、错误比例、休眠窗口及队列大小列为不同控制面,参数示例和默认值均属于书中版本,不作为未经测试的生产配置。
相关卡片进一步展开本节的具体判断与机制:注册心跳留下失效窗口;重试也受时间与副作用约束;隔离限制依赖占用资源;断路器以探测恢复调用;降级明确业务还能承诺什么;熔断参数共同限定保护范围;旧框架示例划出容错边界。
8.3 微服务的系统设计
微服务转型可以分别看作技术准备、业务拆分和云端运维。注册、路由等框架能运行,只解决了第一部分;如何让业务职责和团队独立交付,仍是后面的核心问题。本节引入六种服务组合方式,说明技术栈本身不能替代业务设计。
相关卡片进一步展开本节的具体判断与机制:业务拆分是转型的独立难题。
原书依据 · 1 处
8.3.1 6种设计模式
六种模式描述不同的服务协作方式。聚合集中面向场景的请求或编排,代理选择具体实现,链路由服务逐次相调,分支组合不同结构,异步用消息分开接收与后续完成。数据共享则用于控制迁移范围,但仍要给表明确所有者。模式都需要按调用、事务与查询成本判断;TCC和最终一致性不是无条件更快的替代,共享分析平台也不能抹掉业务边界。
相关卡片进一步展开本节的具体判断与机制:聚合服务组织界面与流程;代理服务按条件选择实现;链路调用分散流程编排;分支模式组合不同服务结构;异步模式分开接收与完成;共享数据库也应限定数据所有者;接口兼容比物理拆分更关键;拆库后重新设计事务与查询。
8.3.2 微服务设计实践
工程迁移先保留启动和配置职责,再得到能运行的基线,随后按独立变化逐步拆分。父POM统一版本与共性构建,环境配置注入不同地址,集中配置再减少逐节点维护。刷新通知只是重载起点,适用范围和失败策略都要明确。会话全广播的通信成本随节点数上升,状态外置使请求处理节点更可替换,但Redis不提供无限扩展的保证。鉴权标识随调用传递仍需授权校验。原书XML部分被EPUB当成标签,未修造成可编译配置。
相关卡片进一步展开本节的具体判断与机制:迁移先跑通再逐步切分;父项目统一版本与共性配置;配置按环境选择并注入变量;集中配置减少逐节点维护;配置刷新由通知触发重载;配置范围按应用环境版本界定;本地会话广播随节点数增长;无状态指可替换的请求处理节点;共享会话也需要可用性设计;鉴权上下文随调用显式传递;组件注册保留启动职责;视图名交给解析规则处理。
原书依据 · 12 处
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
- 微服务架构设计 8.3.2 微服务设计实践 · 查看原书依据
8.3.3 微服务测试调优
服务测试与跨服务契约测试关注不同范围。契约把请求响应共同约定成提供方验证和消费方桩,让独立测试少依赖全部真实服务,但桩只覆盖约定交互。运行时还要观察调用消费侧的断路器,以及请求经过的服务和耗时。采样需平衡定位证据与成本。SpringBootTest、Turbine、Sleuth和Zipkin均按本书示例解释,不把旧依赖版本、默认值和接口当作当前操作指南;所有示例未运行。
相关卡片进一步展开本节的具体判断与机制:服务测试保留隔离配置;契约测试以接口约定约束两端;测试桩只证明已定义交互;契约测试描述输入输出;断路监控关注调用消费侧;链路追踪定位时间花在哪里;追踪采样权衡证据与成本。
8.4 微服务项目实战过程
本节从真实转型经验说明,“小而专”的重点不只是服务代码少,而是职责和变化范围合理。若一次需求仍迫使多个团队同时改动和发布,微服务优势便难以兑现。这个原则已由前文单一职责与独立交付的知识卡承接,此处用订餐案例继续展示落地过程,不因新场景重复生一张相同原则卡。 这一处可结合单一职责按变化原因划分理解已有原理。
原书依据 · 1 处
8.4.1 在线订餐系统项目实战
订餐例子先定义用户、饭店和骑士的工作:用户选餐下单,饭店接单并准备就绪,骑士派送直至送达。流程事实和数据对象为后续事件风暴、边界与通知设计提供语境。它是教学案例,不是某个实际外卖平台的源码或运营结论。
相关卡片进一步展开本节的具体判断与机制:按角色界面与业务服务分工。
原书依据 · 1 处
8.4.2 统一语言与事件风暴
统一语言让技术人员和业务专家相互解释,捕获专门术语及其真实含义。事件风暴再把重要的已发生事实放到共同工作面,逐项追问命令、执行者、时间和相关对象。应区分命令引发业务处理与处理后产生事件,不沿用原文个别相反表述。查询未必产生需要保存的业务事件,但查询需求仍要确认;聚合关系的原理已在第3章成卡,案例只补充使用情境。 这一处可结合统一语言形成共同理解理解已有原理。 这一处可结合共同生命周期辅助识别聚合理解已有原理。
相关卡片进一步展开本节的具体判断与机制:事件风暴围绕已发生事实;事件分析补全角色时间资源。
8.4.3 子域划分与限界上下文
订餐案例把下单作为当前主要场景,用户注册和饭店管理提供资料支持;接单和就绪则在相应职责内分析。通过明确接口协作而不直接读取其他模块内部表,可以减少变更传播。限界上下文不等于任意一张模型图,也不应从“子域”一词直接推出一个独立服务;边界需由业务含义和协作约束确认。 这一处可结合限界上下文明确模型边界理解已有原理。
相关卡片进一步展开本节的具体判断与机制:主场景调用支撑能力。
8.4.4 微服务拆分与设计实现
领域事件用于把下单、接单、就绪等事实通知给后续职责,订阅方也能构建订单查询视图,减少每次追踪都实时询问所有服务。这样引入冗余、延迟与消息可靠性责任,保存和发送、重复与乱序等仍需额外设计。前端按角色聚合交互,后端按业务职责与读模式设计,业务侧分页补填与分析侧预组合宽表适用范围不同,不能由存储名称保证性能。
相关卡片进一步展开本节的具体判断与机制:领域事件连接业务后续步骤;事件投影形成订单查询视图;业务查询与分析查询选不同数据路。
第9章 基于云端的分布式部署
本章把前一章的微服务设计带到运行现场。拆分服务提供独立扩展的可能,真正应对变化的负载,还要能分发制品、配置副本、观察故障并补充实例。因此后续先解释交付过程,再解释单个容器的打包,最后讲多节点编排及整条流水线。云平台是本书选用的实现路径,不是任何高并发系统唯一可能的形式。
进一步阅读:可扩展能力需要部署兑现。
原书依据 · 1 处
9.1 DevOps与快速交付
DevOps在这里指开发、测试与运维围绕交付形成连续协作。运维不再逐台重复安装,而是建设可重复执行这些工作的自动化平台;开发提供代码与安装配方,测试提供与代码同步演进的验证脚本。图9-1展示需求、特性团队、测试、技术中台与交付管道的职责配合。
图9-2再把职责落到制品流:代码库触发编译和测试,形成jar及镜像,由平台部署到预发布环境,经过集成、验收后逐步进入运营环境。快交付依赖整条路径减少手工交接,而不是仅让编程速度更快,也不是移除发布前的质量判断。
进一步阅读:DevOps推动运维平台化;交付管道连接验证与发布。
9.2 Docker容器技术
容器部分回答如何把各服务不同的安装方式变成平台可以共同处理的部署制品。接下来先区别容器与虚拟机,再沿镜像、运行实例、构建脚本和镜像仓库解释整个交付过程;本小节只是引入这一组问题,没有额外独立机制。
9.2.1 虚拟技术与容器技术
虚拟机为应用准备各自的Guest OS,图9-3的容器一侧则在共同的操作系统与容器引擎之上运行应用和依赖。因而原文的“轻量级虚拟机”只能作类比,不能理解成容器各自拥有一个完整内核。
容器化另一个价值是统一交付对象:把不同应用的文件、依赖与安装约定封装为镜像,节点取得镜像后按共同入口运行。图9-4用集装箱作形态标准化的类比,图9-5展示制品进入仓库再分发到节点。企业可使用受控的私有仓库,但镜像分发不是只有私服一种实现,平台与运行环境的兼容性仍需确认。
进一步阅读:容器隔离不同于完整虚拟机;镜像统一应用交付形态。
9.2.2 对Docker容器的操作
镜像、容器和仓库分别对应制品、运行实例与分发位置。图9-6用build把Dockerfile连接到镜像,run从镜像创建容器,push/pull往返仓库,start/stop/restart操作已有实例。排查则用ps查看目标、用logs观察输出、用exec在运行实例中执行命令。
网络隔离时需要离线搬运制品。镜像归档的save/load与容器文件系统的export/import处理不同对象;原文紧接save的import示例不能视作等价恢复。业务卷数据也不包含在普通容器文件系统导出中,所以“带走tar文件”不等于带走了完整业务状态。
进一步阅读:镜像容器仓库职责分开;容器运行与排查操作分组;离线交付区分镜像与文件系统。
9.2.3 用Dockerfile制作镜像
Dockerfile是一份镜像构建配方。基础镜像提供运行依赖,ADD放入应用文件,RUN安排构建时动作;这些都属于生成制品的阶段。容器启动后要运行的程序由ENTRYPOINT等启动设置表达,CMD提供默认参数,部署者再按需要覆盖参数。
因此构建期安装与运行期配置是两个阶段。原书java:8及Spring配置名属于当时示例,部分RUN数组写法也不宜原样复制;这里保留步骤分工和参数边界,不把历史脚本宣称为已执行或可直接用于当前环境。
进一步阅读:构建脚本描述可重复安装;启动入口与默认参数分开。
9.2.4 微服务的Docker容器部署
服务已经通过Maven构建出jar以后,可以用构建插件把这个产物与Dockerfile一起变成镜像。图9-7指出Dockerfile在项目中的目录,体现每个服务对自己的部署配方负责。EPUB将POM片段的部分标签解析成了HTML元素,所以只据周围文字理解插件配置用途。
运行镜像还要说明访问入口。-p将宿主机端口映射到容器监听端口,冒号两边代表不同位置,即使数字相同也不能混为一端。镜像构建解决制品来源,端口映射解决访问路径,两步不能互相替代。
进一步阅读:构建工具连接打包与镜像;端口映射连接宿主与容器。
9.2.5 Docker容器的应用
运行实例既有应用文件,也可能产生业务数据和接收环境配置。挂载将持久数据写到实例之外的存储,避免容器替换时把数据一起移除;环境变量则在启动时注入地址等部署差异,使同一镜像能在不同环境运行。名称方便识别实例,重启策略表达实例退出后的运行安排。
MySQL和RabbitMQ命令用于说明端口、目录、名称与环境的用途,不能照抄其中的弱口令与旧版本作为生产配置。容器停止不等于数据一定丢失,而有了挂载也不等于宿主存储故障与数据一致性已经解决。
进一步阅读:持久数据与容器生命周期分开;环境变量承接部署差异;名称与重启策略便于运维。
9.2.6 搭建Docker本地私服
私有镜像仓库提供组织内部的制品分发点。构建端先标记目标地址再推送,运行节点依据地址拉取;所以在开发机成功制作镜像与云端节点能取得镜像是两件事。示例还用仓库存储目录挂载保留仓库内容。
原书daemon.json片段含损坏的heredoc文本,又使用insecure-registries示范连通性。本节仅保留“目标地址、仓库可达与制品分发要一致”的操作含义,不提供一套声称可直接运行或安全的当前安装脚本。
进一步阅读:私有仓库统一镜像分发。
原书依据 · 1 处
9.3 Kubernetes分布式容器管理
镜像解决每个实例运行什么,却没有决定要运行几个副本、安排到哪里以及故障后如何恢复。Kubernetes这部分接管的是集群中的运行安排,连接前面的标准制品与后面的持续状态管理。本引入段由随后对发布难题和控制原理的解释承接。
9.3.1 微服务发布的难题
服务拆分以后,每个服务可能都有多个副本,人工逐台发布和恢复的成本会迅速增加。发布中心接收期望规格,持续观察实际状态,并在失效时补齐实例。图9-8把Git、发布中心、注册中心、网关与多个业务服务放在同一运行场景中。
副本数、节点放置和请求入口各有职责。三个副本若都落在同一故障域,仍可能同时失效;因此原文另外提出物理节点分散和负载均衡。可靠性不能只由一个replicas数字证明。
进一步阅读:期望副本驱动运行收敛。
原书依据 · 1 处
9.3.2 Kubernetes的运行原理
控制面接收“希望系统如何运行”的声明,工作节点落实具体应用进程。kubectl是管理客户端,API Server统一接入管理请求,调度器选择放置位置,kubelet管理本节点Pod;控制器持续维护副本状态,etcd保存管理这些对象所需的元数据。图9-9把多个Node、Pod和Service并列,图9-10进一步显示这些组件的协作。
Pod是被调度的工作负载单位,可以容纳协作容器。书中把Pod近似成单个容器只适合入门示例,不能当完整定义;Docker与RC是图中的历史技术组合,也不作为所有版本的固定依赖。这里保留的是统一API、调度、节点执行和持续控制的职责分离。
进一步阅读:K8s控制面的协作。
原书依据 · 1 处
9.3.3 Kubernetes的应用场景
工作负载要按生命周期及身份要求选择控制对象。长期服务关注可替换副本,有状态成员关注身份和数据关联,批处理关注运行至完成,节点守护任务则关注随节点布置。这些差异分别引向Deployment、StatefulSet、Job和DaemonSet。部署的网络范围还可从同主机、同机房跨主机、跨机房一直分到跨运营商,不能拿一层环境的访问条件覆盖其他范围。
原文对机房与跨云能力的判断属于当时环境描述,不用来界定当前Kubernetes的能力边界;“StatefulSet只能在原物理机重启”也不保留为定义。定时任务还要区分CronJob的周期调度与Job的单次执行。副本管理可以参与可用性设计,但不会替组件自动实现数据复制与一致性。
进一步阅读:工作负载决定控制对象;网络部署范围分层辨认。
9.3.4 Kubernetes的虚拟网络
虚拟网络把Pod地址与宿主网络分开。图9-11的同机Pod先通过网桥通信;跨机时,Flannel按目标Pod所在网段找到宿主机,通过物理网络承载,再进入对端虚拟网络。图中的内层IP是Pod之间的地址,外层IP标识承担传输的两台主机。
这解释的是书中Flannel覆盖网络示例。不能由该图推出Pod IP只能在原主机上被访问,也不能把docker0、UDP封装和具体地址规划视为所有网络插件的唯一实现。
进一步阅读:覆盖网络承接跨主机通信。
原书依据 · 1 处
9.3.5 用Kubernetes部署微服务
先辨认对象再理解声明:Node承载工作负载,Pod是调度单位,Deployment定义副本及模板,Service定义调用入口。namespace为资源管理提供范围,get nodes、get po、get deploy和get svc分别观察不同对象;“三个Pod”与“三台主机”不是相同的数量含义。
发布文件把Deployment和Service分别定义,再由—组合保存。镜像、环境及副本数属于实例规格;Service类型、端口和selector属于访问契约。原例Pod标签service-zuul与Service选择值demo-service-zuul不相等,不能照抄为已打通的配置。文件入口create与apply可交给流水线执行,但无需把每次更新都改成删除后重建,也不能把ClusterIP当全部安全措施。
进一步阅读:Pod副本不同于主机节点;命名空间组织资源视角;部署声明记录实例规格;访问入口与副本部署分开;选择器须匹配目标标签;声明文件进入发布流水线。
9.3.6 用有状态集部署组件
有状态副本通常需要在替换后保持可识别的身份,并重新找到属于自己的数据。StatefulSet的固定序号与普通Deployment随机后缀的对照,是本节的关键;稳定名字并不意味着必须回到原物理机。
存储还要另行声明:volumeMounts给出容器目录,volumes给出卷来源,二者通过同名卷连接。原例hostPath依赖本地主机目录,不能仅凭StatefulSet就跨机保持同一份数据。Headless Service则不设统一ClusterIP,让客户端按成员DNS直接找到mysql-0.mysql等身份;它解决发现方式,数据库读写路由与复制协议仍由组件决定。
进一步阅读:有状态副本保持稳定身份;卷挂载明确数据落点;无头服务支持指定成员访问。
9.3.7 Kubernetes应用实践
运行层面可以手动调整副本数,也可以在指标和边界配置完备时使用自动伸缩。服务网关同样需要多副本及入口设计,不能因它位于系统最外侧就忽略故障恢复。Eureka案例用固定成员名构造彼此注册地址,并把内部成员发现与外部访问入口分开。
Redis、RabbitMQ等组件即使已启动多个实例,仍要完成自己的集群配置。图9-13再比较共享存储与各节点自有存储,但共享盘一侧实际标注RAC;不能把这张图和原文的MySQL叙述拼成“多个普通MySQL实例共享目录即保证一致性”的安装方案。实例数量、成员身份、存储布局与应用级复制是相互配合的不同问题。
9.4 自动化运维平台实践
自动化平台把已有约定变成连续执行的交付动作。父Maven项目沉淀共同的基础镜像和启动配方,具体服务提供构建变量;Jenkins为项目分别建立构建任务。图9-14展示多个服务与父项目的独立构建状态,说明一次发布并非靠一个总项目手工打包所有服务。
构建过程先清理旧制品,再编译、测试和打包。jar供其他项目构建依赖使用,镜像供运行节点拉取,因此本地Maven仓库与镜像仓库是两条通路。最后流水线找到项目内的Kubernetes声明执行apply。只有源码、依赖产物、运行镜像与部署规格一致接通,构建才有机会成为可追踪的运行变更,执行了apply仍需另行观察服务是否可用。
进一步阅读:父项目沉淀共同镜像配方;产物仓库与镜像仓库分工;流水线串联制品与部署声明。
第三部分 大数据架构设计
第三部分把重点从业务系统本身转向数据如何用于后续业务。数据收集之后仍需存储、整理、治理和分析,平台化建设试图把这些环节连接起来。作者以人工智能的数据需求引出中台,但“必须放弃关系数据库”“所有智能业务先建中台”等说法过强。应保留从应用目标判断数据能力的思路,不能把某种技术路线当成一切业务的前提。
相关卡片进一步展开本节的具体判断与机制:数据应用需要贯通治理链。
原书依据 · 1 处
第10章 大数据时代变革
第10章先讨论数据应用的重心变化,再解释数据中台的定义、建设步骤和路线。海量数据可能提供更多分析机会,但数据规模本身不等于有用,准确性、代表性和业务目标也同样重要。本章为第11章的具体采集与处理技术建立问题背景。
10.1 从IT时代向DT时代转变
IT到DT是本书描述建设重心变化的说法:从各部门维护自己的业务系统,逐步走向跨系统数据的采集、共享和深度应用。部门系统可能形成信息孤岛,互联网又扩大了访问与数据范围。它是一种观察历史的框架,不应简化为旧系统都没有大数据或所有企业都必须按同一路线转型。
相关卡片进一步展开本节的具体判断与机制:数据价值从保存走向应用。
原书依据 · 1 处
10.2 数据分析与应用
数据应用不能停在把数据收集进来,还需转化为对业务有用的分析和服务。本节先提出关注点的转换,后面通过发展历程和成熟度说明具体能力。这里没有单独的新机制,实质内容在后续各节展开。
10.2.1 数据应用的发展历程
点对点接口增多时,服务化集成可统一部分调用;但业务互通不等于已经挖掘数据价值。生产数据库承担写入和当前业务查询,分析侧则处理较长历史与汇总,二者可按负载分开。当多个应用重复从原始数据开始整理,维护成本会快速增加,因而需要共享治理层。文中基于ESB的SOA与Hadoop分析平台是具体方案,不能据此排除其他实现。
相关卡片进一步展开本节的具体判断与机制:服务总线统筹系统集成;分析负载与生产负载分离;共享治理减少重复分析劳动。
10.2.2 数据应用的成熟度
本书用查询统计、决策分析、数据驱动和运营优化描述能力的扩大。数据仓库通过清洗、转换、集成统一来源,事实表保存业务事件与度量,维度提供时间、客户等观察角度;多维预计算再以额外存储换查询速度。数据驱动强调先考虑用途,再选择所需数据和建设范围。运营则补上质量、标准和血缘。原文ETL括注将转换误写为Transaction,本笔记按实际步骤解释,不沿用该拼写。
相关卡片进一步展开本节的具体判断与机制:数据应用成熟度的四个侧面;事实维度度量与粒度;预计算以空间换查询时间;先问数据业务再建平台。
10.3 数据中台建设
本节提出什么是数据中台,以及它与既有分析系统有什么不同,为后面的定义和建设细节作引入。智能业务是否需要独立中台,仍由具体数据和运营要求判断,不把原文“必然首先建设”当作所有项目通则。
10.3.1 对数据中台的正确理解
数据中台被定义为持续将数据形成资产、服务业务并产生反馈的机制。持续供给、产品价值与应用闭环比某个技术组件更关键。先用有限数据或经验规则开展合适应用,再收集反馈、修正模型,可以逐步建设;但反馈并不保证预测必然准确。阶段性价值也需要真实检验,不能用中台名称证明商业回报。
相关卡片进一步展开本节的具体判断与机制:数据中台以持续价值为核心;业务数据反馈形成改进闭环。
10.3.2 数据中台建设的核心
本节分采集、整理和应用三方面展开。数据库抽取与日志文件采集适合不同来源,后者可把重解析和分析移出生产主路径。治理通过清洗、统一格式与口径、集成同类信息,形成事实、维度和通用汇总;原始层、明细层、轻汇总和集市分担不同变化。可视化帮助逐层追问现象,经验规则需验证,预测则依赖历史规律的适用性。原文把预测输入x称为因变量是笔误;相关性也不能直接作为因果解释。
相关卡片进一步展开本节的具体判断与机制:结构化与非结构化采集分路;日志异步采集隔离分析负担;数据文件接收与解析解耦;清洗修正错误并标识缺失;转换统一格式与业务口径;集成把同类信息组织为整体;仓库分层隔离不同变化;共享仓库与应用集市分工;可视化逐步追问数据规律;经验模型先形成可验证规则;预测模型依赖规律延续假设;相关规律不等于因果解释。
原书依据 · 12 处
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
- 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据
10.3.3 数据中台的建设思路
自顶而下先盘点业务系统、数据资产和关联,再规划应用;自下而上先围绕一个明确应用建立主题域,再逐步增加。前者便于全局一致,后者便于较早落地,但都需要价值判断。应用越多,质量检查和血缘追踪越重要:前者查出错误,后者追溯结果经过的来源和处理步骤,帮助定位问题而非只重复执行最后一步。
相关卡片进一步展开本节的具体判断与机制:建设路线兼顾全局与落地;质量检查与血缘追踪互补。
10.3.4 数据中台的技术架构
技术架构把数据业务层与底层采集、计算、存储和展示工具分开,中间用技术中台提供相对统一的接口。这样有机会减少重复技术工作和底层变化的传播。图中Sqoop、Kafka、Spark、Hive、Kylin等承担不同职责;是否采用应按需求和版本验证。接口封装不自动保证任意平台无改动兼容,数据质量、元数据、标准和血缘仍需单独建设。
相关卡片进一步展开本节的具体判断与机制:技术中台封装平台差异。
原书依据 · 1 处
第11章 大数据技术中台
第11章从大数据基本运行方式进入采集、治理和展示。技术中台的目标是把共性执行细节封装起来,让业务开发更集中于自己的数据语义。它不是把工具越堆越多,而要让每个组件在完整数据链中承担清楚责任。
11.1 大数据技术
计算尽量靠近数据,可以减少把大批原始文件搬到集中节点的网络成本。分布式平台把文件散布在多个节点,再安排相应任务并行处理。关联与聚合仍可能跨节点交换数据,因此“移动计算”是局部性优化思路,不等于系统只传命令、完全不传数据。
相关卡片进一步展开本节的具体判断与机制:计算靠近数据减少搬运。
原书依据 · 1 处
11.1.1 Hadoop技术框架
Hadoop生态的基础是HDFS存储与MapReduce计算,其上再有数据仓库、流处理、采集和调度等组件。HDFS的块与副本提供分布访问和故障容忍;MapReduce以词频例子展示映射、同键分组与汇总。大量交换和海量小文件都会影响成本。它适合较大范围离线处理,不能把书中的80%占比当性能定律;副本也不能替代对误删等风险的备份与恢复设计。
相关卡片进一步展开本节的具体判断与机制:Hadoop生态分开存储与计算;文件分块复制支持集群读取;词频任务展示MapReduce;数据交换是批量计算成本;批量扫描与点查适用性不同;小文件合并减轻批处理负担。
11.1.2 Spark技术框架
Spark可把多个转换组织为执行图,在适合时减少中间反复落盘。Transformation定义数据之间的计算关系,Action触发结果求值;普通记录和键值RDD支持不同操作。词频示例组合拆词、映射和同键累加。Spark SQL与Hive表元数据让SQL知识参与分布式处理,UDF再封装特定转换。原文关于全面替代、数百倍性能、固定部署在NameNode及Hive永不支持更新的说法均不能作通用事实,代码版本与排版也未运行核验。
相关卡片进一步展开本节的具体判断与机制:Spark减少多阶段重复落盘;转换定义与动作执行区分;RDD按记录与键值组织;词频链由拆词映射再聚合;SparkSQL分开语义与计算;自定义函数集中表达转换规则。
11.2 大数据采集
采集先将不同来源的数据送入可分析的平台。数据库抽取是一类,日志、文件和数据包则是另一类,两者的解析与负载约束不同。本节为后面具体方案设置范围,不把“所有数据必须进Hive”推广成唯一存储选择。
11.2.1 结构化数据采集
结构化抽取可将连接和目标配置放在公共脚本,让各小任务只表达来源表与筛选逻辑,再按来源组织调度。通用JDBC方式与数据库原生导出、日志等方式具有不同适配成本和负载。原文脚本保留为历史说明,本笔记不复制网络地址和凭据路径,不声称增加抽取频次就自动提升总吞吐。
相关卡片进一步展开本节的具体判断与机制:数据库抽取配置与逻辑分离;结构化抽取须考虑源库负载。
11.2.2 非结构化数据采集
日志和文件可由独立采集进程进入Kafka,再由流处理解析成结构化数据,减少生产路径直接承受分析工作的机会。隔离不代表采集零成本或消息不会丢失。在线、近线、离线分析按时效与工作量使用不同路径,较短周期能做的计算受窗口约束,复杂统计可放到批处理。本书30秒或夜间窗口只是例子,不是分类硬标准。
相关卡片进一步展开本节的具体判断与机制:日志解析使文本成为可分析记录;在线近线离线按时效选路。
11.3 大数据治理
原始层按来源保存未加工数据,为追溯和重新处理保留依据。直接在杂乱原始数据上开展每个分析,往往反复面对缺失与格式差异,所以后续需要治理。分层不是为了增加复制数量,而是把来源事实与加工结果的职责分清。
相关卡片进一步展开本节的具体判断与机制:原始数据保留用于追溯重算。
原书依据 · 1 处
11.3.1 SparkSQL大数据开发中台
重复的Spark程序可以把初始化、公共转换、结果写出与任务日志抽出,业务任务保留自身规则与查询。这样降低配置负担,也让成功、失败和处理过程更可观察。书中的工具类与函数名是其实现例子,80/20是经验比例,不能据此假定所有数据需求都能由SQL解决,或日志骨架已实现重试幂等。
相关卡片进一步展开本节的具体判断与机制:共性封装保留业务个性;任务日志记录开始结束与异常。
11.3.2 ETL过程的设计实践
ETL在来源与应用之间提供转换缓冲。发票主记录和明细可能晚到,关联字段也可能缺失,所以统计前要辨别采集延迟、未知类别和真实业务差异。占位可以避免记录因关联失败而消失,但必须保留未知标识、来源和真实数据到来后的替换规则,不能把占位当凭据事实。不同系统的格式和口径经转换后,再进入共同结构。具体税务例子只用于数据治理说明。
相关卡片进一步展开本节的具体判断与机制:ETL作为源变更缓冲层;迟到明细造成统计口径不一致;占位补全须保持未知语义;多来源同类业务归一处理。
11.3.3 数据仓库建设
数据仓库承接共享事实、维度与通用汇总,集市则服务特定应用;稳定共享层可减少报表变更触发多年历史重算,但不意味着仓库永远不变或与业务无关。星形与雪花在冗余和关联路径上不同,主题域又可共享一致维度。STAGE、ODS/DWD、MID/DWS和DM的名称是本书约定,理解层的职责比照抄缩写重要。
相关卡片进一步展开本节的具体判断与机制:星形雪花按关联复杂度取舍;主题域复用一致维度。
11.3.4 数据标签设计
标签是为具体应用准备的特征。属性标签、统计标签与算法推断具有不同证据性质,推断不能当作确定事实。设计先确定关注对象,再打通关系和组织类目。纵向标签记录灵活但行数多,横向一对象一行便于固定读取却增加结构变更成本。标签是否有价值取决于目的和口径,不是数量越多越好。
相关卡片进一步展开本节的具体判断与机制:属性统计算法标签分层辨认;标签设计先对象再关系类目;纵横标签表权衡扩展成本。
11.4 大数据展示
分析结果用于前台时,需要按查询方式选择服务存储:小结果可能适合关系或MPP数据库,复杂筛选可考虑索引,重复多维统计可考虑预计算,按键档案可考虑相应存储。条数门槛不是通用选型公式,延迟、并发、更新和查询结构要一起考量。
相关卡片进一步展开本节的具体判断与机制:展示存储按查询模式选择。
原书依据 · 1 处
11.4.1 大数据索引
Lucene与服务化检索框架展示不同封装层次。Elasticsearch利用分片和副本分布数据,扩容时搬迁并保持故障隔离。工程导出可先预组合分析结果,再送往索引,以分开观察两类成本;时间索引可以缩小已知时间范围的查询。原文旧Type模型、接口与全节点平等、仅靠cluster.name即可加入等说法具有版本和配置前提,不作为当前配置指南。
相关卡片进一步展开本节的具体判断与机制:搜索工具区分库与服务层;分片副本兼顾分布与可用性;预组合与导出阶段分离;按时间索引缩小查询范围。
11.4.2 多维模型分析
多维预计算让查询少做重复聚合,也会随维度和粒度组合而膨胀。需先分析真实查询,用强制、层级或联合维度等约束减少无意义组合。参与筛选的字段与仅用于展示的补填信息应分开。Kylin是书中工具实例,其旧HBase存储、容量阈值和界面流程不直接代表当前版本;实际构建要验证刷新与存储成本。
相关卡片进一步展开本节的具体判断与机制:多维预计算要控制组合膨胀;强制层级联合维度减少组合;过滤字段与展示补填分开;Kylin封装多维分析服务。
11.4.3 HBase数据库
HBase通过行键、列族、列和值以及时间标识的版本组织数据,适合某些按键取回灵活档案的需求。列族应围绕共同访问特点规划,不是每种属性都单建一族。条件检索可与独立索引配合,再按键取回档案,但增加了同步责任。Hive映射表说明跨存储导出的一种方法,原文不完整泛型与SQL不补成可执行产品脚本,也不将宽列直接等同所有分析型列存。
相关卡片进一步展开本节的具体判断与机制:HBase以行键列族组织档案;列族按共同访问特点规划;检索过滤与档案取回协作;映射表封装目标存储访问。
跨章综合
五个视图提供的是观察同一系统的不同问题清单。例如,领域对象的聚合关系会影响表和文档怎样保存,也影响一次请求需要跨多少个模块;但领域聚合、数据库集群和微服务的边界并非天然相同。只有把事务、变更频率、部署和团队责任一起考虑,才能判断是否值得把某个边界变成远程接口。
缓存、分片、副本、消息和容器也各有对象。缓存缩短访问路径,同时增加更新与失效的责任;分片把数据分开,同时改变跨片查询和事务的代价;消息把时序拆开,同时要求处理重复、失败和最终状态;容器打包进程环境,编排工具再管理多个运行实例。把它们连起来时,应明确每项机制解决了哪个局部问题,以及剩下的责任交给谁,而不是把组件名当成质量保证。
业务数据进入分析平台后,意义和口径不会因为复制到新存储就自动统一。第10章的数据治理职责与第11章的采集、存储、计算、查询工具需要配合:业务定义约束数据整理,整理后的数据才能供模型和报表使用。复制解决可用性的一部分,备份和恢复解决另一部分;预测模型也依赖数据和规律仍然适用,不能仅凭工具运行就认可结果。
发散与实践
以下是读者延伸,属于已生成的实践计划,现实执行尚未开始。技术方向优先采用作者的领域架构示例:先用固定源码快照完成一轮职责映射,再按时间预算追踪对象加载、仓库装饰、查询补全与测试边界。作者示例能帮助理解书里的抽象,不能据此声称框架已经达到生产要求。
深读作者领域架构示例(具体计划见本书概览的实践卡进度表)包含实际首轮资料与快速、详细两层计划。首轮已读取 trade 与 support 两个固定 commit 的相关代码;原项目依赖 SNAPSHOT,这对源码快照并不能证明可重现历史构建,尚未运行构建、测试或连接数据库。
单书成果血缘与影响记录(具体计划见本书概览的实践卡进度表)把数据血缘思想用于当前单书任务:选择少量真实卡片,记录来源、整书位置与交付依赖,用一次局部变化观察哪些成果需要重新核验。该记录实验尚未执行,不把计划目标写成已获得的效果。