此笔记位置已失效,请从目录继续阅读。
全书导读
本书讨论银行怎样让业务、数据和技术在长期变化中协同。信息系统架构指对组成部分、责任边界、相互关系及演进路径的安排:既解释眼前系统如何合作,也说明新项目应该复用什么、改变什么。银行尤其需要同时考虑交易正确、持续服务、客户隐私、跨机构结算和经营分析,因此局部功能做得好,并不足以保证全行系统可以一起工作。
第1章回顾问题从网点自动化走向全行协同的过程;第2章把战略与项目之间的联系转成架构规划方法;第3章说明应用能力如何划分和协作;第4章处理数据从产生到使用、归档的全过程;第5章安排运行这些系统所需的网络、计算、存储与恢复能力;第6章用决策、评审、例外和工具使架构持续生效。本笔记按这些真实章节组织,长章内部保留连续阅读部分,便于从概要进入细节。
本书出版身份以CIP的2015年12月为准。产品型号、监管机构名称、密码技术、市场份额和技术成熟度均保留历史语境;可迁移的是问题、职责及取舍方法。CAP部分存在已核验的定义错误,相关段落明确说明读者校正,避免沿用原书误解。
全书主线
架构规划从业务希望达到什么结果开始。首先识别业务能力及现状差距,再决定应用之间如何分工、哪些数据由谁负责、运行环境要满足哪些质量目标,最后通过实施路线和项目评审逐步改变现状。这里的能力是组织能够稳定完成某类工作的本领,系统只是能力实现的一部分;流程、人员、数据和运行责任同样不可省略。
三类架构相互约束。应用拆分可以让不同能力独立演进,却带来接口、状态和事务协调;数据整合让跨部门分析成为可能,却需要标准、来源和加工责任;资源共享提高调度空间,却可能扩大共同故障域。书中的平台化、数据分层、虚拟化和双活分别处理不同对象,并非逐项采购就会自动形成完整架构。治理把取舍落实为有人负责、可以检查并持续更新的决定。
flowchart TD
S[业务目标与现实约束] --> P[现状分析与能力差距]
P --> A[应用边界与交互]
P --> D[数据权责与生命周期]
P --> T[运行质量与资源]
A <--> D
D <--> T
A <--> T
A --> R[依赖资源与实施路线]
D --> R
T --> R
R --> G[项目评审、遵从与例外]
G -->|运行及项目反馈| P
总序
总序把信息化放在银行服务、经营管理与安全保障的共同背景下。渠道扩张和数据分析带来价值,也暴露核心技术、外包和隐私方面的风险。其任务是提出治理、服务创新、自主能力与行业协作四个方向,为后续架构讨论确立价值与约束。这里的政策和发展判断属于成书时代。
- 自主可控是能力建设:自主可控需要持续的研发和应用反馈,也需要治理、业务创新与行业协作。
原书依据 · 1 处
序
序说明架构为什么处于业务战略和技术实现之间。银行既需要持续稳定的服务,也需要适应客户与竞争环境的变化。全书以应用、数据、技术与管控四部分回应这一矛盾,前面明确体系,后面给出领域实践;领先案例提供思路,不代替本行约束分析。
- 架构连接战略与实现:信息系统架构把业务转型的目标转成应用、数据与技术的安排,再通过架构管控推动项目采用这些安排。
原书依据 · 1 处
前言
前言交代写作目的、对象与组织方式:从发展历程进入总体规划,再分别展开应用、数据、技术,最后以管控维持规划的使用与更新。读者包括银行管理人员与架构技术人员。本项主要是全书导航、编写分工和致谢,没有新的独立机制,相关知识随实质章节保留,不重复生卡。
第1章 银行信息化的发展历程
本章以信息孤岛、互联互通、银行信息化和信息化银行四阶段说明问题如何变化。网点自动化先解决手工效率,却留下分散数据;联网和清算连接机构,仍未完成统一数据与应用。集中核算后,重点又转向共享服务、客户流程和经营分析。C/S职责分离、两地三中心及支付清算分工说明架构要同时安排应用、数据和技术。末节强调经营模式的转变:渠道增多之外,还需敏捷、开放、可靠和数据应用能力。文中机构规模与互联网金融业态均按历史材料理解。
- 信息孤岛的成因:营业网点分别把手工业务自动化,并不自动形成全行协作。
- 联网不等于数据整合:互联互通解决机构间的信息传输,使汇划和清算更快;数据仍可分散在不同系统。
- 客户端与服务端分工:C/S架构把客户端交互与服务器处理分开,使后端逻辑能够被多个客户端复用。
- 数据集中后的新问题:把账户和业务数据集中有助于统一核算与管理,但集中保存不会自行产生决策知识。
- 同城双中心与异地灾备:同城双中心通过高速链路同步数据,目标是两个中心能够分担业务并切换;异地中心应对两座同城中心共同受灾的场景。
- 大额与小额清算区别:原书把大额实时支付描述为逐笔实时处理、全额清算,把小额批量支付描述为批量传送、轧差净额清算。
- 集中作业释放前台能力:集约运营把可重复的后台处理汇集到共享中心,让网点受理与中心处理分工。
- 信息化银行改变经营方式:银行信息化强调用技术支持已有业务;信息化银行进一步要求信息、流程和渠道融会贯通,改变服务和经营方式。
第2章 银行信息系统架构综述
本章分为2个连续部分,先界定对象及职责,再讨论领域设计、实际案例与变化条件。各部分在同一原书XHTML内相接,以下按阅读顺序展开。
第2章 银行信息系统架构综述(第1/2部分)
本单元从反复规划、局部项目堆叠却无法兑现战略的问题出发,说明企业架构是一套资源与结构决策。企业级蓝图连接战略和项目方案,运营模式决定跨单元需要多大程度的整合与标准化。Zachman提供按角色和问题描述企业的视角,但现实设计还需考虑组织、成本、技术及遗留系统约束。应用架构定义功能边界和交互,数据架构定义生命周期中的来源和使用,技术架构提供实现基础;管控保证这些设计被项目采用并持续更新。这些部分共同形成全书后续章节的骨架。
- 架构是有约束的决策:架构围绕方向、结构、关系和原则进行权衡。
- 企业架构与方案架构:企业级架构说明全行应用、数据与技术如何共同支持战略;方案架构进一步说明某个项目如何实现。
- 运营模式决定共享程度:运营模式可以从业务整合和流程标准化两个维度观察。
- 多视角描述企业架构:Zachman框架用角色与关注问题组织企业描述。
- 业务理想与实现约束:业务架构主要表达理想的业务能力与关系;信息系统架构还要考虑组织与岗位、现有系统、可用技术、成本和资源。
- 三大架构相互约束:应用架构决定业务功能落在哪些系统以及如何交互;数据架构明确数据在哪产生、流转和使用;技术架构提供计算、网络、存储等实现基础。
- 数据架构覆盖生命周期:数据架构不限于数据库表或数据仓库。
- 管控让蓝图持续有效:架构管控同时解决蓝图怎样落到项目,以及项目持续建设后怎样更新架构两个问题。
- 架构对不同角色提供依据:架构为管理层提供战略与投资判断依据,为业务与技术建立共同语言,为项目和实施团队明确范围、接口与质量尺度,也为数据和运维人员说明数据权威、部署需求及变化影响。
第2章 银行信息系统架构综述(第2/2部分)
本单元把架构概念落实为规划工作:原则约束方案,战略与现状分析定位差距,目标架构描述未来,实施路径安排依赖和资源。规划不是一次性的顺序制图,三个阶段要相互协调。业务战略、IT定位、领先实践与技术趋势是输入,但不能替代自身条件。面向变化的关注点包括流程与产品解耦、产品工厂、全渠道共享、横向平台、数据分析和云资源池。其共同目标是让稳定能力支持变化需求;不同机制分属业务组织、应用协作和基础设施层次,不能编成单一技术执行链。
- 原则需要共同权衡:业务成长、松耦合、高可用、前瞻性、适用性、渐进性与安全性是原书列举的总体架构原则。
- 渐进治理历史系统:新规范出台后,旧系统的不合规部分可能大量显现。
- 规划三阶段相互协调:总体规划先理解战略与现状差距,再设计目标应用、数据、技术和管控,最后安排项目与资源。
- 战略解读形成能力差距:战略解读要把定位、挑战和战略举措转为业务能力,并调研业务与IT人员,评估现有架构和管控支持程度。
- 实施路线考虑依赖资源:实施路径规划把蓝图拆成项目,分析依赖、收益、风险、人员、资金和周期,再排近期、中期与远期。
- IT战略的四种角色:支持型IT提供工具,运营型支撑日常运作,变革型推动转型,战略型引领发展。
- 流程与产品系统解耦:流程银行以跨部门端到端客户服务为对象,把可共享的处理环节按全行标准复用。
- 产品工厂支持配置创新:产品工厂预先定义产品目录和可组合部件,再通过装配与参数配置形成新产品,减少每次从头开发。
- 渠道协同需要共享视图:渠道协同从分流柜面,发展到体验一致与跨内外渠道衔接。
- 平台化消除重复能力:按部门或贷种分别建设额度、评级、催收等能力,初期响应快,长期会形成重复投入和割裂视图。
- 大数据需要处理链配套:大数据在原书中体现为采集、存储处理、分析工具方法与数据服务的共同变化。
- 云资源池需要管理配套:资源池把物理设备能力整合为可共享、动态调整和快速部署的资源,以应对需求波动。
- 分布式扩展存在约束:分布式架构用多个节点并行处理业务和数据,以较低成本获取伸缩能力。
第3章 应用架构
本章分为5个连续部分,先界定对象及职责,再讨论领域设计、实际案例与变化条件。各部分在同一原书XHTML内相接,以下按阅读顺序展开。
第3章 应用架构(第1/5部分)
业务组件是将一组相对自足的活动、资源和治理责任放在一起的能力单元;流程则沿一次业务完成的顺序穿过多个组件。两者分别回答谁负责什么、一次事情如何办完。系统划分不能直接照抄部门,也不能把每个流程步骤都建成独立系统。
本单元把应用架构从原则展开到实施:分层隔离职责,分组聚合能力,集成解决系统间协作;业务组件与流程提供两种输入视角,目录、矩阵和图将目标转为可沟通与检查的制品。逻辑应用还需映射到物理系统,并分析现状差距和实施路径。核心银行部分进一步强调功能范围的权衡、事务完整性和统一客户信息。这些机制分别处理边界、关系和正确性,不能互相替代。
- 分层与分组各有目的:分层按职责隔离技术与业务,降低跨层依赖并支持故障隔离;分组则把关联紧密的业务功能聚合,帮助系统内高内聚、系统间低耦合。
- 渠道整合不应堆业务:渠道整合层复用各渠道共有的认证、日志、消息与页面组织能力,主要服务接入和客户体验。
- 集成模式的中心负担:网状集成允许应用点对点连接,路径短但关系难管;轮状集成以核心业务系统为中心,连接简单却叠加业务和中转负担;总线把互联规范和转换集中处理,通常少承担业务逻辑。
- EAI与SOA集成粒度:EAI以已有应用为集成单元,通过消息转换与路由让系统交换信息;SOA以可提供和使用的业务服务为单位,并允许组合编排。
- 企业服务总线的职责:ESB在原书中作为服务之间的消息主干,负责协议与格式转换、地址路由,以及接收分发请求。
- 业务组件用服务协作:业务组件围绕明确业务用途组织活动、资源和管控,对外用标准服务接口协作。
- CBM的能力责任坐标:组件化业务模型按业务能力划分活动,再按引导、控制和执行组织责任。
- 流程模型连接活动关系:流程模型从价值链到操作步骤描述活动关系,还记录定义、输入输出、归属及不同用户视图。
- 现状清单要覆盖依赖:现状分析不仅数系统,还需记录功能定位、用户、数据、集成关系和实现技术。
- 交付物与制品不同:交付物是项目正式审查确认的结果;制品是针对某个关注点的细粒度架构描述,例如目录、矩阵和图。
- 目录矩阵图回答不同问题:目录列出对象,矩阵呈现两组对象之间的关系,图形适合展示结构与沟通。
- 逻辑应用与物理系统映射:目标应用架构先描述逻辑功能与分组,目标系统架构再把能力安排到可实施系统。
- 接口目录揭示隐性耦合:批处理文件、数据库直连和API都构成系统依赖。
- 角色与位置也是架构输入:系统与组织、角色和用户位置的映射,分别说明谁负责使用、谁以什么身份操作,以及用户与基础设施在哪里。
- 大小核心是范围权衡:大核心把基础存贷款、客户和核算与较多辅助管理功能集成,小核心剥离部分辅助能力以保持核心交易处理精简。
- 联机事务框架抽离共性:核心银行的联机事务需要并发处理及事务完整性。
- 转账原子性是全有全无:账户A向B转账,两个账户的更新需要作为一个业务整体完成;只扣A或只加B都不是成功转账。
- 隔离一致持久各有责任:隔离描述并发交易的相互影响约束,持久性要求已提交结果在故障恢复后仍可找回,一致性关注业务和数据约束在交易前后成立。
- 分布式事务协调故障恢复:跨机器事务要协调多个参与进程,故障可能出现在任一节点,因而恢复与未提交操作的处置比本地事务复杂。
- 统一客户编码与分层信息:按条线重复采集客户会造成多份信息和权威性不明。
- 交易未知状态需要后续判定:图3-12把原子活动执行区分为成功、未知和失败。
第3章 应用架构(第2/5部分)
这里先区分几个常被混用的对象:客户标识识别服务对象,账户记录某类资金或业务状态,协议约定客户购买或使用的服务,介质是客户访问服务的载体。把它们分开,新增入口或产品时就不必同步重做所有账户结构。支付、核算、风险计量又各自使用这些对象完成不同职责,需要共享一致身份而保留各自处理边界。
本单元从统一客户信息延伸到隐私权限与客户评价,再说明核算、产品、介质、协议和账户应怎样按变化速度分离。支付清算平台处理共享接入与跨地区差异,日切和批次要避免把外部数据就绪当成固定前提。电子银行把渠道控制与客户服务分开,并按风险选择认证手段;具体证书、控件与客户端结构按成书年代理解。风险管理部分把数据、计量、业务控制和资本绩效连起来,强调计量结果必须回到审批与交易;不同风险机制再按时效、数据和模型特征分工。末尾进入管理会计,开始讲资金转移定价与成本分摊如何支持多维价值判断。
- 客户共享需要权限边界:企业客户信息统一视图解决多份记录和权威来源问题,但共享不能取消法人、专业领域和角色的访问边界。
- 统一客户评价的三统一:客户统一评价把跨渠道和产品的交易数据按共同标准采集,再按一致方法形成评价。
- 核算与产品按可变性分离:会计核算依赖相对稳定的会计规则,产品服务则随市场变化。
- 事件驱动核算规则解析:核算引擎接收产品交易事件,识别产品并提取核算信息,按预设转换规则生成会计分录。
- 介质协议账户职责不同:介质承载客户访问标识,例如卡、存折或登录ID;产品协议是具体产品使用关系;账户记录货币或非货币数量变化。
- 介协分离稳定核心账务:将介质和产品协议信息从账户结构中抽出,分别提供公共服务,可以支持一对多、多对一或多对多的介协关系。
- 结算金额与时效分开分类:全额结算按实际支付金额转移资金,净额结算先对冲再转移差额。
- 支付与产品系统松耦合:统一支付清算平台负责多渠道和多产品的清算接入、账户、汇路、任务队列与报文等共性能力;产品系统负责具体产品服务。
- 跨时区清算日期要有口径:跨地区支付需要明确核算与清算各自采用哪个当地日期,而不是用一个服务器时间覆盖所有机构。
- 报文转换必须保留含义:跨地区清算面对多种报文标准,转换可降低内部复杂度,但不能损失支付语义、导致客户与银行误解。
- 监管差异在本地接入处理:跨区域清算可通过本地前置负责或驱动当地反洗钱、黑名单和差异化规则,再与共享平台协作。
- 外部日切差异影响对账:银行与外部清算方的机器时间和日切安排不同,可能出现本行开始对账而文件尚未就绪。
- 清算批次按时效拆分:支付清算的不同处理并不具有相同截止时间。
- 电子渠道控制与服务分层:电子银行中,渠道控制层先处理会话、安全、权限和流量等公共控制;客户服务层封装后台能力并组合业务流程。
- 按风险选择认证策略:注册、登录、支付和信息修改等场景风险不同,可采用分级认证与控制。
- 挑战应答绑定验证上下文:挑战应答通过给出一次挑战并验证相应回答,减少静态凭据的重复使用。
- 带外确认引入独立渠道:带外认证在高风险交易被暂停后,通过另一渠道确认客户意图,确认后才继续。
- 数字签名确认交易内容:原书U盾方案在设备内生成密钥并保留私钥,用签名供服务器验证客户与交易信息。
- 多因素需要条件差异:多因素认证组合不同证明条件,以减少单项凭据失守造成的风险。
- 瘦客户端与本地桥接:原书B+C/S方案在浏览器外包一层薄客户端,页面和业务逻辑主要由服务器提供,本地组件由交互模块调用并回调网页。
- 风险体系分工与结果闭环:风险数据平台提供统一指标,分析平台产生计量结果,业务控制平台把结果用于审批和交易控制,资本绩效平台支持管理与评价。
- 额度计算与占用分工:额度计算依赖客户信息和信用状态,关注数据深广度;额度占用随业务实时变化,关注并发处理和全行一致视角。
- 风险计量需要服务化输出:信用风险计量既用于事后分析,也可能在客户准入时向信贷与信用卡系统提供及时判断,因此需设计联机接口。
- 市场风险事前事后分层:复杂市场风险计量通常用于事后测度,不能阻止已经成交的风险暴露。
- 统一定价引擎保持口径:统一定价引擎为前台试算和后台批量估值提供共同模型,减少同一金融产品在不同用途中的估值口径差异。
- 操作风险监控按时效部署:非实时监控可异步取数到独立监控库,分析后影响后续交易;实时监控需在当前交易期间判断和干预,简单规则可内嵌,复杂规则可交给高性能外部系统。
- 风险模型也有生命周期:风险模型依赖交易模式和事件特征,而这些特征会变化。
- 损失数据库先于计量引擎:操作风险高级计量依赖损失数据,必须建立申报、审批和认定流程,并辅以情景分析、自评和关键风险指标。
- 管理会计面向多维价值:财务核算满足记账和机构层报告,管理会计进一步整合财务、业务和其他数据,为产品、部门、客户等对象分析成本与收益。
- 资金转移定价四项能力:内部资金转移定价通过曲线、方法、调整与发布来支持资金价值管理。
- 分摊动因连接成本对象:成本分摊先统计作业量、笔数、人数和物资等基础数据,再按成本与承担对象定义动因及计算比例。
第3章 应用架构(第3/5部分)
本单元先收束管理会计:分摊路径、盈利模型和多维报告需要与财务、风险及业务系统配合。随后解释服务总线的职责边界和运行能力,实时服务与批量交换分开,路由、协议转换、异常恢复、监控与配置共同形成可管理的交互平台。合作互联进一步把共性金融能力、行业模型和合作方差异分层,特别区分传输应答与业务回报。流程银行将企业流程、组织与文化一同再造,集中作业只是起点;产品创新依赖全生命周期、主数据和可复用能力。渠道协同最后把这些共享基础连接到客户跨渠道的连续行动,前台整合与中后台能力缺一不可。
- 成本分摊两种方向:传统分摊先归集机构成本,再按动因分到业务单元、产品和账户;作业成本法先把作业成本分配到账户,再逐层汇总。
- 盈利模型与分析维度:盈利分析用损益与成本指标组成模型,再按机构、产品、条线和客户等维度计算。
- 固定报告与灵活查询:灵活查询可从已有输入输出数据少量加工形成报告,固定报告在格式复杂、计算重且数据量大时,适合预先在集市汇总存储。
- 管理会计的数据依赖:管理会计把财务费用、科目账务与业务交易连接到责任中心、客户、产品和条线,还使用资本占用、评级与内部定价结果。
- 服务总线与数据总线分工:服务总线侧重实时和准实时请求,可支持小文件;大批量数据交换通常由数据交换总线承担。
- 集成原则保留例外:跨层、跨组、跨平台、跨地域、多调用方或易变提供方通常适合通过总线集成,同一应用内部可以不经过总线。
- 交互模式分开三个维度:同步与异步描述调用方是否等待处理,单向与请求响应描述信息流方向,发布订阅描述按主题传播给订阅者。
- 总线接入路由接出:接入处理协议、接口和数据转换;路由根据规则决定目标,可按报文内容匹配;接出连接后端,并可在多个服务点间负载均衡。
- 异常恢复区分回滚补偿:异常管理需区分业务与系统异常,统一分级、记录和恢复。
- 监控与流控共同保护总线:集中监控收集并关联日志,预警提示接近风险的状态,报警响应已发生异常;阈值和开关可配置。
- 配置集中与动态加载:服务配置涵盖路由、服务点、负载均衡、SLA阈值和超时。
- 服务库贯穿设计运行:设计阶段,服务库保存已用或计划使用的服务信息,支持查找和复用;运行阶段,它提供服务访问点等信息。
- 合作互联分离行业与共性:银行产品与合作方是多对多关系,同一产品在不同行业还有差异。
- 服务交付与提供分层:合作平台交付层通过消息等方式对外发布金融服务,提供层组合底层能力形成行业特色服务,并以标准API暴露。
- 传输应答不代表业务成功:高时效外联中,接收报文的传输层可先返回应答,业务处理层完成校验和处理后再回报结果。
- 直联分离通信与业务:原书按实时交互与批量交互区分直联和间联。
- 流程银行是运营再造:部门银行以组织条线分配资源和考核,容易造成跨条线重复、遗漏和推诿;流程银行以端到端客户流程重新安排业务、管理和组织。
- 流程再造兼顾标准与弹性:流程再造应先关注最能体现竞争力的核心流程,再根据客户群与风险差异提供弹性。
- 集中作业只是流程切入点:集中作业、跨条线标准化和全行数据流程建模,是原书归纳的不同实践范围。
- 前台受理与中心处理:网点接收指令、审核要素与采集信息,中心基于影像完成录入、复核和授权。
- 原子服务支持流程重组:集中作业平台要在企业流程层组合服务,核心系统需要暴露可拆分重用的短交易能力。
- 创新管理覆盖产品全程:产品创新从调研与创意筛选进入设计、装配、测试和预评估,再到营销与销售,最后根据效果决定调整。
- 产品目录支撑创新评估:统一产品工厂若暂时不可得,可先建设统一目录与主数据。
- 产品后评价依赖统一数据:产品评价要结合客户视角、统一产品编码、产品目录和全行数据整合,分析销售、效益与市场反馈。
- 协同要求一致也允许差异:全渠道协同既要支持同一服务在多个渠道一致提供,也要支持按地区、客户和渠道选择性投放与差异定价。
- 渠道整合是必要条件:统一认证、日志、消息与分发先把前台渠道连接起来,但跨渠道服务还需要中后台客户关系、流程、产品和数据能力。
- 分析与操作型客户管理:历史数据先在后台形成客户与偏好分析,再将适合现场使用的结果送入操作型客户关系管理系统,支持接触时响应。
- 事件与主动营销驱动不同:事件营销以客户接触和业务事件为触发,结合事件库与CRM选择内容;主动营销可由产品、定价和数据分析驱动。
- 产品渠道流程三维分解:同一产品可以从多个渠道进入,同一渠道也能承载多类产品,而营销、办理和售后是另一条流程维度。
第3章 应用架构(第4/5部分)
本单元用平台化概念解释共享中后台如何支持差异化服务,然后以三类银行说明架构决策必须对应战略与约束。大型银行重视核心连续运行、联机批量协调和集团差异分层;股份制银行强调核心稳定、双前置互备及平台金融;区域多法人银行以业务、公共服务和技术平台组织共享与扩展。案例并非通用标准,个别大小核心表述存在矛盾,笔记按实际职责解释并显式保留冲突。联机批量死锁及统一顺序方案分卡记录;脏读只作为历史性能选项,不推广到资金决策。单元最后引出移动化的场景变化,为下一单元讨论趋势提供背景。
- 平台化复用企业能力:平台化从跨条线、产品和领域的差异业务中抽取可共享的通用业务与技术组件,使新服务复用已有能力。
- 平台组件需中立接口:平台中的服务组件通过定义清晰、尽量独立于具体硬件、语言和操作系统的接口协作。
- 耦合强度需看依赖内容:数据耦合主要通过明确参数交换所需信息;标记耦合传递整组记录,使接收方依赖其结构;控制耦合则把控制决定传入另一模块。
- 业务日期与自然日期分开:银行日切涉及多项日期相关工作,集中在一个时刻执行可能暂停服务。
- 联机批量共享资源需调度:联机要及时响应,批量要按时完成,两者并行时争夺数据库和计算资源。
- 更新顺序冲突造成死锁:联机与批量同时操作相同资源时,若分别持有对方后续需要的锁,就可能互相等待,阻断两条处理链。
- 统一更新顺序减少死锁:联机和批量采用相同的数据更新顺序,使共同资源的获取方向一致,可减少因顺序相反而形成的循环等待。
- ODS提供近期操作型数据:ODS集成交易系统的近期细节数据,为生产人员、管理人员或客户提供时效较高的跨系统查询。
- 集团差异按变化范围分层:集团架构先统一跨行业与区域的共性能力,再按行业或区域组织共享特色模型,最后支持分支机构个性配置。
- 多界面可共享同一后台:分支机构的文化和使用习惯可能不同,而业务处理规则中仍有大量共同部分。
- 银行案例需按上下文理解:股份制银行案例围绕稳定核心、可靠运维和中小企业服务战略开展规划。
- 核心引擎范围精简能力专业:案例核心保留全行公共客户、产品、账户和核算能力,在范围内追求专业、准确和高效,外围通过前置协作。
- 异构双前置降低共同缺陷:同构前置可能被同一平台或底层缺陷同时影响。
- 双前置互备要有切换链路:双前置真正互备,需要服务能力和发布版本一致,调用方能按配置切换,提供方同时接入所需前置,并为关键服务准备备份线路。
- 平台金融整合三种信息流:平台金融连接客户交易或管理平台与银行系统,组合支付、现金管理、清算和融资服务。
- 平台接入保留第三方风险:银行可直接对接客户,也可由第三方技术平台提供适配和数据交互。
- 多法人平台共享且可选择:区域银行案例由省级平台为多个法人提供标准组件和共享能力,各法人按需要选择配置,并开发地方特色模块。
- 三类平台分离技术业务:技术平台提供基础工具与集成能力;公共服务平台提供跨业务共享的客户、产品、核算等能力;业务平台在此基础上满足特定用户和领域流程。
- 网点与交互平台重组触点:案例网点平台将前台受理与后台处理衔接,支持柜员从单纯交易操作转向客户服务;信息交互平台统一通知、预警、披露和营销的双向交流;内部门户整合办公入口。
- 业务平台覆盖不同金融场景:案例把电商、统一支付、监管报送、村镇银行、资金、信贷、国际和中间业务等按场景组织。
- 数据与作业平台提供服务:数据服务平台提供经营绩效报告、客户分析和主题计算;集中作业平台安排专业处理、监督和风险控制,支持前台受理后台处理。
- 公共服务管理核心对象:案例公共平台中,客户管理提供共享客户视图,渠道整合实现签约与跨渠道衔接,产品管理负责目录模板配置和生命周期,产品支持承担账户与账务、清算和差错调整。
- 外联风控运维职责互补:外联平台适配内外技术标准;风险整合平台识别和分析业务风险;运维平台监测系统运行与连续性。
- 四类技术集成提供底座:应用集成负责路由、报文与流量;数据集成按统一标准清洗整合并提供历史加工访问;流程集成支持规则、影像内容和流程组合;安全认证管理安全信息并提供认证加解密等服务。
- 移动化强调场景与随身性:移动互联网把终端、通信与互联网结合,具有随身、即时、位置相关和多设备等特征。
- 虚拟子账户不等于银行账户:图3-45把支付融资系统中的虚拟子账户与银行真实账户分层,虚拟子账户用于标识客户、商户、合作方收益、待清算资金及手续费等内部资金归属或用途,实际收付仍需与银行账户及核心等系统衔接。
第3章 应用架构(第5/5部分)
本单元收束应用架构的趋势讨论。移动化需要围绕客户和员工的真实场景组织入口,并以统一开发管理、安全和反馈能力支撑多个应用;它也可能反推原有客户系统改进。大数据则从业务、数据形态、技术与组织共同理解,统一规划平台并与仓库及ODS融合,而非为每个需求重复建设。互联网金融部分保留2014年前后的定义与模式,区分支付、网络借贷、数据金融、线上服务和门户的责任关系,不当成当前经营建议。最后将变化归结为渠道、服务、外联、数据整合以及限流和分布式能力;对无限扩展、CAP和一致性表述加上读者核验的边界,避免将历史概览当作严格协议说明。
- 移动服务同时面向客员工:银行移动化既包括面向客户的手机银行、直销和支付,也包括面向员工的移动营销、办公、管理与柜员。
- 移动体验从角色场景出发:移动应用需明确用户群、使用场景和拟实现目标,按角色和场景安排交互。
- 移动开放需要数据反馈闭环:移动渠道提供交互,也提供理解使用行为的反馈。
- 移动开发管理平台分工:统一开发平台为多种App提供公共开发和接入能力,避免每个需求新建一套技术竖井;管理平台管理设备、应用、内容和运行策略。
- 移动环境扩大安全边界:移动设备不再总处于可控网络和场所中,安全规划要同时考虑访问、认证、传输、数据、应用与设备环境。
- 既有系统移动化复用服务:已有B/S系统可改造页面适配终端,C/S系统可提炼服务并用标准接口供移动前端调用。
- 移动化反推客户系统演进:移动使用使客户经理更深入了解客户,行为和需求也超出传统交易信息,可能反过来要求客户信息与CRM系统改进。
- 大数据包括业务组织:狭义大数据指传统工具在一定时间内难以处理的数据集合;广义还包括业务模式、平台技术和组织流程。
- 线下信息优势不会自动延续:银行长期积累资金和信用信息,但原有面对面调查和分支服务半径可能无法覆盖线上行为。
- 大数据形态影响处理:原书区分结构化相对静态数据、半结构化或非结构化相对静态数据,以及动态流数据。
- 四V包括不同版本解释:大数据常以规模、类型和速度描述,第四个V在原书中有价值密度与不确定性两种解释。
- 数据平台要有五种能力:原书把能力分成获取集成、存储处理整合、分析展现、治理、开发运维。
- 大数据平台与仓库融合:统一规划大数据平台不是取消仓库和ODS,而是明确其职责和数据流。
- 数据沙盘支持探索:数据沙盘快速组织行内外、结构化和非结构化数据,供业务人员查询、探索与可视化分析。
- 互联网金融定义有宽窄:原书引2014年报告区分广义与狭义:前者包括金融机构通过互联网开展业务,后者限互联网企业的相关金融业务。
- 第三方支付三种关系:原书区分跳转银行网关、先转入支付账户再支付,以及通过协议绑定银行账户的快捷支付。
- 网络借贷案例保留时代性:原书将P2P列为当时互联网金融模式,按是否引入平台或担保公司作比较,并主张融资与中间收入收益。
- 数据金融区分数据来源:数据金融可利用第三方交易数据,也可由自建业务平台积累经营行为数据。
- 线上服务与金融门户不同:传统服务互联网化通过直销、第三方入口或移动终端扩展银行服务;金融门户则汇集产品供搜索、比较与销售,银行可合作接入或自己运营门户。
- 不确定流量需要预先保护:互联网活动参与者可能超出既有客户,且流量受营销力度影响,峰值难预测。
- 四种整合连接客户流程:渠道整合统一接触与操作,服务整合组合产品能力,外联整合提供规范第三方通道,数据整合形成可分析的信息。
- 限流分流与异步各有作用:限流按并发、交易类型、频率、渠道、系统或机构限制进入量;异步交易池调节发送速度;分流将不同交易部署分开以隔离资源争夺。
- 分布式封装不能保证无限扩展:组件化和明确接口有助把服务分布部署,减少依赖并支持容量扩展。
- CAP要按分区场景理解:原书用三选二概括CAP,学习时需加限定。
- 一致性需求按业务区分:原书建议对允许延迟一致的业务使用异步或批量状态同步,以减少同步依赖。
- 移动战略区分内外因素:SWOT将自身优势、劣势与外部机会、威胁分开。
第4章 数据架构
本章分为3个连续部分,先界定对象及职责,再讨论领域设计、实际案例与变化条件。各部分在同一原书XHTML内相接,以下按阅读顺序展开。
第4章 数据架构(第1/3部分)
ODS是面向近期操作与查询的数据存储,常较贴近源系统;EDW即企业数据仓库,将跨系统数据按统一主题与历史组织,服务分析。集市再按特定领域或用户需要提供数据。它们不是必须购买的三款产品,而是不同数据职责;一个平台可以实现多个职责,也可以按负载分开部署。
本单元从数据生命周期展开企业数据架构。产生环节要兼顾交易效率和信息正确,流转传递信息,整合统一对象与语义,应用将加工结果送回决策,归档与消亡平衡访问价值、成本和保留约束。ODS、EDW、通用汇总、集市、实时决策和历史存储分别服务不同目标,逻辑分层比堆叠产品更重要。减少明细搬迁和重复加工可以控制成本与口径,但允许有记录的业务例外。规划因此必须从量、质、时效和治理现状出发,以企业模型明确分布与流向,并通过评审和实施路径落地。末尾从业务模型、流程模型推导数据分类,以FSDM九域作为可参考而需适配的分类框架。
- 业务离散数据仍紧密关联:不同业务系统分别产生客户、合同、账户和交易数据,但这些数据仍通过完整业务流程关联。
- 流转暂存不等于整合层:数据交换可为效率和可靠传输做简单处理或暂存,但其目标仍是流转;整合层则按全行共享和分析语义组织数据。
- 物理集中与逻辑整合:物理集中把分散数据汇集起来,逻辑整合则统一对象、关系和业务语义。
- 共性加工统一指标口径:多个分析应用若重复计算相同指标,容易浪费资源并产生不同口径。
- 实时与历史按价值成本权衡:实时决策要求快速获取与处理,可把昂贵能力集中在时效价值较高的数据;历史存储则以低成本保存大量长期数据,支持较慢查询与探索。
- 数据价值需要传导机制:数据从明细到汇总再到模型分析,增加加工深度;加工结果还需通过推送、探索或交互到达业务决策者。
- 归档消亡需考虑保留约束:归档将低频使用的数据转到低成本管理体系,仍可能查询和分析;销毁则终止其可访问性,需结合业务价值及适用保留要求。
- 分析应用形成数据回路:不同分析系统并非独立报表。
- 渠道产品也需主数据:渠道协同需要识别统一渠道对象,比较成本、使用效率与贡献;产品创新也需统一产品身份及其数据,支撑投入产出和定价分析。
- 数据需求约束技术选择:流转时效需要软件、带宽和容量支持,不同存储层需要不同扩展方式;云部署、数据库选择、在线近线离线策略、安全和灾备也会反过来限制数据访问。
- 数据分层必须约束用途:产生层优化交易记录,流转层服务交换,整合层协调共享数据,应用层服务特定分析,归档层管理低频数据。
- ODS与EDW保存目标不同:ODS以贴源或近源模型提供高时效导出和接入,并满足物理集中;EDW以主题化模型保存整合明细与较长期历史,减少源系统变化对分析的直接冲击。
- 汇总层与集市关注点不同:通用汇总层保存跨领域共享加工和指标,数据集市围绕特定应用分析和访问。
- 减少明细搬迁控制成本:原始明细规模大,反复保存和移动往往比处理小结果更昂贵。
- 适度冗余有明确理由:历史卸载、安全隔离、专用计算引擎或高效访问,可能要求额外保存明细或结果。
- 主数据共享存在效率权衡:减少从属系统重复保存主数据,可提升语义一致性,却可能增加对权威系统的依赖和访问延迟。
- 主数据标准定义合并规则:主数据标准不只是编码长度,还要定义对象、分类、识别、归并、属性及覆盖取用规则。
- 仓库模型稳定不等于不变:仓库需要在源业务持续变化时维持相对稳定的共享结构。
- 例外设计要受管控:业务目标可能要求偏离减少冗余等原则。
- 规划调研需要量质时效:数据架构调研应同时收集规模增长、单条记录与更新频率、联机与分析并发时效,以及人员技术、治理和安全机制。
- 参考案例按问题组合:参考案例应考虑相近业务模式与规模,也可从不同机构选择不同模块的经验,并与行业平均或不同成熟水平比较。
- 企业模型指导分布与流向:目标设计先定义主题、实体和关系,再按生命周期分析操作,建立数据在应用中的分布矩阵及流向、集成关系。
- 企业评审不能由局部主导:单一系统可以具有完整生命周期,但仍要服从企业级主要定位;非核心功能可借用全行共享层。
- 过渡策略保留演进路径:成本工期可能要求暂时妥协。
- 流程模型提炼数据要素:业务模型先明确角色、授权、规则、变化因子及信息等要素,流程模型再拆成任务、输入输出和约束。
- FSDM九域是分类参考:原书以FSDM说明银行数据的九种分类:相关方、位置、产品、合约、分类、资源项、事件、条件与业务方针。
第4章 数据架构(第2/3部分)
本单元把源头数据管理落到分类、标准和主从分布:数据对象的变化特征决定操作与存储,禁用和编码历史影响长期一致性。业务系统拆分后,实时消息与批量数据交换共同连接生产和分析,交换三区按职能而非固定先后组织。整合平台进一步区分ODS、仓库、共性加工、实时决策和历史存储,解释每层模型及访问目标。仓库逻辑模型保持应用中立,物理模型按来源与平台调整,治理、标准和元数据提供执行与反馈机制。视图与预加工、规则引擎与动态仓库都是时效、复用与成本之间的取舍;最后以逻辑数据仓库说明多种数据形态的协作,而非万能单一平台。
- 数据标准包含业务技术:业务标准定义对象、分类、识别、属性含义与代码取值,技术标准定义类型、长度、格式和表达规范。
- 四类数据变化特征不同:主数据描述跨系统共享的相对稳定对象,事件数据记录发生的活动,参考数据规定代码取值,关系数据记录对象与事件之间联系。
- 主从系统需分配属性权责:主数据系统发布权威识别与属性,从属系统可引用、保存副本并补充信息。
- 禁用编码不能重复使用:主数据直接物理删除可能破坏生产和历史分析的引用,原书建议逻辑删除或禁用,并禁止复用旧编码。
- 操作类型决定存储选择:主数据逐条创建修改关注响应与事务完整性,可按属性类型和更新频率组织;参考数据较小可适度缓存冗余;事件记录关注追加、流水与导出。
- 生产批量按职责保留:完成本系统及其耦合业务流程所需批量应留在生产侧,简单当日报表也可保留;深历史与跨系统分析宜移至管理分析体系。
- 流程账务拆分带来协调:信贷流程和核心放收款核算拆开,可缓解核心压力,却把业务原因与账务结果分散到不同系统,增加耦合和一致性保障要求。
- 消息传递模式与连接寿命:点对点传递有明确双方,可复用长连接或每次建短连接;广播发布不指定单个目标,由接收方按需要处理。
- 消息队列缓冲异步交付:消息队列在生产与接收之间保存待交付消息,使发送方不必始终同步等待接收处理。
- 抽取策略同时看源与消费:抽取方案需同时分析数据来源、集中或分布、时效、队列直连文件等方式、源系统窗口和全量增量策略。
- 交换处理负责筛选标准化:交换平台可比较增量、筛选行列、转换格式与代码,并按需要投影、加密、压缩和拆分。
- 三种交换区不是流水线:原始区保存贴源文件,标准区保存标准化后的整合数据,加工区保存共享或应用结果的供数文件。
- ODS四区对应不同消费:原书将ODS分为当日增量、当日完整镜像、准实时交换存储和短期历史拉链区域,分别满足增量、全量、近实时和短历史需求。
- 仓库四特征服务决策:数据仓库面向主题、集成、相对非易失并随时间保存历史,主要服务管理决策。
- 仓库逻辑模型保持中立:整合逻辑模型按业务主题组织多来源细节与关系,为多个分析应用提供共同基础。
- 物理模型适配平台来源:物理模型从逻辑模型出发,剔除当前无来源的项,增加后台加工所需字段,并按平台性能拆合实体。
- 金融逻辑模型十主题:原书FSLDM参考框架用当事人、协议、产品、内部机构、事件、渠道、财务、资产、地址和营销组织银行数据。
- 当事人允许多个角色:当事人是银行关注的个人或组织,不只等于客户。
- 协议连接客户产品关系:产品是可提供的服务品种,协议是当事人与机构针对其条款形成的实际关系,账户、合同和借据等可在相应模型中表达。
- 整合深度分实体记录代码:实体级整合统一被描述对象及主题结构;记录级处理跨源的具体主数据或事件实例;代码级统一取值含义。
- 仓库与治理反馈协作:仓库汇集跨系统数据,也成为质量检查、标准应用和元数据管理的重要现场。
- 元数据支持血缘影响分析:元数据保存源结构、模型和加工依赖,血缘分析追查数据从哪里来,影响分析判断某项变更会波及哪些下游。
- 共性加工按需求迭代:共性加工从多个真实应用中提炼公共逻辑,既不过度抽象,也不变成某个应用专属层。
- 视图与预加工表的权衡:视图在访问时展开逻辑,节省额外存储且易改,但复杂或重复访问会反复计算;预加工表提前算好,访问更快,却需空间、调度及历史重算管理。
- 预连接计算聚合粒度不同:预连接把分散信息提前关联,预计算提前完成复杂规则而可保持细粒度,预聚合按维度汇总并改变粒度。
- 规则引擎与动态仓库:消息总线加内存规则引擎侧重快速响应,通常对复杂数据整合依赖较少;动态仓库将准实时小批与已有数据结合,更适合历史整合与复杂计算。
- 日志抽取也消耗生产资源:日志式变更捕获能支持准实时导出,避免仅依赖日终全量,但打开、读取和解析日志仍会增加负担。
- 历史存储支撑原貌追溯:历史平台可保留源业务、整合层与应用结果,支持深历史查询、分析取数和系统初始化,并为核心减负。
- 逻辑仓库组合多种处理:逻辑数据仓库将传统关系型仓库与处理非结构化、流数据等能力协作,追求跨形态关联分析与合适成本。
第4章 数据架构(第3/3部分)
本单元围绕数据应用和生命周期收束第4章。分析域从业务能力推导,领域共享与应用独享集市按目标和引擎选择仓内外部署;报表、计算、探索和挖掘把结果交付给不同用户。风险和监管报送两个专题展示如何保存模型过程、共享口径、管理规则版本并追溯调整影响。归档部分解释成本、访问、业务与保留要求的权衡,经验年限和历史法条不作为现行策略。最后讨论互联网新行为与主数据、稀疏标签、混合数据平台,以及内存、列存和流处理的适用性。变化主要扩展处理与分布选项,不能替代清楚的业务语义、生命周期与治理责任。
- 业务能力决定分析域:分析域应围绕需要提升的业务能力,将共享数据源、加工逻辑和输入输出依赖的应用组织在一起。
- 领域共享与应用独享集市:领域共享集市管理多项关联应用的明细、共同加工和结果;应用独享集市只服务单一需求,存储处理与周期可更专用。
- 集市按使用需求组织:仓库面向全行、强调稳定和可扩展,集市服务某一分析领域,更重业务可读性和预加工。
- 仓内仓外部署按计算选择:集市可全在仓内、仓内大仓外小、仓内小仓外大,或全在仓外。
- 综合数据服务超出报表:数据价值可通过报表查询、专业计量引擎、交互探索及模型实验室等方式交付,再由门户组织入口。
- 风险类别说明数据需求:原书列利率、市场、信用、表外、营运、外汇、主权、流动性与破产等风险,分别指向价格、履约、或有义务、系统操作、政策、资金和资本约束。
- 风险集市保存模型全过程:风险集市需保存基础明细、敞口头寸等预加工、单一与组合计量结果、压力场景和结果,并提供引擎及报告接口。
- 风险应用以项目群建设:风险体系中有信用、市场、操作等单一风险分析,也有资本、定价、限额、流动性和综合报告等应用。
- 监管报送统一来源与校验:一制度一项目容易造成重复供数和口径冲突。
- 报送血缘支持调整试算:报送集市将标准口径、可配置加工、质量检查和元数据关联起来,使业务人员在补录或调整试算时判断对其他报表的影响。
- 集市完整不必复制明细:集市逻辑上可以具有完整明细与加工层,物理上却不必反复搬迁仓库明细。
- 生命周期管理安排存储:生命周期管理从创建、更新、分发、存档到销毁选择存储处理方式,目标是在预算内维持可用价值。
- 归档周期由三种需求约束:保留周期来自运营与分析需要、适用规则约束,以及为客户提供历史证明等服务。
- 历史经验期限不是通则:13或25个月例子用于观察完整年度周期,5年与7年例子源于原书所述风险、审计和历史趋势需求。
- 数据销毁需技术与授权:数据是否允许销毁要先经过业务和规则约束判断;电子介质上的普通删除不必然使内容不可恢复,纸质资料则需相应物理处置。
- 案例评价要看能力适配:原书用大型与较小银行比较生命周期分层、实时决策、历史存储、分析域和服务能力。
- 线上渠道与新业务数据不同:原有金融业务移到线上,主要改变渠道和流程分布;采用互联网式新业务则可能产生浏览、试算、虚拟账户、合作方等新对象与行为。
- 浏览与支付可不同可用性:电商式流程中,浏览选择与最终支付可相对分离,让前者在支付暂不可用时继续。
- 行为记录需识别微小差异:敏捷试错中的产品或流程差异可能很小,若记录无法区分版本与行为,就难判断结果来自什么变化。
- 新主数据扩充整合模型:虚拟账户、合作方、潜在客户、虚拟身份和新渠道等信息,可能超出旧模型。
- 混合分布处理可并存:原书预测传统MPP与外部数据关联、Hadoop底座上的类MPP引擎,以及Hadoop处理等形式并存。
- 客户行为标签天然稀疏:客户行为种类多、变化快,并非每个客户都出现每个行为,因此标签集合常形成动态稀疏结构。
- 建模位置与样本范围可变:分布式平台使部分分析可在数据所在位置运行,并支持更多全量计算,减少搬到专用环境的成本。
- 内存列存流处理各有负载:内存处理减少I/O并加速规则或复杂关联,列式组织有利压缩和按列分析但逐行全字段修改可能不利,流处理在产生时持续清洗转换和分析。
- 低成本副本仍需治理:硬件成本下降让预加工与中间结果更易采用,但重复逻辑和副本仍会造成口径、更新和清理问题。
第5章 技术架构
本章分为5个连续部分,先界定对象及职责,再讨论领域设计、实际案例与变化条件。各部分在同一原书XHTML内相接,以下按阅读顺序展开。
第5章 技术架构(第1/5部分)
技术架构中的非功能需求描述系统以什么品质工作,例如响应时间、容量、安全和恢复能力。操作模型把应用组件放到实际节点与网络环境中,并说明如何运行、监控及恢复。设计某种拓扑以前,先说明要保护什么业务、允许什么中断和数据差距,才能评价方案是否合适。
原书5.1.2把CAP分区容忍性误解为数据分区对性能的影响,并将提出时间记为2010年;这与已核对的2002年Gilbert–Lynch论文不符。分区指节点间通信被切断,不是数据分片。
本单元先明确技术架构的交付对象:在系统需求和现实约束下,以操作模型承载应用和数据,并验证性能、连续性、安全和管理品质。原书的系统分类只是设计线索,CAP定义和技术路线推断存在简化,需要保留已核验的概念边界。网络部分以水平分区、垂直分层组织复杂度,从资源整合与虚拟化解释数据中心网络的特殊性。大二层、远程板卡、一分多和虚机感知分别改善调度与管理,同时引入扩展、耦合或故障域权衡。瘦胖分区、智能服务链与外联架构说明物理拓扑可变而逻辑隔离不可省;末尾比较分支接入及传统广域模式,为后续多中心承载网络铺垫。
- 技术架构交付运行能力:技术架构不仅列设备,还要安排网络、计算、存储、基础软件、灾备及开发运维环境,使应用与数据获得所需服务品质。
- 系统分类辅助非功能设计:按中断影响和容忍度分类,可以给系统配置不同连续性与可靠性目标。
- 需求与约束共同形成架构:系统需求包括功能、与外部系统的关系以及性能安全等质量目标;约束包括现有软硬件、人员工具和企业标准。
- 操作模型解释部署与运行:组件模型描述功能职责与交互,操作模型安排承载它们的平台和运行方式。
- 连续性同时考虑计划停机:业务连续性依赖组织、流程、应用和技术协作。
- 水平分区垂直分层:水平分区按功能和安全目标划分数据中心、局域网与广域等区域,便于隔离和专业设计;垂直分层在区域内按核心、汇聚、接入组织转发与管理。
- 核心汇聚接入职责分离:核心层保持大容量低延迟互连,汇聚层接合接入并可安置安全或负载均衡服务,接入层连接终端和设置初始策略。
- 资源池需要整合虚拟自动化:整合让资源可见可纳入调度,虚拟化减少对物理位置和状态的绑定,自动化根据策略配置与回收资源。
- 融合存储网络要考虑运维:FCoE把存储网络帧封装在以太网中,尝试复用网络资源。
- 数据中心网络品质多维:数据中心网络同时关心带宽、端到端延迟稳定性和丢帧控制,可通过扁平拓扑及合适流控改善。
- 大二层扩展与控制复杂度:扩大二层范围便于迁移和资源共享,却也扩大广播、未知单播与故障影响。
- 远程板卡简化管理有代价:远程板卡使柜顶接入在管理上像母交换机的板卡,降低众多接入设备管理负担。
- 一分多虚拟化仍共享故障域:将一个物理设备分为多个逻辑网络或设备,可支持隔离和资源复用,但仍共享底层物理故障。
- 虚机迁移需策略随动:虚拟机迁移改变物理位置,而访问控制、QoS、镜像等策略应与工作负载保持对应。
- 瘦胖分区平衡隔离弹性:瘦分区按安全域严格划物理区块,隔离清楚但容量调配较受限制;胖分区归并区块,通过VLAN或VRF与受控防火墙路径维持逻辑隔离,扩大伸缩空间。
- 保持干净主干:核心主干以简单、稳定、低延迟互连为目标,复杂智能服务宜放在合适的汇聚或服务边界位置。
- 旁挂服务需要流量引导:防火墙或负载均衡物理旁挂,便于选型、更换和扩展,但必须通过路由或其他机制让上下行经过正确服务链。
- 外联平级仍需多层控制:外联架构可将不同安全层级服务器放入更灵活的平级接入空间,同时强制跨域经过相应安全控制,以避免传统串行竖井限制扩容。
- 接入带宽与上联一起规划:大量高带宽服务器接入后,上联可能成为瓶颈,布线、光模块、端口密度和升级成本都影响方案。
- 冗余连接增加同步复杂度:远程板卡交叉连接提高冗余,但母设备与接入间的同步耦合也更复杂;单上联方式故障保护较弱,却可减少同步冲突。
- 分支局域网侧重接入管理:分支办公和柜员网络通常规模较小,动态横向扩展需求可能较低,却需终端认证、二层保护、QoS、供电与无线接入。
- 广域线路选型是约束权衡:城域广域连接既服务分支,也支撑中心灾备和多活。
- 传统广域与中心紧耦合:传统分层广域顺应银行组织和星型流量,结构清楚且易安排冗余;但数据中心承担全网核心,新增多个专业中心时分支直连成本和耦合增长。
第5章 技术架构(第2/5部分)
本单元先完成网络的跨地域与安全部分:承载网将传输与中心解耦,路由策略、QoS和访问引导要各自解决对应问题;中心互联需要兼顾连通与独立故障域,不能用CAP类比替代实际故障分析。安全按设备控制面、主体鉴权、边界访问和传输保护分层,流量隔离不等同加密,逐跳也不同于端到端。随后计算架构以应用负载为出发点,把计算、存储与统一管理组合为服务。服务器产品类别、分区、虚拟化、集群和一体机分别提供不同选项,选型应由功能与非功能测试支持。关键系统特别需要安全资源变更、同时考虑联机批量峰值,并把冷备和集群的恢复链讲清楚,原书的硬件优劣判断保留时代条件。
- 承载网解耦传输与中心:承载网把传输核心作为独立网络服务,数据中心和分支以接入模块进入,不再让每个新中心都要求所有分支新增直连。
- 域内选路与域间策略:IGP主要解决域内拓扑路径选择,BGP处理自治域间策略,承载网可按中心、分支与骨干组织域边界。
- QoS从需求到评测闭环:先按应用流量基线明确带宽、延迟、抖动与丢弃容忍,再制定分类和调度策略,部署后测量调优。
- DCI互联与访问分别优化:中心间链路可达不等于用户访问路径最佳。
- 二层延展保留独立故障域:连接多个中心的二层域可能把生成树、广播、网关和故障影响相连。
- 多中心访问引导三种思路:健康路由注入按服务器状态和位置调整路由,智能DNS通过名称解析选择不同站点地址,标识位置分离则保持身份并更新定位。
- 设备安全保护控制平面:网络设备不仅转发业务,也运行路由和管理协议。
- AAA分身份权限与记录:认证确认访问主体,授权决定可用资源与操作,审计或计费记录实际使用。
- 同一身份需结合设备状态:同一个用户在受管终端与个人移动设备访问,风险条件可能不同。
- 管理与设备互连也需鉴权:管理员权限需按来源和操作区分,并记录维护行为,方便故障与变更回溯。
- 网络边界使控制可执行:数据中心、分支和广域等区域应有清楚边界,便于放置或配置访问控制。
- 流量隔离与加密不同:虚拟网络隔离使不同业务流量在逻辑和管理上分开,IPsec等机制则提供加密、完整性和相应认证。
- 端到端与逐跳加密边界:端到端保护跨越中间网络,逐跳链路保护在相邻设备间加解密,让设备内部继续执行转发和检查。
- 计算存储分层按负载组装:计算与存储分别规划资源种类和服务品质,再由管理层按应用负载组合分配。
- 选型与整体计算架构不同:产品选型比较性能、可靠性、扩展、安全、管理及支持能力;整体计算架构则安排标准化、虚拟化、资源池和统一管理。
- 服务器分区按应用而定:原书把计算服务分为专有、共享、新型负载和系统管理区域,分别侧重稳定隔离、复用效率、专门处理与管理工具。
- 架构测试需要多种证据:功能测试检查虚拟化、切换和管理等行为,非功能评估检查性能、安全及I/O。
- 大型机集群共享负载:原书大型机架构通过硬件冗余、共享与负载管理支持联机和批处理,Parallel Sysplex在多个系统间共享数据与分配工作,GDPS扩展跨地域可用与灾备。
- 分区隔离与虚拟共享不同:专属逻辑或硬分区强调资源隔离,虚拟共享提高利用率和灵活性。
- x86能力按软件体系评估:原书介绍x86平台可结合虚拟化实现迁移、高可用与资源调配,也可构建不同类型集群。
- 一体机加速交付但范围有限:一体机预整合软硬件并配置测试,简化部署和单一供应商支持。
- 关键系统资源调整需评估:关键系统可采用多种高可用与隔离手段,生产共享资源调整需先做性能、配置操作及风险评估。
- 容量估算同时考虑批量峰值:关键系统容量需覆盖联机、查询、批处理窗口和突发高峰,业务与IT协作确认节假日或活动情境。
- 扩展方式取决于共享状态:原书强调关键数据库扩展受应用与共享数据约束,硬件纵向升级和软件集群各有条件。
- 冷备恢复包含多项启动:单机加冷备结构简单,但故障接管需切换外设、上电并启动软件,维护升级和切换演练也可能要求停机。
- 耦合设施支持共享集群:大型机集群中,计算节点运行负载,耦合设施提供跨系统数据共享支持,相关数据库和事务平台共同组成服务体系。
第5章 技术架构(第3/5部分)
本单元继续区分计算架构中的共享与隔离:整合密度影响共同故障范围,双活必须协调仲裁、网络和写负载;资源池需要标准化与服务管理流程,而不是把总容量视为单实例容量。仓库、分布计算和内容平台各有资源与恢复特征,应用开发阶段就应协同规划。存储部分再从应用、访问网络和资源三层推导容量、性能、复制和管理。SAN、NAS与分布存储在接口和组织方式上不同,三中心拓扑、横向NAS及虚拟存储池也各有依赖。副本、同步和资源优化都不是自动保证,需要按故障域、写入确认和恢复链验证其效果。
- 整合密度扩大故障影响:独立机器隔离故障影响,但资源共享有限;分区整合提高利用率,却使物理故障同时影响多个应用。
- 双活需仲裁延迟负载配合:双活中心要考虑网络稳定与延迟、写入跨中心交互和分割后的仲裁。
- 资源池需要服务管理流程:共享资源池将配置与采购从单个项目中抽离,应用按需求申请服务。
- 池化不聚合单实例容量:原书常见虚拟化模型将单实例资源置于一台物理主机,资源池在多主机间分配迁移,并不自动把它们合成一台超大机器。
- 资源池按负载周期隔离:资源池可按应用等级、数据库与应用层负载、设备生命周期、生产测试用途或安全域划分。
- 虚拟化可补充恢复能力:虚拟环境仍可使用传统高可用或软件集群,迁移、自动部署和快速资源分配则补充恢复手段。
- 一体机纳入现网需核对边界:一体机需核对目标应用是否属于优化负载、怎样与传统系统交换数据,以及备份恢复能力能否满足目标。
- 新型负载架构应提前协作:海量文件、分析计算和内容管理等负载可能有特殊吞吐、文件数、归档与备份需求。
- BCU平衡扩展基础资源:仓库处理需要CPU、内存、磁盘I/O和网络协调扩展。
- 管理节点与数据节点侧重不同:大数据集群可区分管理控制和数据计算节点。
- 平台软件与应用分开评估:开源平台之上可能增加商业支持、可靠性、SQL、实时处理或开发工具,业务应用再实现查询、反欺诈等任务。
- 内容平台容量不只看字节:企业内容管理同时管理文档图片等内容及相关流程协作。
- 内容灾备覆盖文件数据:内容平台往往有应用、数据库与文件服务三部分。
- 存储设计同时满足六类目标:存储不仅提供容量,还需支持应用操作、吞吐响应、扩展、高可用与业务连续性,并可统一管理。
- SAN与NAS访问对象不同:原书SAN主要讨论通过光纤通道访问集中块存储,NAS通过网络提供文件访问,分布式存储则用多节点管理容量与I/O并可提供多种接口。
- 存储访问路径分三层:从应用负载到传输网络,再到实际存储资源逐层映射,可以检查接口、性能与隔离。
- 容量规划包含保护副本:存储容量估算需包含业务增长、保护、备份与连续性副本,性能还要看联机或批量I/O模式、响应目标和高峰。
- 存储优化需与保护配套:虚拟化、分级、精简配置、压缩与去重可提升空间或管理效率,具体收益取决于数据和访问模式。
- 三中心复制有两种拓扑:串联型先把生产同步到同城,再由同城异步复制到异地;多目标型由生产同时向同城同步和异地异步发送。
- 横向NAS增加访问模块:横向NAS或并行文件架构以多个模块提供统一文件访问,并将后端数据分布到资源中,以扩展容量和吞吐。
- 虚拟存储池统一卷管理:传统多存储各自分配简单,却难统一空间、性能和复制策略;虚拟化层接管卷再向服务器映射,可统一管理。
- 分布存储按介质安排保护:外置阵列可用RAID提供局部保护,内置盘可由分布系统保存跨节点副本,挂盘柜也可组合本地保护。
- 分布文件选型看全链路:分布文件系统选型要结合操作系统、访问模式、规模和保护机制,再选择阵列、内置盘或盘柜。
- SAN规划匹配访问两端:SAN设计先确认服务器和存储兼容、连接与更新周期,再匹配端口数量、交换互联和两端处理能力。
第5章 技术架构(第4/5部分)
分布式系统让多个节点共同完成工作。单个节点正常运行不能证明整体正常,因为通信可能延迟或中断,部分节点也可能先失败。文件系统、计算框架、数据库、缓存和协调服务分别处理不同状态和交互,因此要同时解释正常链路、状态保存及部分失效后的恢复。
本单元先收束SAN与统一备份:拓扑、备份路径、窗口、策略及恢复责任要一体规划。基础软件部分说明操作系统、中间件、数据库、ETL与大数据平台如何承接共性能力,同时保留版本与实现差异,消息传输保证不等于业务副作用恰好一次。分布架构进一步按文件、计算、数据库、缓存、协作、调度、日志和序列化拆解职责:元数据帮助定位内容,计算框架组织任务,数据模型与分配安排节点状态,协作服务帮助面对部分失效。无状态、横向扩展和组件清单都不构成自动正确或无限容量。末尾以原书支付宝案例引入业务与数据自治,下一单元继续按业务类型理解其拆分方式。
- SAN拓扑按规模取舍:两层SAN可减少跳转并让核心流量本地化,但规模受核心端口与互联争用限制;三层将服务器和存储接在不同边缘,扩展和职责更清晰却投入更多。
- 备份通路隔离生产:集中备份和灾备复制也占用SAN带宽与端口。
- 备份数据流有三种路径:LAN-Based经客户端与局域网送到备份服务器,LAN-Free将数据经SAN送到备份设备,Server-Free进一步绕开客户端的数据搬运。
- 备份策略要可检查可修订:备份策略需说明常规或特殊目的、时间内容、频度方法、保存期限、检查和责任。
- 备份介质按访问特征选择:原书以磁带线性吞吐与虚拟磁带并发特征说明介质选择:大文件可直接写物理介质,小文件可先汇聚再迁移。
- 存储服务目录约束交付:存储目录把重要性、功能、性能、连续性目标、资源配合和更新周期标准化,使分配有明确等级与流程。
- 操作系统选择包含支持链:操作系统提供资源管理基础,原书比较UNIX软硬件协同支持、Windows多类产品与Linux开源生态。
- Linux内核与发行环境有别:Linux严格可指内核,日常也常指包含系统工具和其他组件的完整环境。
- 中间件承担平台共性:中间件使业务开发更多关注自身逻辑,把交易管理、远程通信和通用运行服务交给平台。
- Java企业规范促进复用:原书JavaEE应用服务器按规范提供安全、事务、连接和持久服务等能力,也可集成传统交易平台。
- 消息可靠不等于业务一次:原书用只抵达一次概述消息中间件能力,应限定在具体传输保证和配置范围。
- 交易与分析负载需求不同:OLTP常以小笔固定逻辑并发交易为主,重视事务、安全和响应;仓库分析面向大数据量、多维与并行访问。
- ETL结合质量元数据:ETL抽取多源数据、转换标准与逻辑,再加载到整合体系。
- Hadoop模块分担职责:原书Hadoop体系中,HDFS组织分布文件,MapReduce提供批量并行计算,YARN负责资源调度管理,公共工具支持各模块。
- 无状态只迁出局部状态:无状态应用将需要跨请求保留的业务状态移到合适外部组件,便于替换和扩展执行节点。
- 分布体系要协调多种组件:文件、计算、数据库、缓存、协作、资源调度、序列化与监控分别处理数据和运行的不同问题。
- 分布文件分元数据与内容:分布文件系统把内容分块分布到节点,元数据服务记录文件与块位置、副本等信息。
- MapReduce并行拆算汇总:Map阶段处理分配到节点的输入,Reduce对中间结果按任务规则汇总,框架跟踪执行并处理需要重试的工作。
- 迭代计算利用缓存复用:迭代学习和挖掘会反复使用数据,内存缓存可减少多次装载与I/O。
- 分布数据库分层映射:全局外模式呈现用户视图,全局概念描述整体逻辑,局部概念说明节点数据逻辑,局部内部安排物理存储。
- 分片与分配分别决定什么:分片决定如何把关系划为子集,原书列水平、垂直、导出与混合;设计要避免遗漏并能按规则重建。
- 分布缓存四项设计责任:分布缓存将热点数据访问能力独立出来,需要决定数据如何分布、如何均衡、调用方怎样定位,以及节点失效后如何继续。
- 协调服务处理部分失效:网络出错时,发送方可能不知道对端是否已经收到或完成操作。
- 资源调度与负载均衡不同:资源调度在有限资源与任务之间按规则分配,负载均衡则把请求或工作分散到多个处理节点。
- 分布日志集中关联信息:节点迁移和数量增长使仅在本地留日志难以诊断。
- 序列化是数据表示边界:序列化把对象状态编码成约定表示,反序列化按格式重建可用状态。
- 服务自治包含数据边界:原书支付宝案例按交易、支付、账务等业务垂直拆分,让服务拥有明确数据责任,再按客户请求水平划分。
第5章 技术架构(第5/5部分)
第5章最后单元先用流水、信息与状态账务三类业务说明不同拆分与一致性责任,继续解释业务活动TCC和可靠消息的恢复思路,具体步骤已与原图联合读取,正常路径和故障恢复分别说明。灾备部分从中断影响与恢复目标选择布局和运行模式,明确异步复制与业务补偿不能混成无条件零丢失。两个银行案例说明架构要兼顾团队、增长、测试、资源和总成本,所有具体数字保留历史条件。最后的软件定义、服务标准化、自动交付和云生态讨论,把技术资源逐步组织成可编程服务;私有、公有与混合部署均应由工作负载及控制责任决定,不能从云类别直接推出收益或合规结论。
- 交易写入与查询分担:案例主交易集群负责创建与状态修改,再把变更复制到消费者记录和商户查询集群。
- 账户信息单源多地缓存:案例信息型业务由一处权威数据修改,提交后传播到多中心缓存。
- 流水与状态型账务不同:流水和信息型业务可按不同访问特征拆分,状态型账务还需协调多个借贷方的状态。
- TCC由业务活动协调:原书业务活动由主服务发起,参与服务暴露TCC操作,总控登记参与操作,并在提交时确认、取消时调用撤销。
- 可靠消息需要回查与重试:案例消息最终一致机制针对不同故障点安排生产方回滚或补偿、消息中心回查和重试。
- 灾备布局按故障范围选择:同城便于快速复制与恢复,但两个地点可能同受区域灾害;异地扩大故障隔离范围,通常增加传输和恢复代价;两地三中心组合两种保护。
- 恢复目标先于技术模式:灾备应由风险、业务功能及中断影响推导恢复时间和数据恢复点,再选择技术与运行方式。
- 主备查询双活三种运行:主备侧重故障后接管,生产查询让副中心承担查询,双活让多个中心同时承接部分生产工作。
- 异步双活仍有恢复缺口:原书GDPS案例用异步软件复制和跨中心调度,追求分钟级切换;它还提及通过应用等补偿达到零数据损失。
- 双活收益依赖运维改造:双活可分担负载并减少计划内外中断,也为查询分析等用途提供资源,但需应用适配、配置管理和切换决策流程共同支持。
- 总体成本超出购置价格:技术架构评价需看生命周期总成本,既有购置与运行资源,也有流程、维护、人力和兼容迁移。
- 灾备复用资源要能腾退:备用中心平时可承载开发测试以提高利用率,但演练或灾难时需及时释放并接管关键业务。
- 中小银行方案受能力约束:原书中小银行案例同时考虑增长、团队技能、核心软件要求与预算,选择较易维护的高可用和资源整合安排。
- 快照备份减少主库直接负担:案例先取得核心数据快照,再从副本执行备份,减少长时间直接读取主库。
- 软件定义由策略感知负载:软件定义环境以共享工具和策略动态分配计算、存储与网络,使资源调整对应工作负载。
- 模式驱动交付复用规则:交付模式描述应用、数据库、网络等组件及其构建部署扩展规则,自动化按这些规则组合环境。
- 数据中心转型分四步:原书转型路径从集中整合控制资源蔓延,到优化标准化服务,再简化自动化,最后按负载动态优化。
- 服务标准化先判断价值:标准化需定义服务优先级、关键性和适用性,稳定交付有价值负载,并安排冗余服务退役。
- 动态优化依赖反馈约束:动态优化按监控和分析结果调整资源与规则,尝试更快响应需求。
- 云生态通过平台接口协作:云生态由基础平台与多类服务参与者通过接口协作形成价值网络。
- IaaS接口上下分别改造:API之下要把网络、计算和存储组织成可管理的服务,API之上要让开发交付流程能按标准方式申请和编排资源。
- DevOps围绕持续交付协作:DevOps在原书中是业务、架构、开发、测试与运维围绕软件持续交付的协作能力。
- 私有公有云分配控制责任:私有云让组织保有较多基础设施控制,也承担建设、技能和运行成本;公有云按服务租用资源,由供应商承担部分基础设施管理,客户仍有自身责任。
- 混合云按负载价值安排:混合部署根据工作负载需求,在传统中心、内部或托管私有环境与共享服务之间分配任务,考虑交付与支持方式。
- 到账资金再用阻断反向冲正:场景:A向B转账后,后续参与方失败,系统打算将B的收款反向退给A。
- 资金补偿先验证可逆条件:与[[到账资金再用阻断反向冲正]]配对:原书将反向处理策略限定于能够确保反向操作无风险的场景。
第6章 信息系统架构管控
第6章回答前面三大架构如何持续生效。管控先明确决策权与问责,再通过设计、迁移和使用机制使战略与项目连接。保先流程维护规则与内容,遵从和例外流程把规则用于项目并反馈变化;实体部门保障日常执行,跨部门团队承担设计、评审与决策。架构委员会需要代表性、授权和后果责任,不能只有会议而无裁决。工具则将战略、业务、应用、数据与基础设施对象结构化关联,支持影响分析和发布;其收益以资产、元模型、流程与运维团队为前提。全书由此回到起点:架构的价值来自持续的资源与组织决策,而非一次性的规划文档或产品采购。
- 管控明确决策权和问责:管控设计目标、规则与责任框架,管理在其中配置资源并制定执行决策。
- IT管控有五类关联决策:IT管控涵盖原则、架构、基础设施、业务应用需求和投资优先级。
- 架构治理连接设计迁移:企业架构既有现状与目标设计,也有持续管控和迁移路线。
- 管控框架五部分协同:架构原则、框架方法、流程、团队和工具共同构成管控体系。
- 保先与遵从形成双向循环:保先流程维护架构反映战略和变化,遵从流程让项目采用架构并处理例外。
- 四类流程区分处理对象:设计评审处理新建或更新定义,更新维护定期保持架构有效,遵从检查对照项目方案,例外处理判断偏离规则如何处置。
- 实体部门与虚拟团队配合:实体部门以专职架构和管理人员承担日常工作,并组织跨部门协作;虚拟团队让业务、项目与技术共同参与关键判断。
- 决策设计评审三种职责:决策团队批准规划与重大变更并处理冲突,设计团队维护框架标准与内容,评审团队检查项目方案与架构一致性。
- 架构委员会承担决策后果:委员会要代表架构、业务和项目等利益相关者,在冲突时作决定并承担后果。
- 治理成功需要三种支持:原书归纳高层支持的跨组织委员会、全面架构原则,以及项目影响评估和正式合规审查三项条件。
- 架构资产要结构化关联:大量文档与图形难持续同步同一对象及其跨域关系。
- 工具建模分析发布相连:建模保存复杂对象与联系,分析用结构化关系回答覆盖与变更影响,发布向不同角色展示并获取项目反馈。
- 跨域追踪支持影响判断:将业务流程、应用、数据和服务器等关系连接,可追踪技术故障或变更会影响哪些能力。
- 元模型适配组织对象:架构工具需支持建模标准和架构框架,也需能按组织实际定义对象类型、属性及关系。
- 选工具同时看八种能力:原书工具评价维度涵盖存储、建模、决策分析、展现、系统管理、配置、框架标准和易用性。
- 工具引入需要资产与团队:引入工具要先明确定位、用户与场景,整理清楚已有资产及关系,并投入元模型设计、结构化录入和持续运维人员。
跨章综合
客户的一笔业务可以把全书各层串起来。应用架构先确定渠道如何受理、核心服务如何处理、核算和支付清算如何合作;数据架构再说明客户、账户和交易信息的权威来源,以及哪些副本服务查询或分析;技术架构安排网络、计算、存储和故障恢复,使这些角色能够在负载与故障约束下运行。这是同一业务的不同责任视角,并不意味着客户请求必须依次经过“应用架构系统”“数据架构系统”“技术架构系统”。
边界越清楚,越需要说明边界之间的契约。将渠道与产品服务分开后,要定义请求、授权及业务状态;将交易写入与查询分开后,要定义复制时效和读到旧值时的行为;将生产与灾备分开后,要定义什么数据已经安全保留、何时允许接管以及如何验证恢复。分离可以减少相互牵制,但从来没有免除共同正确性的责任。
规划还必须说明怎样从今天到达目标。架构原则提供判断依据,差距分析识别要改变的对象,实施路线安排先后依赖、资源和过渡状态。第6章的评审、遵从和例外让这些决定进入项目,同时把项目中出现的新情况送回架构维护。由此,架构是不断被使用和修正的组织知识,而不只是一次交付的图文。
对本书的技术趋势需要区分愿景与证据。分布式组件增加并不自动消除瓶颈,消息持久化不自动保证业务恰好一次,两个中心运行也不自动保证零丢失。原书提供了提问框架与案例,实际方案仍要以明确状态、失败路径和可测量目标加以验证。这个边界与全书强调的治理一致:重要承诺必须有责任人、实现条件和检验方法。
发散与实践
以下是读者延伸,交付的是计划,尚未执行现实操作。先把架构方法用于当前本地读书系统,可以在有限范围检查自己是否真正理解权威数据、派生副本、版本与恢复责任。
- 梳理读书系统的数据权责(计划文件:
ideas/idea-001-data-responsibility.md):围绕本书的原始EPUB、Markdown与数据库投影建立权威来源及同步责任表,优先执行这一项。 - 编制本书恢复验证清单(计划文件:
ideas/idea-002-recovery-checklist.md):区分目录丢失、数据库损坏和版本不一致,先写恢复目标,再准备隔离副本中的验证步骤。
两项都以形成可检查材料为完成判据。本书中的历史监管期限、厂商排名和性能数字不进入现实配置;没有执行的演练与改动也不记作已验证成果。