主题对照

互联网通用技术架构分层

比较互联网业务常见的存储层、开发层、服务层、网络层、用户层与平台层技术及其选型要点。

30 张卡片 · 5 本书

本层 30 张卡片 · 含下级覆盖 30 张卡片

本主题的卡片

从零开始学架构 · 互联网架构模板:"存储层"技术

SQL存储三阶段演进

NoSQL火了几年后大家发现关系数据不可能被完全抛弃,NoSQL不是No SQL、而是Not Only SQL,是对SQL的补充,因此互联网行业依然离不开关系数据,考虑到Oracle太贵还需要专人维护,一般都用MySQL、PostgreSQL这类开源数据库——优点是开源免费、拿来就用,缺点是性能不如商业数据库。SQL存储的演进大致分三个阶段。第一阶段是直接使用:业务量不大时直接用单实例数据库就够了;但随着业务发展,性能要求越来越高,必然要把数据拆到多个数据库实例才能撑住(这个瓶颈Oracle同样会遇到,只是时间早晚问题)。第二阶段是中间件:数据库拆分解决了性能问题,却带来”数据怎么拆、怎么组合”这个复杂度问题,如果每个业务都各自实现一遍,重复造轮子会浪费投入、拖慢业务开发速度,因此互联网公司普遍的做法是业务发展到一定阶段后,把分库分表这部分能力独立成中间件(如百度DBProxy、淘宝TDDL)——但把分库分表做到自动化、平台化本身技术门槛很高,通常只有规模足够大的公司才自己做,中小公司更适合直接用开源方案(MySQL官方推荐的MySQL Router、360开源的Atlas)。第三阶段是SQL存储平台:如果业务继续扩大、SQL服务器越来越多,每个业务都基于统一中间件各自独立部署一套SQL集群,又会带来新的复杂度——数据库资源利用率不高、各SQL集群分开维护导致维护成本持续攀升;因此实力雄厚的大公司会在SQL集群之上再构建统一的SQL存储平台,以对业务透明的方式统一提供资源分配、数据备份、迁移、容灾、读写分离、分库分表等一整套服务(比如淘宝的UMP,Unified MySQL Platform)。

结构图:

flowchart LR
  A["阶段一:直接使用<br/>单实例MySQL/PostgreSQL<br/>性能撑不住时拆库"]
  A --> B["阶段二:中间件<br/>分库分表能力独立成中间件<br/>(自研如TDDL/DBProxy,或用开源MySQL Router/Atlas)<br/>解决'重复造轮子'"]
  B --> C["阶段三:SQL存储平台<br/>统一提供资源分配/备份/迁移/容灾/读写分离/分库分表<br/>(如淘宝UMP)<br/>解决'资源利用率低+维护成本高'"]
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"存储层"技术

NoSQL平台规模大才划算

NoSQL 弥补了关系数据库存不了数据结构的短板,普遍以性能为卖点,且大多自带集群能力,如 Memcache 的一致性 Hash、Redis 3.0 集群,起步时用起来很方便,通常不必急于做成存储平台。当节点规模涨到上千甚至几千台时,统一存储平台才真正划算:集中管理提升运维效率,资源利用率提升 10% 就能在 2000 台中省下 200 台。平台主要提供三项能力:资源按需动态分配、资源自动化管理、故障自动化处理。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"存储层"技术

小文件与大文件存储

除了结构化的业务数据,互联网行业还有大量用于展示的数据(淘宝商品图片、Facebook用户头像、微博内容),这类小文件有三个典型特征:单个文件小(一般1MB以下)、数量巨大(Facebook 2013年每天上传照片就达3.5亿张)、访问量巨大(Facebook每天访问量超10亿)。因为几乎每个业务都会产生大量小文件,如果每个业务各自设计海量存储和海量访问方案,效率必然低下、重复造轮子,因此自然要把小文件存储做成统一的、和具体业务无关的平台。和[[SQL存储三阶段演进]]、[[NoSQL平台规模大才划算]]不同的是,小文件存储不需要等到公司或业务规模很大才值得做,基本上业务在起步阶段就可以考虑统一存储——得益于开源生态的成熟,在HBase、Hadoop、Hypertable、FastDFS这类开源方案基础上封装一个小文件存储平台并不算太难,典型实现有淘宝TFS、京东JFS、Facebook Haystack。大文件则主要分两类:一类是业务本身的大数据(YouTube的视频、电影网站的电影),一类是海量日志数据(访问日志、操作日志、用户轨迹日志);和小文件正相反,大文件数量不算多,但单个文件体积巨大(几百MB到几GB常见,几十GB甚至几TB也有可能),存储方式和小文件系统有本质差别,不能直接拿小文件存储系统来存大文件。大文件存储和处理领域的技术格局主要由Google和Yahoo奠定:Google的三篇大数据论文(Bigtable/MapReduce/GFS)开启了大数据时代,Yahoo开源的Hadoop系列(HDFS、HBase等)几乎垄断了开源界的大数据处理生态,后续虽然又涌现出更多优秀开源方案,但整体思路已经定型。正因为要照Google论文原样自研一整套大数据处理方案的难度和成本太高、而开源方案又已经足够成熟,大数据存储和处理这块反而是相对”最简单”的技术选型——因为可选项本来就不多,基本只能在Hadoop、HBase、Storm、Hive这几个主流开源方案里选,实力雄厚的大公司会在这些开源方案基础上结合自身业务封装成大数据平台(如淘宝云梯、腾讯TDW)。

结构图:

flowchart TB
  A["小文件存储"]
  A --> A1["特征:单文件小(<1MB)+数量巨大+访问量巨大"]
  A1 --> A2["门槛低:业务起步阶段即可做<br/>基于开源方案(HBase/Hadoop/FastDFS)封装即可<br/>(淘宝TFS/京东JFS/Facebook Haystack)"]
  B["大文件存储"]
  B --> B1["来源:业务大数据(视频/电影)+海量日志"]
  B1 --> B2["特征:数量不多但单文件极大(几百MB~几TB)<br/>不能直接复用小文件存储系统"]
  B2 --> B3["技术格局已定型:Google三篇论文奠基<br/>+Yahoo Hadoop生态垄断开源界<br/>选型反而'最简单'(只能在Hadoop/HBase/Storm/Hive中选)"]
  B3 --> B4["大公司在此基础上封装大数据平台<br/>(淘宝云梯/腾讯TDW)"]
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术

统一开发框架优选成熟

系统变多、由不同小组开发时,如果各用各的框架和技术栈,会出现三个问题:技术人员缺乏共同语言、交流合作少;每种技术都要单独投入人力去掌握;人员难以在团队间流动。因此互联网公司普遍会统一技术方向和开发框架。选框架的总原则是优选成熟框架、不盲目追新:文档齐全、坑已被人踩过,遇到问题容易找到答案;受众广,容易招到人;稳定、少有大的不兼容变更,适合长期发展。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术

Web服务器拿来用

自研成熟的 Web 服务器成本很高,互联网行业基本是拿来主义:按开发语言选 Tomcat、Nginx 或 Apache 等开源服务器,摸透并调优即可,大公司才会二次开发,如淘宝的 Tengine;性能不必过早担心,真撑不住时再换。以 Docker 为代表的容器启动快、几乎不占资源,将从两方面改变格局:运维会转向自动化、智能化;启动实例代价极低会推动设计走向微服务,登录、搜索等功能从一开始就可以按服务独立设计。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术

配置中心集中管理

系统数量增加后,系统间关联路径急剧增长,3 个系统有 3 条,6 个系统就有 15 条。各系统分散管理配置会带来麻烦:上线需要多系统配合时检查协调耗时;排查问题时收集信息效率低;手工编辑缺少校验,把 IP 中的 0 误打成字母 O 都难以发现。统一配置中心有四个好处:集中操作效率高;汇聚在一处便于检查协作;可做程序化规则校验;相当于配置备份,整机故障需要重建环境时能快速恢复。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术

服务中心两种实现

系统数量不多时,系统间调用一般直接记录在各系统内部的配置文件里,但系统一多,这种做法就会出问题:比如有10个系统依赖A系统的X接口,A系统实现了功能更好的新接口Y,要让这10个系统全部切到Y接口,就要挨个改这10个系统几十上百台机器的配置再重启,效率极低;再比如A系统总共20台机器,其中5台故障了,如果其他系统是通过域名访问A系统,域名缓存失效前依然可能访问到这5台坏机器;如果是通过IP直接访问,那A系统每增删一台机器,其他所有依赖它的系统的所有机器配置都要同步跟着改,协调成本非常高。服务中心正是为了解决这种跨系统依赖的”配置”和”调度”问题,常见有两种实现方式。服务名字系统(Service Name System)本质上和DNS(Domain Name System)思路一致——DNS把域名解析成IP地址(因为人记不住太多数字IP),服务名字系统则把服务名称解析成”host+port+接口名称”,但和DNS一样,真正发起请求的还是请求方自己,服务名字系统只负责”告诉你去哪找”,不负责”帮你去调”。服务总线系统(Service Bus System)则更进一步,类似计算机主板的总线概念——由总线系统统一完成调用,服务请求方完全不需要直接和服务提供方交互,请求方只需要跟总线打交道,具体转发到哪台服务器由总线系统负责。两者的核心差异在于:”谁来真正发起对目标服务的调用”:服务名字系统只提供地址解析,调用动作还是由请求方自己完成;服务总线系统则把调用这个动作也接管了,请求方彻底不用感知目标服务具体在哪。

结构图:

flowchart TB
  A["服务中心:解决跨系统依赖的配置与调度问题"]
  A --> B["服务名字系统<br/>类比DNS:域名/服务名→host+port+接口名"]
  B --> B1["只负责地址解析<br/>真正发起调用的还是请求方自己"]
  A --> C["服务总线系统<br/>类比计算机总线"]
  C --> C1["由总线统一完成调用<br/>请求方无需直接和服务提供方交互"]
  B1 --> D["核心差异:谁真正发起调用<br/>名字系统=解析后自己调<br/>总线系统=总线代为调用"]
  C1 --> D
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术

消息队列的五个好处

互联网业务讲究”快”,很多业务处理必须走异步——比如大V发一条微博后,系统要通知所有关注他的用户,不可能等所有通知都发完才告诉大V”发布成功”,只能先让大V发布成功、再异步通知关注者。传统的异步通知方式是消息生产者直接调用消息消费者提供的接口,业务规模变大、子系统一多,这种点对点通知会让系统间交互变得极其复杂——各系统互相依赖调用,整个系统结构变成一张蜘蛛网。消息队列正是为了实现这种跨系统异步通知的中间件,既能”一对一”通知,也能”一对多”广播(还是以微博为例,一条微博发布事件可以广播给成千上万个关注者)。引入消息队列后相比蜘蛛网式的直接调用,能带来五个明显好处:整体结构从网状变成线性结构,架构一目了然;消息生产和消息消费彻底解耦,双方实现都变简单;新增一个消息消费者时,消息生产者完全不需要任何改动,扩展起来很方便;消息队列系统本身可以统一做高可用、高性能,避免每个业务子系统各自重复造一套异步通知机制、白白浪费工作量;业务子系统因此可以只聚焦在自己的业务逻辑上,实现更简单。消息队列的基本功能(发消息、收消息)实现起来不算难,但真要做到高性能、高可用,同时还要保证消息时序性、消息事务性,就比较有挑战了。业界已经有很多成熟的开源实现(RocketMQ、Kafka、ActiveMQ等),如果对消息可靠性、时序、事务性要求不高,直接拿开源方案用就行;但如果业务对这几点要求很高,就必须深入研究这些开源方案的实现细节,否则很容易踩坑。开源方案用起来方便,但真要改动它就比较麻烦了,因此不少公司也会花人力时间重复造一个消息队列的轮子——这种”重复造轮子”未必是坏事,好处在于自己造的轮子可以根据自身业务特点快速做定制化适配。

结构图:

flowchart TB
  A["传统直接调用:消息生产者直连消费者"]
  A --> A1["子系统多了后变成蜘蛛网结构<br/>系统间互相依赖,交互极其复杂"]
  A1 --> B["引入消息队列(可一对一/一对多广播)"]
  B --> C["好处①网状→线性结构,架构清晰"]
  B --> D["好处②生产消费解耦,实现简单"]
  B --> E["好处③新增消费者,生产者零改动"]
  B --> F["好处④高可用高性能集中实现<br/>避免各子系统重复造轮子"]
  B --> G["好处⑤业务子系统只需聚焦业务逻辑"]
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"网络层"技术

HTTP-DNS的得失

传统 DNS 只能做地理级负载均衡,无法细到机器级,因为公网 IP 成本太高,不可能给上万台机器各配一个。它还有两个缺陷:缓存时间长,换 IP 后仍有用户访问旧地址;由第三方提供,感知不到后端状态,出问题只能等运营商处理。私有 HTTP-DNS 改用 HTTP 请求自建的解析服务,灵活、可控、及时,能更快隔离故障服务器;代价是开发成本高、需要改造业务代码。所以它主要用于 App,浏览器负责解析的 Web 业务较难推广。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"网络层"技术

硬件均衡量大反而省钱

单机能力有限,复杂业务每秒可能只处理几百个请求,而互联网业务常见万级乃至十万级并发,所以数据中心内需要机器级负载均衡。三者量级不同:Nginx 约 5 万每秒;LVS 在内核态,约十万级;F5 是硬件,百万级。F5 虽要几十万,但要处理每秒 100 万请求,用 Nginx 约需 20 台服务器,量大时硬件反而更划算。Nginx 偏七层,支持 HTTP 等协议;LVS 与 F5 工作在四层,可以为数据库、聊天等任意应用做均衡。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"网络层"技术

CDN买而不造

访问速度除了取决于业务系统本身,还受用户所在地区和运营商到业务机房之间的传输影响,同一地区的电信用户访问联通网络也会慢,这就是“最后一公里”问题。CDN 以空间换时间,把内容缓存到离用户最近的地方,用户不必每次跨运营商、跨地区回源。它已发展成包含分布式存储、全局负载均衡、网络重定向、流量控制的庞大体系,是视频、直播的关键技术。自建成本极高,最恰当的做法是直接购买 CDN 厂商或云厂商的服务。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"网络层"技术

多中心是质变

单机房架构在全局网络层面是单点,无法保证异地容灾场景下的高可用——断电、网络中断、地震、水灾等都可能导致整个数据中心不可用,因此需要多机房设计。多机房设计核心要解决的是”距离带来的延时问题”,常见有三种方式:同城多机房(距离较近,可以投入重金搭建私有高速网络,让多机房性能接近单机房,但因为投入成本太高,只有大公司才能这样做,且遇到极端地震、水灾等波及全城的灾难时依然存在风险);跨城多机房(不同城市的机房,数据通过网络进行复制,例如MySQL主备复制,但由于跨城网络延迟较大,业务上要接受一定妥协——不需要数据实时强一致,只需要最终一致即可,比如微博,A用户在北京机房发布微博,B用户在广州机房不需要实时看到,10分钟后看到也可以接受;这种方式实现简单,但和具体业务强相关,微博能接受,但类似支付宝转账这种要求余额强一致的业务就不能这样做);跨国多机房(与跨城类似,但地理距离更远、延迟更大,由于延迟过大、跨国用户访问速度慢,跨国多机房一般只用于备份,以及服务当地用户)。而”多中心”和”多机房”有本质区别,绝非同一件事的简单升级:多机房设计的首要目标是”容灾”——数据中心出问题后,业务能够比较快地切换到另一个数据中心,但这个切换允许一定的中断时间(例如10分钟、1小时),且允许一定的业务损失(例如部分没有同步的数据无法立即恢复,甚至可能永远无法恢复);而多中心要求每个中心都同时对外提供服务,业务能自动在多个中心之间切换,做到故障后自动恢复,无需或仅需很少的人工干预。多中心设计的核心难点在于要保证”数据一致性”和”数据事务性”,而这两点又和具体业务紧密相关,目前没有很成熟的通用方案,都需要基于业务特点进行详细的分析和设计——比如淘宝号称实现了多中心,但实际上商品浏览、订单、支付等不同业务都是各自独立设计和实现多中心方案的,并不存在一个统一的多中心方案可以套用所有业务。正因为难度如此之高,(2018年时)国内银行、支付宝这类系统尚未完全实现多中心(曾经发生过挖掘机意外挖断光缆导致支付宝服务中断4小时的真实案例,正说明了这个差距)。

结构图:

flowchart TB
  A["单机房:全局网络单点故障<br/>无法应对断电/地震/水灾等异地容灾场景"]
  A --> B["多机房:解决延时问题的三种方式"]
  B --> B1["同城多机房:投入重金追近单机房性能<br/>成本高,仍怕波及全城的极端灾难"]
  B --> B2["跨城多机房:接受最终一致<br/>与业务强相关,微博可以,支付宝转账不行"]
  B --> B3["跨国多机房:延迟过大<br/>一般只做备份+服务当地用户"]
  B --> C["多中心(质变,非量变)"]
  C --> D["多机房目标=容灾<br/>切换允许中断+允许部分数据损失"]
  C --> E["多中心目标=自动切换、故障自愈<br/>核心难点:数据一致性+数据事务性"]
  E --> F["无通用方案,须按业务独立设计<br/>淘宝:浏览/订单/支付各自独立实现"]
  F --> G["难度极高:银行/支付宝仍未做到<br/>案例:挖掘机挖断光缆致支付宝中断4小时"]
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"用户层"和"业务层"技术

用户管理量大不难

稍大的互联网业务会有多个子系统,不可能各自管理用户,由此引出两个目标:单点登录,可用 cookie、token 等实现,最成熟的开源方案是 CAS;授权登录,业务做成平台后允许第三方接入,OAuth 2.0 已是事实标准,私有协议漏洞多、接入麻烦。用户系统的挑战看似是千万到亿级的用户量,但实现并不难,因为用户之间没有强业务关联,A 登录与 B 登录互不相干,用简单的负载均衡架构就能应对。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"用户层"和"业务层"技术

Android推送为何复杂

短信、邮件、站内信推送调用服务商接口即可,App 推送分两边:iOS 规范封闭,基本只能用苹果的 APNS;国内 Android 则复杂得多,GCM 在国内不能用,各厂商的定制系统推送实现也不同,于是大厂自建推送,也有第三方商业服务。中小公司若不涉及敏感数据,推荐直接用第三方服务,到达率有保障;涉及敏感数据才需要自建,包括设备管理、连接管理和消息管理,其中最难的是后台限制下的连接保活。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"用户层"和"业务层"技术

图片云为何单独拆出

用户上传的文件量大、体积小、访问集中在刚上传的时候,2016 年微信朋友圈每天就上传约 10 亿张图片,需要小文件存储技术。存储云和图片云通常都是“CDN 加小文件存储”,除非达到 BAT 规模,直接买云服务最快最省。既然底层技术相同,为何拆成两个系统?原因不在存储技术,而在上层业务复杂度:普通文件只需存储和访问,图片还涉及裁剪、压缩、美化、审核、水印等专属处理,所以图片云通常独立出来。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"用户层"和"业务层"技术

虚拟业务域收编子系统

互联网的业务千差万别,不同业务分解下来对应不同的子系统,所以业务层没办法像用户层那样提炼出公共组件。抛开具体业务差异,各互联网业务发展最终面临的问题都类似:业务复杂度越来越高,而复杂度越来越高的一个主要原因就是系统越来越庞大、业务越来越多。应对业务层复杂度的核心方法只有一把”屠龙宝刀”——”拆”,化整为零、分而治之,把整体复杂性分散到多个子业务或子系统里(具体拆的方式即分层架构、微服务、微内核等)。以一个电商系统为例:第一阶段所有功能都在一个系统里;第二阶段拆分成商品、订单两个子系统;第三阶段商品子系统和订单子系统又分别拆成更小的共6个子系统。这只是样例,实际业务发展中子系统会越来越多,据说淘宝内部大大小小的子系统已经有成百上千个。但当子系统数量拆到几百上千时,另一个复杂度问题会凸显出来:系统数量太多,已经没有人能说清楚业务的完整调用流程了,出问题排查也会特别复杂——此时不可能把子系统再合并回大系统(那样又会回到最初的问题),真正的答案还是”合”,正所谓”合久必分、分久必合”,但这次”合”的方式不一样:按照”高内聚、低耦合”的原则,把职责关联比较强的一组子系统合成一个”虚拟业务域”,然后通过网关对外统一呈现——本质上类似设计模式中的Facade(外观)模式:把一堆职责相关的子系统包装在网关背后,对外部调用方呈现出一个统一、简化的接口,调用方无需感知域内部具体有多少个子系统、调用链路如何流转。

结构图:

flowchart TB
  A["业务复杂度持续上升<br/>根源:系统越来越庞大、业务越来越多"]
  A --> B["核心方法:拆<br/>(分层架构/微服务/微内核)"]
  B --> C["电商样例:1个系统→商品/订单2个子系统<br/>→进一步拆成6个子系统"]
  C --> D["子系统拆到成百上千个<br/>新问题:调用流程无人能说清,排查困难"]
  D --> E["合久必分、分久必合<br/>但这次'合'不是合并回大系统"]
  E --> F["按高内聚低耦合原则<br/>把职责相关的子系统合成'虚拟业务域'"]
  F --> G["网关对外统一呈现<br/>=Facade模式:对外一个接口,内部细节被屏蔽"]
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"平台"技术

运维平台四化

业务规模小、系统复杂度不高时,运维、测试、数据分析、管理等支撑功能主要由各系统或团队独立完成;但随着业务规模变大、子系统数量增多,如果继续各自为政地实现这些支撑功能,会发现重复工作非常多——这正是把支撑功能沉淀为”平台”的动机:避免重复造轮子,减少不规范带来的沟通协作成本。运维平台的核心职责分为四大块,恰好对应系统生命周期的四个阶段:配置(负责资源管理,如机器管理、IP地址管理、虚拟机管理)、部署(负责将系统发布到线上,如包管理、灰度发布管理、回滚)、监控(负责收集系统上线运行后的相关数据并监控,以便及时发现问题)、应急(负责系统出故障后的处理,如停止程序、下线故障机器、切换IP)。支撑这四大职责的核心设计要素是”四化”:标准化(制定运维标准,规范配置管理、部署流程、监控指标、应急能力,各系统按标准来实现,避免不同系统不同处理方式——标准化是运维平台的基础,没有标准化就没有运维平台)、平台化(在标准化基础上,把运维相关操作都集成到运维平台中完成,好处是可将标准固化到平台无须运维人员死记硬背、操作简单方便优于人工、且一套平台可复用支撑几百上千个业务系统)、自动化(把传统手工运维中大量重复的操作固化下来由系统自动完成,例如部署原本要登录机器、上传包、解压包、备份旧系统、覆盖旧系统、启动新系统一系列步骤,有了运维平台后只需单击”开始部署”,系统自动完成后通知即可)、可视化(把运维平台海量数据以直观方式呈现,提升数据查看效率,尤其在故障应急时争分夺秒,减少1分钟排查时间可能挽回几十万元损失)。

结构图:

flowchart TB
  A["支撑功能各自为政→重复工作多"]
  A --> B["做成运维平台"]
  B --> C["四大职责:对应系统生命周期"]
  C --> C1["配置:资源管理"]
  C --> C2["部署:发布上线"]
  C --> C3["监控:收集数据发现问题"]
  C --> C4["应急:故障处理"]
  B --> D["四化:设计要素"]
  D --> D1["标准化:制定规范,是一切的基础"]
  D --> D2["平台化:把操作集成到平台完成"]
  D --> D3["自动化:重复操作固化为系统自动执行"]
  D --> D4["可视化:数据直观呈现,加速故障响应"]
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"平台"技术

中间层适配运维标准

运维平台的根基是标准化:统一配置管理、部署流程、监控指标和应急能力,各系统按标准实现。遇到某个系统无法改造自身来满足标准时,常见做法不是强行改它,而是引入中间层做规范适配:系统保持原样,由中间层把它的输出转换成标准格式。例如系统只提供查询性能指标的 RESTful 接口,而标准要求定时以日志上报,就写个定时程序调用接口,把数据转成日志格式上报,兼容问题在中间层被消化。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"平台"技术

可视化是信息压缩

运维平台数据量很大,靠人工逐条查询判断效率太低,故障应急时每减少 1 分钟排查都可能挽回大笔损失,可视化就是为了提升看数据的效率。它的原理像汽车仪表盘:一串数字让人眼花,指针位置和区域颜色却让人一眼看出是低速还是高速。可视化能直观展示数据属性,如刻度范围和单位;能直接表达含义,如红区代表危险;能把关联数据整合展示,如速度与里程。它把“读数据”变成“看状态”,缩短排障与决策时间。

查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"平台"技术

测试平台四模块

测试平台核心的职责是测试,包括单元测试、集成测试、接口测试、性能测试等都可以在测试平台完成。测试平台的核心目的是提升测试效率从而提升产品质量,设计关键就是”自动化”——传统测试方式靠测试人员手工执行用例,效率低、重复劳动多,通过测试平台的自动化能力,用例能重复执行、无须人工参与,效率大幅提升。为达到自动化目标,测试平台由四个模块组成:用例管理(测试自动化的主要手段是通过脚本或代码进行测试,例如单元测试用例是代码、接口测试用例可以用Python写、可靠性测试用例可以用Shell写;为了能重复执行这些用例,需要按业务、系统、测试类型、用例代码等维度把用例管理起来)、资源管理(测试用例要放到具体运行环境才能真正执行,运行环境包括硬件如服务器/手机/平板、软件如操作系统/数据库/JVM、以及被测的业务系统本身;除性能测试外,一般自动化测试对性能要求不高,所以为提升资源利用率,大部分测试平台会用虚拟机、Docker等虚拟化技术来充分利用硬件资源)、任务管理(主要职责是把测试用例分配到具体资源上执行,并跟踪执行情况——这是测试平台设计的核心,把用例管理、资源管理等各部分串联起来,真正完成自动化测试的闭环)、数据管理(测试任务执行完成后需要记录执行时间、执行结果、CPU/内存占用等各种相关数据,这些数据有三个作用:展现当前用例执行情况;作为历史数据,方便和后续测试对比发现明显变化趋势,比如某版本后单元测试覆盖率从90%降到70%;作为大数据的一部分支撑数据挖掘,比如规模复杂度相近的两个业务,一个一年执行1万个用例测试、另一个只执行1000个,可以据此深挖差异原因)。

结构图:

flowchart TB
  A["测试平台目标:自动化提升测试效率"]
  A --> B["用例管理:按业务/系统/类型/代码维度管理脚本用例"]
  A --> C["资源管理:虚拟机/Docker虚拟化硬件+软件+被测系统"]
  A --> D["任务管理:核心串联点<br/>分配用例到资源执行+跟踪进度"]
  A --> E["数据管理:记录执行数据"]
  B --> D
  C --> D
  D --> E
  E --> E1["展现当前执行情况"]
  E --> E2["历史对比发现趋势变化"]
  E --> E3["大数据挖掘发现业务差异"]
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"平台"技术

数据平台三大职责

数据平台的核心职责主要分三部分:数据管理、数据分析、数据应用。数据管理是基础功能,包含数据采集(从业务系统搜集日志、用户行为、业务数据等,传送到数据平台)、数据存储(把采集到的数据存储起来用于后续分析)、数据访问(对外提供SQL、Hive、Key-Value等各种协议用于读写数据)、数据安全(数据平台通常是多业务共享的,部分业务敏感数据需要保护,防止被其他业务读取甚至修改,因此需要设计数据安全策略)四个子职责。数据分析包含数据统计(根据原始数据统计出总览数据,如PV、UV、交易额)、数据挖掘(为了与机器学习/深度学习区分,这里特指传统数据挖掘方式,即有经验的数据分析人员基于数据仓库构建一系列规则来分析数据、发现隐含规律,经典案例是沃尔玛啤酒与尿布的关联发现)、机器学习与深度学习(属于数据挖掘的具体实现方式,但因实现方式与传统数据挖掘差异较大,数据平台需要针对二者独立设计)三个层次。数据应用则很广泛,既包括在线业务(如推荐、广告),也包括离线业务(如报表、欺诈检测、异常检测)。但数据应用能发挥价值有一个前提门槛:必须有”大数据”,只有数据规模达到一定程度,基于数据的分析、挖掘才能发现有价值的规律、现象、问题;如果数据没有达到一定规模,通常只做好数据统计就足够了——尤其很多初创企业,完全没必要一开始就照搬BAT级别的数据平台架构来建设自己的系统。

结构图:

flowchart TB
  A["数据平台三大职责"]
  A --> B["数据管理(基础):采集/存储/访问/安全"]
  A --> C["数据分析:统计→挖掘→机器学习/深度学习"]
  A --> D["数据应用:在线(推荐/广告)+离线(报表/欺诈检测)"]
  B --> C --> D
  D --> E{"数据规模是否达到<br/>'大数据'门槛?"}
  E -->|否| F["做好数据统计即可<br/>初创企业无须对标BAT"]
  E -->|是| G["分析挖掘才能发现有价值的规律"]
查看卡片与原书出处

从零开始学架构 · 互联网架构模板:"平台"技术

权限管理分认证与控制

业务系统、中间件、平台系统都需要权限管理,各自实现效率低、重复多,因此需要统一的管理平台。权限管理分两部分:身份认证确定操作者是谁,防止非法人员进入,通常用企业账号统一认证登录;权限控制根据身份确定能做什么,防止越权,如不允许研发人员查看财务系统中别人的工资。二者缺一不可:只有认证没有控制,合法用户可能越权;只有控制没有认证,权限判断无从谈起。

查看卡片与原书出处

Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 高并发时代的必备技能

十万级QPS三层架构

书中以十万级 QPS 的 Web 应用为例,分客户端层、接入层和服务层。接入层承接鉴权、限流、反向代理及负载均衡,服务层承载应用;接入节点可按容量和故障要求冗余。这是书中的示例拓扑,不代表达到某个 QPS 就必须采用 Nginx+Lua、Keepalived 或固定的扩容顺序;性能差异需要按具体负载测量。

查看卡片与原书出处

Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 高并发时代的必备技能

千万级QPS加两层均衡

书中的千万级 QPS 示例,在服务节点横向扩展之外,引入 LVS 分发到接入层,并用 DNS 为域名返回多个 IP。这表达将流量逐层分散的思路。是否需要两层均衡,应按容量、故障域、路由策略和实际流量决定,不能只凭 QPS 数字套用拓扑。

查看卡片与原书出处

Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 亿级高并发IM架构与实战

亿级IM的集群分工

书中 CrazyIM 学习架构把职责分给 Netty 长连接节点、ZooKeeper 节点注册与发现、Redis 缓存、Web 登录服务、消息队列及持久化存储。横向扩容需同时处理路由、连接迁移和后端瓶颈。书中“单节点百万连接、集群亿级流量”是容量设想,缺少同条件压测,不能作为已验证能力。

查看卡片与原书出处

Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 亿级高并发IM架构与实战

长连接短连接分工

书中将频繁的 IM 消息收发放在持久连接上,以避免反复建连;低频登录和资料请求交给 Web 服务。这里的“短连接”是业务请求形态,现代 HTTP 客户端仍可复用底层连接。IM 长连接还要管理鉴权、心跳、重连和资源上限;分工应按流量特征选择,不能把每次 Web 请求等同新建 TCP 连接。

查看卡片与原书出处

Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 亿级高并发IM架构与实战

登录后分配IM节点

用户先通过短连接登录 Web 网关,网关验证账号密码、返回用户 ID 和令牌,同时按负载均衡策略从 ZooKeeper 注册的节点中选出一台 IM 服务器地址返回给客户端;客户端先建立到 IM 服务器的传输连接,再发送鉴权请求;只有鉴权成功,服务端才把该连接视为已授权的 IM 会话。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介

三层分布式

典型分布式系统分三层:接入层对接客户连接,负责业务分发和连接的负载均衡;逻辑层处理不同业务的计算,不同业务可以划分到不同的计算集群,由接入层分配任务;数据层用离散化的存储方式提高数据写入、读取和检索的速度。

查看卡片与原书出处

软件架构设计_大型网站技术架构与业务架构融合之道 · 五花八门的架构师职业

架构能力按层分工

基础架构提供操作系统、网络、存储等能力;中间件与数据平台在其上提供通用能力;业务系统面向具体需求。团队未必一层对应一个部门,中小团队也可能直接借助外部基础设施。区分层次有助于识别能力来源、职责边界与应深入掌握的底层原理。

查看卡片与原书出处

架构师之路 · 一分钟一幅图TCP/IP搞定

OSI七层图不能等同TCPIP分层

本章配图按 OSI 七层列出应用、表示、会话、传输、网络、数据链路、物理层,可用来按职责定位通信问题;但章名“TCP/IP”不等于这张七层模型。

TCP/IP 通常把上三层合并为应用层,链路与物理层的划分也依具体模型而异。图中的协议归层只是参考,不宜当作精确实现清单。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 2030 边界思维的核心是约束而非能力 路径上下文 软件架构设计_大型网站技术架构与业务架构融合之道 · 业务架构思维 理解等级:未标注
    • 2030.c 架构能力按层分工 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 五花八门的架构师职业 理解等级:中级
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.ao SQL存储三阶段演进 主题成员 从零开始学架构 · 互联网架构模板:"存储层"技术 理解等级:未标注
      • 2275.ao.1 NoSQL平台规模大才划算 主题成员 从零开始学架构 · 互联网架构模板:"存储层"技术 理解等级:未标注
      • 2275.ao.2 小文件与大文件存储 主题成员 从零开始学架构 · 互联网架构模板:"存储层"技术 理解等级:未标注
    • 展开或收起下级: 2275.ap 统一开发框架优选成熟 主题成员 从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术 理解等级:未标注
      • 2275.ap.1 Web服务器拿来用 主题成员 从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术 理解等级:未标注
      • 2275.ap.2 配置中心集中管理 主题成员 从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术 理解等级:未标注
      • 2275.ap.3 服务中心两种实现 主题成员 从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术 理解等级:未标注
      • 2275.ap.4 消息队列的五个好处 主题成员 从零开始学架构 · 互联网架构模板:"开发层"和"服务层"技术 理解等级:未标注
    • 展开或收起下级: 2275.aq HTTP-DNS的得失 主题成员 从零开始学架构 · 互联网架构模板:"网络层"技术 理解等级:未标注
      • 2275.aq.1 硬件均衡量大反而省钱 主题成员 从零开始学架构 · 互联网架构模板:"网络层"技术 理解等级:未标注
      • 2275.aq.2 CDN买而不造 主题成员 从零开始学架构 · 互联网架构模板:"网络层"技术 理解等级:未标注
      • 2275.aq.3 多中心是质变 主题成员 从零开始学架构 · 互联网架构模板:"网络层"技术 理解等级:未标注
    • 展开或收起下级: 2275.ar 用户管理量大不难 主题成员 从零开始学架构 · 互联网架构模板:"用户层"和"业务层"技术 理解等级:未标注
      • 2275.ar.1 Android推送为何复杂 主题成员 从零开始学架构 · 互联网架构模板:"用户层"和"业务层"技术 理解等级:未标注
      • 2275.ar.2 图片云为何单独拆出 主题成员 从零开始学架构 · 互联网架构模板:"用户层"和"业务层"技术 理解等级:未标注
      • 2275.ar.3 虚拟业务域收编子系统 主题成员 从零开始学架构 · 互联网架构模板:"用户层"和"业务层"技术 理解等级:未标注
    • 展开或收起下级: 2275.as 运维平台四化 主题成员 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 2275.as.1 中间层适配运维标准 主题成员 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 2275.as.2 可视化是信息压缩 主题成员 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 2275.as.3 测试平台四模块 主题成员 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 2275.as.4 数据平台三大职责 主题成员 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 2275.as.5 权限管理分认证与控制 主题成员 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
  • 展开或收起下级: 2389 Netty的异步事件驱动 路径上下文 Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 高并发时代的必备技能 理解等级:未标注
    • 2389.c 十万级QPS三层架构 主题成员 Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 高并发时代的必备技能 理解等级:未标注
    • 2389.d 千万级QPS加两层均衡 主题成员 Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 高并发时代的必备技能 理解等级:未标注
  • 展开或收起下级: 2398 高频通信要复用连接 路径上下文 Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 高并发HTTP通信的核心原理 理解等级:未标注
    • 展开或收起下级: 2398.a TCP/IP四层与OSI 路径上下文 Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 高并发HTTP通信的核心原理 理解等级:未标注
  • 展开或收起下级: 2403 亿级IM的集群分工 主题成员 Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 亿级高并发IM架构与实战 理解等级:未标注
    • 2403.c 长连接短连接分工 主题成员 Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 亿级高并发IM架构与实战 理解等级:未标注
    • 2403.d 登录后分配IM节点 主题成员 Java高并发核心编程.卷1,NIO、Netty、Redis、ZooKeeper · 亿级高并发IM架构与实战 理解等级:未标注
  • 2791 三层分布式 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介 理解等级:未标注

来源书籍

来源书籍

从零开始学架构

系统架构类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 7/7

218 张卡片

来源书籍

架构师之路

系统架构类

Skill 版本:v15

书籍类型:未标注

类别清单尚未核对

317 张卡片

主题索引

架构风格与模式

比较架构风格作为预制约束集的价值与代价、风格与模式的区别,以及大泥球、镜像、回调等具体风格。

182 张卡片 · 22 本书