此笔记位置已失效,请从目录继续阅读。
全书导读
这本书讲的是把一个网站从单一应用拆到大型分布式系统之后,需要补齐哪些技术环节。作者陈康贤以阿里巴巴与淘宝网的工作经历为素材,按五个相对独立的专题组织全书:服务化(SOA)与远程调用、分布式系统依赖的基础设施、互联网安全架构、系统稳定性保障、海量数据分析。
前言「内容大纲」明确说明:五章之间几乎没有必然的前后依赖,读者可以从任意感兴趣的专题开始;但同一章的各小节相互关联,最好按原文顺序阅读。需要如实指出一处编排差异——前言把「互联网通信的安全性」写作第 2 章、「分布式系统基础设施」写作第 3 章,而正文标题、目录与 NCX 导航的实际章号恰好相反(第 2 章为基础设施,第 3 章为安全)。本笔记按正文实际章号与 spine 顺序组织。
书中大部分案例代码用 Java 编写并运行在 Linux 环境上,示例带有明确的 2014 年工具链版本(如 ZooKeeper 3.3.6、HttpClient、SpringMVC、Hadoop、Storm 等)。读这些代码时应把注意力放在机制与取舍上,具体版本与命令已不具备现实可复现性。
全书主线
贯穿全书的是一条「规模带来问题、问题逼出分工」的线索:业务与流量增长使单一应用无法支撑,于是系统先垂直拆分;拆分后应用间必须互相调用,公共业务被抽成可复用服务,演进为 SOA;服务数量增长又使地址管理、路由与负载均衡无法靠人工和硬件设备维持,需要动态注册的配置中心与统一入口的网关。
服务化之后,数据量与访问量继续增长,单机的缓存与存储不再够用,于是引出分布式缓存、分库分表、NoSQL、消息系统与垂直搜索等基础设施;系统暴露到公共网络后,明文通信与开放接口带来攻击面,需要摘要、加密、签名、证书、HTTPS 与 OAuth 等安全机制;系统规模大到「一两个小时不可用即成公众事件」时,监控、快速恢复、限流降级、性能定位与故障排查成为独立课题;最后,积累下来的数据本身成为资产,需要日志收集、离线与流式计算、数据同步和报表来支撑业务。
序由林昊撰写,把这五块串成架构师的技术全景:先看清全貌,再控制每个阶段该做什么、避免技术布局出现空白点。
内容简介
内容简介把全书范围界定为 SOA 架构实现、互联网安全架构、分布式网站依赖的基础设施、系统稳定性保障与海量数据分析,并说明写法是「核心原理 + 架构设计典型案例」,面向初学者与业界同行两类读者。它与前言的章节范围一致,可作为阅读前的范围核对,本身不含需要单独成卡的技术结论。
序 大型分布式网站技术全貌
序以 2008 年淘宝因访问量、数据量与开发人员增长而改造为大型分布式网站为背景,指出掌握这套体系最难的是看清全貌。它按后文五章的顺序预演了各阶段的关键问题:服务化(SOA)首先要实现标准的请求/响应,并解决水平伸缩集群下的负载均衡;数据量增长使单机无法缓存全部数据、需要分库分表与 NoSQL;安全之所以薄弱,多因开发者相关知识不足,而电商一旦出事会丧失信任;稳定性上「监控帮助发现问题,出事后最重要的是快速恢复而不是先修 bug」,并点名优雅降级;最后,沉淀的数据需要离线计算与实时流式计算才能用于业务。
序还给出一句对全书读法很重要的判断:对架构师而言,最重要的是掌控技术发展的过程,控制每个阶段该做什么,避免技术布局出现空白点。
前言与内容大纲
前言交代了分布式架构的核心思想:用大量廉价的 PC Server 构建低成本、高可用、高可扩展、高吞吐的集群,理论上具备无限扩展能力;并说明分布式系统牵涉通信协议、远程调用、服务治理、安全、存储、搜索、监控、稳定性、性能优化、数据分析与挖掘等诸多领域,任一领域深入下去都足以单独成书。为避免只谈理论,作者穿插了大量实践案例。
内容大纲逐章给出范围:第 1 章是企业内部 SOA 的实现,覆盖 HTTP 协议工作原理、基于 TCP 与 HTTP 的 RPC、服务路由与负载均衡、HTTP 服务网关;第 2 章(依前言所述顺序)是通信安全,涵盖常见攻击、数字摘要与对称/非对称加密、数字签名与证书、摘要认证与签名认证、HTTPS 及 OAuth;第 3 章是基础设施,涵盖分布式缓存、MySQL 扩展、HBase、Redis、消息系统与垂直化搜索;第 4 章是稳定性,涵盖在线日志分析、集群监控、流量控制、性能优化与 Java 故障排查工具;第 5 章是数据分析,涵盖采集、离线分析、流式分析、数据同步与报表。
前言同时说明读者前提:不假设 Java 水平很深,但案例多为 Java + Linux,具备这两方面基础会更顺畅。
感悟
「感悟」是作者完稿后的写作反思:理解领悟与用文字表达是两个层面,日常工作中习以为常的设计思路往往由一次次失败和挫折演变而来,人们常只知道 how 而忽略 what 与 why,要讲清 what、why、how 乃至 why not 并不容易。这段不含技术机制,但解释了本书为何在每处方案上都试图交代原因与取舍,也提示读者关注「为什么不这样做」的部分。此处按读者延伸理解处理,不冒充作者的技术结论。
第01章 面向服务的体系架构(SOA)
本章是全书基础,回答「系统拆开之后,应用之间怎样互相调用,以及调用请求该发到哪台机器」。它按四步展开:先用 TCP 手工实现一个最小 RPC,说明远程调用到底传递了什么;再换成基于 HTTP 的实现,比较两种协议的取舍;接着处理服务变多后的地址管理与负载均衡,引入以 ZooKeeper 为核心的服务配置中心;最后用网关把这套内部服务开放给外部 APP,并补上安全校验。
从单一应用到垂直应用、再到分布式应用的演变,是本章的起点:垂直拆分解决了扩容问题、把流量分散到各子系统,但应用增多后相互调用不可避免,否则重叠业务会形成信息孤岛与重复建设;把核心业务抽成独立系统对外提供服务,便形成 SOA。
1.1 基于TCP协议的RPC
远程过程调用把本地方法调用换成调用远端服务器上的方法,调用方传参数、提供方执行并回传结果。这一步之所以必要,是因为单台服务器的处理能力受硬件成本限制,无法无限提升。
跨网络传输的前提是序列化:对象在发送方变成二进制流、在接收方还原为对象。可选的 Protocol Buffers、Hessian、Java 内置序列化、JSON 与 XML,差别在性能、跨语言支持与代码侵入性之间;没有一种方案在所有场景下都最优。
基于 TCP 的最小实现用 Socket 传送接口名、方法名、参数类型与参数,服务端把实现对象放在 Map 中,再通过反射定位方法并调用,结果写回流。这条链路把 RPC 拆成了「寻址 + 序列化 + 反射派发 + 结果回传」四件事;示例用阻塞 I/O、串行循环,只用于说明原理,真实环境还需并发、路由与负载均衡。
关于 RPC把本地调用变成远端调用,见 RPC把本地调用变成远端调用。 关于 序列化与反序列化,见 序列化与反序列化。 关于 序列化方案的取舍,见 序列化方案的取舍。 关于 基于TCP的RPC靠反射派发,见 基于TCP的RPC靠反射派发。
1.2 基于HTTP协议的RPC
HTTP 是构建在 TCP/IP 之上的应用层协议,下层负责丢包补发、握手、分段与重组,因此应用只需按协议格式组织请求与响应。一次浏览器请求还要经过 DNS 解析、建立连接、发送 GET、接收 HTML 并下载资源渲染;当程序要绕过浏览器自己发请求时,用 HttpClient 这类封装可以避免重复处理流与并发控制。
自定义二进制协议有一个容易忽略的细节:int 直接写入输出流只保留低 8 位,必须按 Big Endian 转成字节数组,接收端再按同样规则拼回。
两种 RPC 的取舍贯穿本节:TCP 方案可定制字段、传输字节少、吞吐高,但要自己承担底层细节且难以跨平台;HTTP 方案用 JSON/XML 与成熟 Web 容器换取跨平台和低实现成本,代价是同等内容传得更多、更慢。原文的判断是 gzip 压缩与代码优化可缩小差距,多数场景下 HTTP 更有优势。
数据格式上,JSON 轻量、语言无关、各平台都有成熟解析工具;XML 可自定义标记、适合描述结构化数据与 Web 传输。URL 风格上,RPC 风格把服务接口名与参数直接写在查询串里,RESTful 风格则用 GET/POST/PUT/DELETE 表达操作、用 URL 定位资源。后者更简洁、抽象程度高,但适合简单的数据类服务,复杂非资源操作并不合适。
关于 HTTP位于应用层的好处,见 HTTP位于应用层的好处。 关于 写int必须转成字节流,见 写int必须转成字节流。 关于 一次HTTP请求的完整链路,见 一次HTTP请求的完整链路。 关于 HttpClient封装的意义,见 HttpClient封装的意义。 关于 TCP与HTTP做RPC的权衡,见 TCP与HTTP做RPC的权衡。 关于 REST以HTTP方法表达操作,见 REST以HTTP方法表达操作。 关于 两种URL风格的适用边界,见 两种URL风格的适用边界。
原书依据 · 7 处
- 第1章 面向服务的体系架构(SOA) 1.2 基于HTTP协议的RPC · 查看原书依据
- 第1章 面向服务的体系架构(SOA) 1.2 基于HTTP协议的RPC · 查看原书依据
- 第1章 面向服务的体系架构(SOA) 1.2 基于HTTP协议的RPC · 查看原书依据
- 第1章 面向服务的体系架构(SOA) 1.2 基于HTTP协议的RPC · 查看原书依据
- 第1章 面向服务的体系架构(SOA) 1.2 基于HTTP协议的RPC · 查看原书依据
- 第1章 面向服务的体系架构(SOA) 1.2 基于HTTP协议的RPC · 查看原书依据
- 第1章 面向服务的体系架构(SOA) 1.2 基于HTTP协议的RPC · 查看原书依据
1.3 服务的路由和负载均衡
服务消费者按服务名找到地址列表叫路由;从集群地址列表中按算法选一台叫负载均衡。规模小时地址可硬编码或交给 F5、LVS、Nginx;规模变大后人工维护不可行,且均衡设备一旦宕机,依赖它的服务全部失效,形成单点。
服务配置中心把「服务名 → 地址列表」集中管理:提供者启动时注册,消费者首次查询后把列表缓存在本地,之后直接使用本地副本,只有机器上下线触发 watcher 时才重新拉取。这种无中心化结构既降低配置中心压力,也避开了均衡设备的单点问题;代价是必须保证变更通知不丢。
负载均衡算法一节的重点不在代码,而在判断视角的变化:轮询追求请求次数绝对均衡,却需要 synchronized 保护游标、拉低并发吞吐;随机法依概率在大流量下逼近轮询且无需锁;源地址哈希让同一 IP 固定落到同一台机器,可支撑有状态 session,但列表变化会打散映射;加权轮询/加权随机按机器配置与负载分配权重;最小连接数法则改从后端视角看积压连接数,指出「请求次数均衡」并不等于「负载均衡」。
为了让规则可变,原文用 Groovy 脚本加载规则类,把负载均衡策略做成可动态配置的文本,甚至可借 ZooKeeper 的 watch 机制不重启生效。ZooKeeper 部分是本节的实现基础:它用类似精简文件系统的 znode 树、持久节点与临时节点、以及 watcher 通知来支撑服务注册发现。临时节点随会话断开自动消失,正好用来摘除宕机机器;但原生 watcher 是一次性的,重注册空窗会丢事件,session expire 还会让 watcher 与临时节点全部失效,因此生产上常用 zkClient 把一次性订阅包装成持久订阅并处理重连。节点树还可增加 consumer 层,用于监控某个服务被哪些机器消费,作为扩容或下线依据。
关于 服务配置中心消除单点,见 服务配置中心消除单点。 关于 地址列表本地缓存,见 地址列表本地缓存。 关于 轮询法的锁代价,见 轮询法的锁代价。 关于 源地址哈希维持会话,见 源地址哈希维持会话。 关于 最小连接数从后端看负载,见 最小连接数从后端看负载。 关于 ZooKeeper的watcher一次性,见 ZooKeeper的watcher一次性。 关于 临时节点自动摘除宕机机器,见 临时节点自动摘除宕机机器。
原书依据 · 7 处
1.4 HTTP服务网关
移动与开放平台让同一份数据要服务 Android、iOS、Windows Phone、PC Web 及第三方 ISV。公共网络上的 HTTP 请求是明文,参数、返回值、cookie、head 都可能被监听、伪造或篡改,因此不能让外部请求直达内部服务。
网关承担两件事:先做权限与安全校验,把恶意或非授权请求挡在后端之前;再按服务名到配置中心取地址列表,用负载均衡选一台发起调用,并把响应回写给客户端。这样多端可以复用同一套公共业务逻辑,降低开发与运维成本。
代价是网关自己成了核心节点:一旦失效,所有外部 APP 不可用;且它承载的流量是后端集群流量之和。所以设计之初就要做监控、容量规划与可扩展性,让流量「水位」到警戒值时能快速扩容。原文给出的方案是一组对等网关服务器前置两台互相心跳的负载均衡设备,平时双活、一台宕机由另一台接管流量。
关于 网关统一安全校验与路由,见 网关统一安全校验与路由。 关于 网关成为新的单点,见 网关成为新的单点。
第2章 分布式系统基础设施
本章讨论一个大型分布式网站在业务代码之外还必须依赖哪些支撑系统,即作者所称的分布式系统基础设施。当并发量与数据量持续膨胀,单靠关系型数据库与单机应用已无法支撑:磁盘与内存速度不在一个量级,单机内存有限且本地缓存重复占用资源,集中式数据库在读写压力下遇到瓶颈,应用间同步调用又使耦合过重。本章按挡在数据库前的缓存、承载海量数据的存储、解耦应用的消息、弥补复杂查询的搜索、其余支撑系统的顺序展开,依次介绍memcache及其一致性哈希策略、MySQL扩展与HBase/Redis、ActiveMQ与JMS、Lucene/Solr垂直化搜索引擎,最后带过CDN、负载均衡、监控与实时离线计算等系统。
这些基础设施并非彼此孤立:缓存与搜索引擎都在弥补数据库被拆分后丢失的能力,消息系统用异步化换取吞吐与解耦,而分库分表带来的多表关联与复杂条件查询难题,恰恰要靠搜索引擎构建的一张大表来弥补。理解本章的关键,是把每项技术放在『高并发、海量数据、最终一致性』这一共同前提下,看清它解决了什么、又牺牲了什么:放弃强一致、放弃关联查询、容忍索引延迟、接受排序偏差。后续章节的实时计算、日志收集、监控与数据仓库,则是在这些基础设施之上继续叠加的运维与数据能力。
2.1 分布式缓存
分布式缓存解决的是『读写请求先撞到数据库』的问题。磁盘与内存速度差着量级,在数据库前加一层缓存即可显著提高响应、降低库压;但单机内存有限,且各节点各存一份本地缓存会造成重复浪费,于是缓存被外置为独立集群。本章以memcache为代表:它用key-value在内存维护一张巨大HashTable,把查询降到O(1),空间不足时用LRU淘汰最近不常访问的数据,并靠对象序列化把高层对象转成二进制存放。
真正体现权衡的是分布式策略。memcache服务端本身不分布式,路由由客户端完成:最朴素的hash(key)%N在节点宕机或扩容时会使大部分key重新分布,请求瞬时涌向数据库形成『雪崩效应』。一致性哈希把值域组织成环,节点增减只影响相邻区间,再用虚拟节点缓解节点少时的数据倾斜;2.1.3的分布式session则把会话以sessionid为key集中存到缓存集群,用缓存的失效机制兼顾安全与性能,代价是缓存重启会丢失会话。
关于 分布式缓存的产生动因,见 分布式缓存的产生动因。 关于 缓存内存模型与淘汰,见 缓存内存模型与淘汰。 关于 取模分布与缓存雪崩,见 取模分布与缓存雪崩。 关于 一致性哈希与虚拟节点,见 一致性哈希与虚拟节点。
2.2 持久化存储
持久化存储面对的是数据几何级增长、访问频次激增。作者先对比方案:MySQL提供完整ACID、关联查询与索引,成熟易用,中小规模难以替代;但高并发海量下为性能不得不放弃关联查询、事务与强一致,改用分库分表、反范式与最终一致。NoSQL随之兴起,HBase基于BigTable、运行在HDFS上,以列族、稀疏大表与Region分区支持海量存储和多节点并发写;Redis是高性能键值库,但提供字符串、哈希、链表、集合、有序集合等结构,可高效完成排序取前N、计数器、队列与排重。
MySQL的扩展被层层推进:先按业务拆库,再用replication做Master-Slave读写分离,靠Binary log异步复制把读压力分摊到Slave,只保证最终一致;为解决Master单点故障引入Dual-Master,靠server-id防循环复制,同一时刻只开一台写入以防数据覆盖。写压力再大则分库分表,以user_id取模路由。代价是:跨表事务升为分布式事务、难以多表关联、查询必须带路由字段、扩容需重新迁移数据。HBase用rowkey范围scan缓解查询维度不足,搜索引擎补上复杂组合查询。
关于 三类存储引擎的取舍,见 三类存储引擎的取舍。 关于 MySQL复制与读写分离,见 MySQL复制与读写分离。 关于 分库分表路由及代价,见 分库分表路由及代价。 关于 HBase列存与行键设计,见 HBase列存与行键设计。
2.3 消息系统
消息系统把应用间通信从同步调用改为异步:消息存进队列直到被取走,发送方不必等待接收方响应,从而降低耦合、提升协作效率与吞吐;峰值时队列还能作缓冲『削峰填谷』,避免集群被压垮。本节以纯Java实现的ActiveMQ为例,它完整支持JMS——一组与厂商无关的Java消息API,类似JDBC,定义了TextMessage、ObjectMessage等消息类型和创建、发送、接收、读取服务。
JMS给出两种模型:基于queue的P2P一条消息只被一个消费者取走;基于topic的Pub/Sub把消息广播给所有订阅者,断连期间的消息会丢失,除非设为持久订阅。可靠性还靠Session的事务与确认模式保障,懒惰确认可能重复投递。高可用上,ActiveMQ用Master-Slave冷备:Master持有共享文件系统或数据库表的排他锁,宕机后由Slave争锁接管,客户端用failover自动重连;容量上先垂直扩展(硬件、nio),再水平拆分broker,把不相关的queue和topic分散出去。
关于 消息异步解耦与削峰,见 消息异步解耦与削峰。 关于 JMS两种消息模型,见 JMS两种消息模型。 关于 消息确认与持久订阅,见 消息确认与持久订阅。 关于 ActiveMQ主从冷备与水平扩展,见 ActiveMQ主从冷备与水平扩展。
2.4 垂直化搜索引擎
垂直化搜索引擎针对企业内部自有数据,不像Google、Baidu用爬虫抓全网。它在分布式系统里承担两件事:满足全文检索与模糊匹配,解决数据库like查询低效;以及补上分库分表或使用NoSQL后无法多表关联、无法复杂查询的缺口。核心是倒排索引——以词为关键字建立词到文档列表的映射,从而由词快速取回文档;配套还有分词(中文无形式分隔符,需一元、二元或词库分词器)、停止词过滤与相关度排序。
Lucene以Document、Field、Term组织索引和查询,由IndexWriter写入、IndexSearcher检索。工程难点在分布式:索引由多个segment组成,段太多会耗尽文件句柄并拖慢查询,自动合并又耗I/O影响前台,故由专门的索引生成集群构建索引再推送查询服务器。量大时按uniquekey%N切分索引、由merge server汇总;各片取topN再合并,排序结果可能与全局排序有偏差,需业务取舍。Solr在Lucene之上提供HTTP接口与表达式查询,把分组统计、高亮配置化。
关于 垂直搜索引擎的定位,见 垂直搜索引擎的定位。 关于 倒排索引与中文分词,见 倒排索引与中文分词。 关于 索引段合并与优化,见 索引段合并与优化。 关于 索引切分与结果偏差,见 索引切分与结果偏差。
2.5 其他基础设施
2.5把镜头从本章详述的四类基础设施拉回到全局:一个大型、稳健、成熟的分布式系统背后,依赖的是一整组支撑系统。除了第1章的分布式协作与配置管理ZooKeeper,还有本章展开的分布式缓存、持久化存储、分布式消息系统、搜索引擎,以及CDN、负载均衡、消息推送、自动化运维等本书未详述的系统,更有后续章节要讲的实时计算、离线计算、分布式文件系统、日志收集、监控与数据仓库。作者明确说明,这些系统一笔带过只因篇幅所限,并非不重要。
这一节的作用是把本章与全书其余部分接起来:缓存、存储、消息、搜索解决的是在线请求链路上的性能与解耦,而日志收集、监控、集群管理、实时与离线计算、数据仓库解决的是可观测性与数据价值挖掘,二者共同构成完整的基础设施版图。对架构设计者而言,重要的是按业务所处的并发量、数据规模与一致性要求选择组合,并意识到每引入一层基础设施都会带来新的运维成本、延迟与一致性边界;第4、5章的在线日志分析、集群监控、流量控制与日志收集、离线/流式分析,正是这套版图在运维与数据侧的延续。
第3章 互联网安全架构
随着移动互联网兴起以及RESTful与Web Service的大规模使用,HTTP因使用方便、跨平台成为Web开发与SOA领域的主流协议,但其承载的信息大多是未经加密的明文,信息获取门槛降低,给应用架构的安全性与稳定性带来挑战。本章按攻击面、算法基础、认证手段、传输加密、开放授权的顺序展开:先梳理XSS、CSRF、SQL注入、文件上传、DDoS等常见Web攻击的原理与对症防御,指出这类防御做起来简单却容易被忽视,更需从开发流程上予以保障;再铺垫数字摘要、对称与非对称加密、数字签名、数字证书等常用安全算法的使用场景与使用方法;随后依次讲解用摘要防篡改的摘要认证、用私钥签名验身份的签名认证、保障通信数据不被监听截获的HTTPS协议,以及开放平台下让用户不泄露用户名密码即可完成第三方授权的OAuth协议。作者同时提醒,安全永远是相对的,没有最安全,只有更安全。
归结起来,本章要解决四类问题:识别常见Web攻击手段并给出防御方法;掌握数字摘要、对称加密、非对称加密、数字签名与数字证书等安全算法的使用场景;用摘要认证、数字签名与HTTPS分别应对信息篡改、身份伪造与传输窃听;以及在开放平台体系下,借OAuth协议保障ISV对用户数据的访问确为经过用户授权的合法行为。
3.1 常见的Web攻击手段
3.1 梳理常见的Web攻击手段及其防御。XSS(跨站脚本)把用户输入的数据变成在浏览器端执行的脚本,可盗取cookie、下载木马,分反射型与存储型,危害取决于注入的脚本,防御关键是对尖括号、引号等做HTML转义;CSRF(跨站请求伪造)盗用用户身份、以其名义向受信任网站发恶意请求,防御靠HttpOnly cookie、请求中放不可伪造的token以及校验Referer;SQL注入把SQL命令伪装成请求参数欺骗服务端执行,可用预编译语句、ORM转义、密码加盐摘要与异常处理来防。
此外,文件上传漏洞要求用白名单而非黑名单校验类型、限制大小、重命名文件,并通过文件头魔数判断真实类型、对图片缩放以破坏可执行结构;DDoS(含SYN Flood、DNS Query Flood、CC)攻击手段多样、危害巨大,其防范是复杂的系统工程,需要多层监控、预案、人员值班与持续的实战演练。本节强调,XSS、CSRF、SQL注入这类攻击对症下药即可、做起来简单却最容易被忽视,因此企业更需要从开发流程上予以保障,以免因人为疏忽造成损失。
关于 XSS跨站脚本攻击与转义,见 XSS跨站脚本攻击与转义。 关于 CSRF跨站请求伪造与token,见 CSRF跨站请求伪造与token。 关于 SQL注入与预编译防御,见 SQL注入与预编译防御。 关于 DDoS与SYN洪泛攻击,见 DDoS与SYN洪泛攻击。
3.2 常用的安全算法
3.2 为后续认证与加密章节铺垫常用的安全算法,重在讲清使用场景与使用方法,避免枯燥的密码学理论。数字摘要又称消息摘要,由单向Hash函数把任意长度消息计算成固定长度的值(MD5为128位、SHA-1为160位),接收方用同样算法重算并比对即可判断消息是否被篡改,因此能验证完整性且几乎不可逆推原文。摘要越长越安全,但不同明文摘要结果总不同只是相对成立,存在Hash碰撞;它还面临彩虹表穷举破解的威胁,所以存储密码常改用哈希加盐。十六进制与Base64只是编码算法,把二进制摘要变成可打印字符以便网络传输,任何人都能逆向还原,绝不能当作加密使用。
对称加密(DES、3DES、AES)加解密共用同一密钥,算法公开、计算量小、速度快,适合加密较长内容,但安全性完全依赖密钥,一旦泄漏任何人都能解密,且收发双方必须事先共享密钥,存在密钥分发难题。非对称加密(RSA)使用公钥与私钥配对,公钥加密只有对应私钥能解,公钥可公开因而无需传输私钥,安全性高,却因大素数运算复杂度导致速度远慢于对称加密。工程上因此把两者结合:用对称加密处理正文、用非对称加密分发对称密钥,达到时间与安全的平衡。在此基础上,数字签名把摘要用发送者私钥加密,同时校验身份与内容完整性;数字证书由CA把用户公钥与身份绑定,按X.509标准存储,并通过根证书信任链完成校验。
关于 数字摘要与消息完整性,见 数字摘要与消息完整性。 关于 对称加密与密钥依赖,见 对称加密与密钥依赖。 关于 非对称加密与混合体系,见 非对称加密与混合体系。 关于 数字证书与信任链,见 数字证书与信任链。
3.3 摘要认证
3.3 讨论摘要认证。由于HTTP通信的请求参数、返回值、cookie、head大多是未经加密的明文,攻击者通过浏览器插件或控制网络核心节点即可监听、伪造请求与响应,篡改或窃取信息,因此需要对参数及客户端、服务端身份做认证。考虑到HTTPS有性能成本且需额外申请CA证书,对普通的非敏感数据可采用更轻量的办法:客户端与服务端先约定参数排序方式,把排序后的参数名值拼接并加上双方共享的密钥secret(即盐),用MD5等摘要算法生成摘要随请求传递;服务端用相同策略重算并比对,即可判断参数是否被篡改,响应也以同样方式加摘要回传供客户端校验。
实现上分为客户端参数摘要生成、服务端参数摘要校验、服务端响应摘要生成、客户端响应摘要校验四步,参数需按约定排序,否则双方生成的摘要会相差十万八千里。其价值在于借摘要算法的不可逆性与参数、响应的多变性,在一定程度上防止信息被篡改;但它的安全性有一个清晰的边界:由于两端采用相同的secret,一旦secret泄露,攻击者就能按同样规则伪造出合法的请求或响应摘要,通信安全便无法保障。这也正是下一节签名认证要修补的软肋。
关于 摘要认证的参数排序,见 摘要认证的参数排序。 关于 摘要认证的共享密钥边界,见 摘要认证的共享密钥边界。
3.4 签名认证
3.4 针对摘要认证共享secret的软肋提出签名认证。它同样要求双方约定参数排序方式,但生成摘要后不再拼接secret,而是用客户端私钥对摘要加密形成数字签名传给服务端;服务端用客户端公钥解密签名,与本地按相同策略重算的摘要比对,既能确认参数确实由该客户端生成,又能判断内容是否被篡改。响应方向同理:服务端用自己的私钥签名,客户端用服务端公钥验签,从而验证响应确实由服务端发出且未被改动。实现上同样分为客户端签名生成、服务端签名校验、服务端响应签名生成、客户端响应签名校验四步,可用MD5withRSA等Java Signature API落地。
相较于摘要认证,签名加密用私钥、解密用对外公开的公钥,私钥由持有者保管、无需泄露或传输给第三方,他人无法伪造,安全性大大提高;代价是所用的非对称加密算法要消耗更多的时间与硬件资源。不过签名认证只解决身份校验与防篡改,HTTP仍是明文传输,中途拦截通信的第三方仍可监听并还原客户端与服务端的通信内容,数字签名对此无能为力。机密性这一环,正需要下一节HTTPS来补齐。
关于 签名认证的公私钥机制,见 签名认证的公私钥机制。 关于 签名认证的优势与代价,见 签名认证的优势与代价。
3.5 HTTPS协议
3.5 讲HTTPS协议。摘要认证与签名认证解决了完整性与身份问题,但用户名密码、个人隐私等敏感信息若以明文传递,一旦被拦截仍有较大泄露风险。HTTPS即基于SSL的HTTP,在HTTP与TCP之间增加一层安全层,所有请求与响应数据在网络传输前先加密;依托SSL/TLS,它既能用数字证书验证通信双方身份,又用混合加密保障机密性:正文用对称加密保证性能,对称密钥由公钥加密后传输,只有持有对应私钥的另一端能解开,兼顾安全与时间成本。SSL/TLS分记录协议与握手协议两层,握手阶段协商算法、校验证书链、生成主密钥,之后数据用对称密钥加密传输。
HTTPS既支持只校验服务端证书的单向认证,也支持同时校验客户端证书的双向认证,后者用于企业内部网络与涉及大额交易支付的场景。实现上普通开发者可用JSSE简洁接入SSL/TLS,并以Tomcat配置keystore、truststore与clientAuth完成单向/双向部署。随着电子商务发展,HTTPS已有效保护用户私密信息,网上银行、第三方支付等金融行业更离不开它,Gmail等安全级别较高的服务已开始使用2048位RSA密钥,HTTPS协议已成为事实上的安全通信工业标准。
关于 HTTPS混合加密机制,见 HTTPS混合加密机制。 关于 SSL与TLS双层协议,见 SSL与TLS双层协议。 关于 HTTPS单向与双向认证,见 HTTPS单向与双向认证。
3.6 OAuth协议
3.6 讨论OAuth协议。前述摘要认证、签名认证与HTTPS保障的是通信双方相互信任时的安全,却无法应对开放平台的新场景:平台商把海量数据以接口形式开放给第三方开发者(ISV)做二次开发,既要让数据流动、形成用户、平台商、ISV共赢的生态,又必须保证对用户私有数据的访问都经过用户授权、且不向第三方泄露用户名密码等核心数据。OAuth正是为此提供的一个安全、开放的授权标准:与以往方式不同,它不触及用户账户信息即可完成第三方对用户信息的授权,用户是在平台自己的页面上登录并授权,而非把密码交给第三方。
其核心思想是把资源做权限分级和隔离,由ISV引导用户在平台端登录完成授权,用户可完全把控且授权可取消;授权后ISV凭access token在一定时间内访问用户授权的数据。一次授权涉及普通用户、ISV、平台商三个角色,经申请appId、获取request token、平台授权页登录、回调返回access token等步骤完成。由于授权与传输内容敏感度高,OAuth通常还要叠加摘要认证、签名认证与HTTPS;完整体系还涵盖开发者入驻、权限粒度、token生成校验、分布式session与公私钥管理,可借助开源OAuth库降低实现门槛。
关于 OAuth免密码授权,见 OAuth免密码授权。 关于 OAuth授权核心思想,见 OAuth授权核心思想。
第4章 系统稳定性
本章围绕一个目标展开:让线上系统持续稳定,并在出问题时比用户更早被发现、更快被修复。作者把成熟网站比作不停歇的印钞机——只要不宕机就持续产生收益,停机越久损失越大,因此开发与运维必须随时知晓系统运行情况。在线系统会遭遇依赖宕机、程序 bug、线程死锁、黑客攻击、负载过高等形形色色的问题,而生产环境因权限限制不允许 debug,工程师第一反应是远程登录机器、翻日志,用 shell 命令与脚本从海量日志里筛出线索。同时任何系统都有设计承载上限,超过就可能被压垮:大促前若没做容量预估、压测和限流,汹涌流量会让前期宣传投入付诸东流。
围绕这条主线,全章按看得见、控得住、扛得稳、跑得快、查得明推进:先用在线日志分析把故障线索从日志里捞出来;再用集群监控把单机经验升级成覆盖全集群的指标、心跳与容量水位;接着以流量控制、服务分级、开关和应急预案把超载挡在系统之外,并给出高并发系统设计中的一致性取舍;随后从寻找瓶颈、性能测试出发,在前端、Java 程序、数据库、GC 与硬件多层面优化性能;最后用 JDK 自带的排查工具与内存溢出、死锁、类加载冲突等真实案例,把在线故障定位落地。
4.1 在线日志分析
在线日志分析解决故障发生后从哪里找证据。日志沉淀了异常堆栈、访问地址与请求地址、响应时间、垃圾回收信息以及开发者主动打印的内容:堆栈定位是谁宕机及缺陷所在行,地址与参数判断是否被攻击,响应时间与负载判断要不要加机器,线程快照查死锁,垃圾回收日志反过来优化代码与虚拟机参数。生产环境不允许调试,远程登录分析日志几乎成了排障起点。为此要熟悉一批命令:查看文件、看首尾、排序去重统计查找,配合管道即可统计访问量前十的地址、最慢的页面以及错误请求占比。
单条命令能力有限,组合或写成脚本威力才更大。流编辑器先预设编辑规则再按行输出到标准输出,面向行且默认不改原文件,因此较安全;文本处理语言更进一步,可定义变量、做运算、支持条件与循环,能自定义规则重组文本,按请求地址累加响应时间求平均值。脚本再把这些工具与系统命令串起来,定期巡检负载与磁盘、异常时打印告警,或把关键日志同步入库。不过登录单机只能看到本地当下、无法与历史对比且全靠手工,这正是下一节集群监控要补的短板。
关于 日志是排障第一现场,见 日志是排障第一现场。 关于 命令组合与脚本化分析,见 命令组合与脚本化分析。 关于 单机手工分析的边界,见 单机手工分析的边界。
4.2 集群监控
集群监控把排障从出事后登录一台机器变成不间断自动盯住成千上万台机器。人力无法完成全天巡检,成熟系统需持续采集系统负载、处理器利用率、磁盘与网络、内存、每秒查询数、响应时间、垃圾回收及应用心跳等指标,一旦超过预设阈值便自动通知相应人员,争取在用户察觉前处理完。木桶原理说明任一环节成瓶颈都拖垮整体,因此指标要成体系:负载是运行队列中的平均线程数,每核活动线程数不大于三视为正常、大于五则非常高;处理器各状态占比中,等待态高往往意味着输入输出设计不合理;内存要看缓存与交换分区,频繁换页将严重拖慢系统。
光看绿灯还不够,心跳检测负责第一时间感知还活着没有。自治协调系统自带心跳,能实时摘除宕机节点、避免路由把任务分给故障机,主节点宕机还能自动选举;业务系统分三层:网络探测验链路,应用层定时访问预留自检地址,业务层按页面大小、返回值或响应头状态位识别局部功能异常。容量评估把监控用于事前:由总访问量拆解到各子系统流量,取最小子集压测出单机极限每秒查询数,按二八原则算峰值再定机器数;上线后用当前总每秒查询数与单机极限、机器数的关系画实时水位图并留存历史水位,作为扩容与回溯依据。
关于 监控指标采集与告警,见 监控指标采集与告警。 关于 系统负载的经验阈值,见 系统负载的经验阈值。 关于 应用层心跳与检测边界,见 应用层心跳与检测边界。 关于 容量评估与应用水位,见 容量评估与应用水位。
4.3 流量控制
流量控制的前提是任何系统都有承载上限,压测只给理论最大值,热点事件与大促流量难以精确预估,必须在到来前备好预案。实施可从三个维度限流:限制总并发请求数、限制单位时间请求数、用白名单限制每个接入系统调用频次。超载部分最简单是直接丢弃、立即返回;改进是用信号量做有限等待,让请求在内存队列排队,但队列过长会让大量线程忙等空转,长度须由压测反复调整。再进一步用消息队列把请求异步化:提交成功即返回、后端按固定频率消费,接收与处理解耦、削峰填谷,代价是消息积压、可靠性与重复投递去重都要兜住。
服务稳定性处理的是依赖不可控。网状依赖里先靠调用日志理清谁调用谁,区分核心与非核心链路。依赖响应缓慢或宕机时,大量超时调用会耗尽当前系统的线程与连接数导致服务僵死,并沿依赖链传导成多米诺骨牌效应;优雅降级为此对超时非核心服务设阈值,超阈值自动跳过调用。服务分级建立白名单、对未知调用者直接拒绝,过载时确保核心链路畅通、对次要应用丢车保帅;开关通过修改预定义全局变量实时屏蔽非核心调用;应急预案把服务级别、故障假设与开关、演练固化下来。落到高并发设计还要兼顾一致性与多线程同步,并以库存分离、拆多行缓解行锁竞争。
关于 流控维度与超载处理,见 流控维度与超载处理。 关于 故障传递与优雅降级,见 故障传递与优雅降级。 关于 服务分级开关与预案,见 服务分级开关与预案。 关于 高并发设计的一致性取舍,见 高并发设计的一致性取舍。
4.4 性能优化
性能优化第一步不是动手改代码,而是找到瓶颈——它就像木桶最短的那块板,补上才能发挥整体性能。定位分层展开:前端用网页评分插件评级并给建议,用浏览器插件看每个请求耗时;服务端更关注响应时间,借访问日志做趋势报表;再往里用动态跟踪工具记录方法进出时间、打印超阈值方法;垃圾回收日志反映回收频率与停顿,数据库慢查询日志记录超阈值语句,并看处理器、网络、磁盘与内存是否触顶。测试侧用压测工具得到每秒查询数与响应时间基准,用可视化工具实时观察负载;为避免测试数据与线上偏差,可调整负载均衡权重灰度引流,或复制线上真实请求到测试机。
找到瓶颈后,优化覆盖前端到硬件各层。前端以减少请求数、上内容分发网络、压缩为主,压缩省字节但要耗处理器,是典型权衡;程序层用单例、异步凭证、线程池复用线程以免频繁创建导致内存溢出、非阻塞输入输出把多个请求集中到少量线程,并通过缩短锁持有时间、减小锁粒度降低锁竞争。数据库侧先靠索引避免全表扫描,用执行计划看查询,警惕列参与表达式、前缀模糊、不满足最左前缀时索引失效,必要时以反范式冗余、查询缓存、搜索引擎换查询性能,代价是更新与存储成本及数据不一致风险。再往上是结果缓存、垃圾回收调优与硬件定制,硬件提升受成本限制。
关于 寻找性能瓶颈短板,见 寻找性能瓶颈短板。 关于 性能测试与真实引流,见 性能测试与真实引流。 关于 并发优化与锁竞争,见 并发优化与锁竞争。 关于 索引与查询优化取舍,见 索引与查询优化取舍。
4.5 Java应用故障排查
应用故障排查解决的是线上已出问题、如何最快定位。生产机器出于安全往往不允许图形化远程连接,也不允许调试,因此开发工具包自带的命令行工具是主力:统计工具监控类加载与垃圾回收,参数工具查看甚至运行期修改虚拟机参数,线程快照工具定位死锁、未设超时的长时间停顿,堆工具看堆概要并导出堆转储快照,但高位运行时导出耗资源、可能短时无法响应,应避开。有条件或事后分析再用图形工具:控制台把统计与线程快照图形化,一体化工具集内存、分析、线程与动态跟踪于一体,其中动态跟踪借热交换技术在不改代码、不重启的前提下观察参数与返回值。
工具之外更靠经验,章末给了三类案例。内存溢出:程序因缺陷运行一段时间后抛内存溢出,通过溢出时导出堆的参数留现场,再用堆分析工具看堆里字节数组与某内部类实例远超其他对象,从而定位创建它们的代码。线程死锁或信号量未释放:功能测试难发现,一旦发生,线程卡在锁或信号量等待上无法释放,新连接因无可用线程得不到处理,表现为应用僵死,但虚拟机进程仍活跃,线程快照可见大量等待态。类加载冲突:依赖传递使工程里出现多个同名类、不同版本,各机器加载顺序不一致便抛类或方法找不到错误,用类加载日志可查到类来自哪个包。
关于 JDK故障排查工具箱,见 JDK故障排查工具箱。 关于 BTrace动态跟踪,见 BTrace动态跟踪。 关于 内存溢出死锁类冲突,见 内存溢出死锁类冲突。
第5章 数据分析
随着互联网深入生活,企业在日常运营中逐渐积累起海量用户数据,量级随时间呈指数级爆发增长,整个行业迈入大数据时代。这些数据一类是用户生成内容UGC——微博内容、关注关系、购买记录、照片视频、搜索关键字;另一类是系统运行日志——访问日志、异常日志、运行日志、操作日志、登录日志。UGC能预测趋势(如由微博内容推测选举结果、由感冒药搜索频度预测流感爆发)、给用户分类聚类、沿关系链找回多年未联系的好友;日志则让我们掌握系统运行(load、磁盘I/O、网络流量)、负载水位与用户访问(qps、PV/UV)。对这些数据的分析与掌握,使企业能更好地提供服务,也构成本章全部工作的基础。
本章围绕把原始数据变成可用结论的完整链路展开,依次解决五个问题:分布式系统中日志收集系统如何架构;如何用Storm做实时流式数据分析;如何用Hadoop做离线数据分析并通过Hive建立数据仓库;如何把关系库数据导入HDFS、又从HDFS导回关系库;以及如何把分析好的数据用图形展示给用户。顺序上先讲5.1日志收集(inotify采集、ActiveMQ分发、分层存储与Chukwa方案),再讲5.2离线分析与5.3流式分析两条计算路径,随后5.4数据同步打通在线库与离线数仓,最后5.5数据报表把结果可视化。主线是:数据先被收集,再按实时性选择离线或流式计算,经同步回流到在线存储,最终以报表支撑决策。
5.1 日志收集
在线系统每天产生大量日志:错误信息、CPU load与内存磁盘网络等负载指标、用户访问路径、响应时间、搜索关键字。这些数据经加工能为设计与运营提供决策依据——由访问日志算出页面PV、UV、RT,由搜索关键字得出用户爱好,由负载日志定位问题,由错误日志做实时异常报警。而分布式系统可能包含成百上千台机器,分析之前必须先把各机器上的日志收集起来,汇总到统一系统。5.1先解决高效采集:文件轮询对错误日志这类稀疏写入效率极低,Linux的inotify用文件系统事件通知替代轮询;ActiveMQ-CPP再把日志以消息发出去。
5.1.3讲架构与存储:inotify解决采集效率、ActiveMQ解决分发,数据流还要经Storm处理再落到MySQL、HDFS、Hbase或Memcache。访问量一天内起伏很大,ActiveMQ的异步缓冲让高峰积压、低峰消化,实现削峰填谷;发布订阅模型让收集与消费解耦。存储分层:离线数据入HDFS,实时展现入Hbase,可控结果集入MySQL分库分表,高频TPS计数入Memcache。5.1.4给出Chukwa思路——基于Hadoop、配合MapReduce的采集分析框架,但较复杂、文档少、可靠性待完善。
关于 inotify事件驱动日志采集,见 inotify事件驱动日志采集。 关于 ActiveMQ削峰填谷缓冲,见 ActiveMQ削峰填谷缓冲。 关于 日志分层存储选型,见 日志分层存储选型。 关于 Chukwa采集分析框架,见 Chukwa采集分析框架。
5.2 离线数据分析
5.2先分清:按实时性分实时与离线分析,后者需复杂多维计算,耗时几小时甚至几天;按数据类型分流式处理(永不终结的数据流)与批量处理(有限数据、跑完即止)。Hadoop主场是离线批处理,输入通常是前一天或前N天数据,结果滞后当前时间;但结果可回流写回关系库,支撑在线查询。Hadoop源于Google的GFS、BigTable等论文,核心是HDFS与MapReduce:HDFS主从架构下NameNode管命名空间与分块映射、DataNode管本机存储,客户端直连DataNode读数据;以机架感知三副本兼顾可靠性与带宽。
MapReduce用分而治之把作业分发给子节点并汇总结果,由JobTracker与TaskTracker调度,关键取舍是移动计算而非移动数据——尽量在存有数据的节点上计算,减少网络传输。5.2.3用访问日志统计页面PV演示map、reduce与job写法。5.2.4的Hive把HDFS结构化文件映射成表、把HiveQL转成MapReduce,学习成本低;其读时校验(导入只复制文件、查询才校验类型)换来加载效率,分区避免全表扫描。原文也点明边界:Hive并非为在线而生,实时性与效率不及传统关系库,难提供实时查询服务。
关于 实时离线与流式批量划分,见 实时离线与流式批量划分。 关于 Hadoop双核心组件,见 Hadoop双核心组件。 关于 MapReduce移动计算,见 MapReduce移动计算。 关于 Hive数据仓库读时校验,见 Hive数据仓库读时校验。
5.3 流式数据分析
5.3面对另一类需求:系统监控、交易金额、广告计费等场景要求对流式数据实时响应。本章立论:数据的价值随时间流逝而降低,最好生成后尽快处理,因此工具必须具备高性能、实时性、分布式与易用性;MapReduce即便改进也很难稳定满足。Storm是Twitter开源的分布式实时计算系统,与MapReduce的根本差别在于Topology永远运行直到被手动kill,而批处理任务终会结束。它以Nimbus与Supervisor组成集群,协调与状态交给ZooKeeper,进程快速失败且无状态,可杀掉再拉起。
编程模型上,stream是无边界tuple序列,spout从外部读数据发射tuple,bolt做过滤、聚合等流转换,Stream Grouping(共7种,如Shuffle、Fields、Direct)决定tuple在task间的分发。Storm保证至少一次处理:异常时重排任务、消息可能重复但绝不丢失,因此下游必须幂等或去重。5.3.3以从ActiveMQ读日志、按url统计PV的Topology演示开发,并点出并行计数边界:累加需借外部存储与原子操作,Hash热点key会把同一页面写入压到单台存储、可能将其压垮。
关于 流式数据价值随时间衰减,见 流式数据价值随时间衰减。 关于 Storm拓扑永驻运行,见 Storm拓扑永驻运行。 关于 Storm至少一次处理语义,见 Storm至少一次处理语义。 关于 并行PV计数的热点倾斜,见 并行PV计数的热点倾斜。
5.4 数据同步
5.4解决在线库与离线数仓的数据流动。直接在在线应用依赖的关系库上跑复杂分析会增加线上负载,因此标准做法是把数据从OLTP库与日志系统提取、清洗到OLAP(如Hive),再做多维汇总供报表使用。OLTP负责日常事务处理,OLAP侧重决策支持与直观查询。同步分两类:全量同步在每天负载最低时把线上数据整体dump到离线系统,耗时占连接、一天常只跑一两次;实时同步则捕捉每一次变更。Sqoop是Apache的离线同步工具,用MapReduce在关系库与HDFS间双向导入导出,按切分列(通常主键)把行均分到多个任务。
原文提示两处权衡:并行度参数过小则同步过慢、过大会用大量并发任务把线上DB压垮;导出因多个MapReduce进程不在同一事务而非原子操作,任务失败重跑自己那部分数据可能插入重复记录产生脏数据,需靠主键或唯一索引兜底。淘宝开源的DataX以单进程全内存传输保持高吞吐。5.4.2转向实时同步:把变更发布到ActiveMQ的topic虽近乎实时,却需加入消息发布流程、有侵入性;更解耦的做法是模拟MySQL主从协议、把解析器伪装成Slave解析Binary log,把变更发布到ActiveMQ供订阅,使同步与业务解耦。
关于 OLTP与OLAP职责分离,见 OLTP与OLAP职责分离。 关于 Sqoop关系库与HDFS互导,见 Sqoop关系库与HDFS互导。 关于 基于binlog的实时同步解耦,见 基于binlog的实时同步解耦。
5.5 数据报表
5.5是整条数据链路的出口:报表用表格、图表等格式动态显示数据。计算机生成的报表带来数据动态化、格式多样化,并实现报表数据与报表格式的完全分离——用户可只改数据或只改格式,二者互不牵连,这正是前后端可并行开发的前提。5.5.1说明它承载哪些信息:PV、UV、请求来源、访问路径、搜索关键字、点击分布、交易下单金额等,每类都对应明确判断(访问量评估系统压力与用户粘性、请求来源做流量分层、访问路径算访问流失率、交易金额关系电商收入)。报表把抽象数据具体化,呈现趋势并与历史对比,为业务评估与决策判断提供重要参考。
5.5.2以Highcharts为例落地:它是基于jQuery等库的Javascript图表库,含Highstock,支持线图、柱状图、饼图等样式及主题切换。做法是引入库文件后编写异步数据接口——异步获取让展现逻辑与数据分离、降低耦合;后端把各页面12个月月均PV组织成JSON,前端拉取后配置chart、坐标轴与series渲染柱状图,悬停看该月详情。原文提醒示例数据是伪造的,真实数据应由日志分析计算后回流到Hbase或MySQL供在线查询:Hbase天生适配海量键值数据、免分表,MySQL靠分库分表亦能满足。
关于 报表数据与格式分离,见 报表数据与格式分离。 关于 报表业务指标决策价值,见 报表业务指标决策价值。 关于 Highcharts异步数据接口,见 Highcharts异步数据接口。
跨章综合
把五章放在一起看,全书的组织其实是「一次拆分引出的四类后续成本」。第 1 章把单体应用拆成互相调用的服务,这一步解决了计算能力的横向扩展,却立刻制造了两个新问题:调用方如何找到服务实例、以及外部请求如何安全地进入内部。前者由服务配置中心与本地缓存地址列表承接,后者由 HTTP 服务网关承接,而网关自己又成为需要容量规划与双机接管的新单点。
拆分之后,原本由单机承担的状态与数据也被迫分散。第 2 章处理「数据放在哪里、怎么取」:缓存挡在数据库之前缓解读写压力,分库分表、HBase 与 Redis 分别应对容量与访问特征,消息系统把同步调用改成异步解耦,垂直化搜索与 CDN 则把特定查询从主链路中剥离。第 5 章处理同一批数据的另一种用法——不再服务于在线请求,而是被收集、离线计算、流式计算、同步与报表转化成决策依据。两章共享同一批基础设施(日志、消息、分布式存储),差别在于时延要求与消费者不同,这正是序里「架构师要控制每个阶段该做什么」的具体体现。
系统一旦暴露在公共网络且规模足够大,第 3 章与第 4 章就成为必答题。第 3 章沿「攻击面 → 密码学原语 → 认证 → 传输 → 授权」推进:XSS、CSRF、SQL 注入说明输入不可信,摘要与加密算法提供原语,摘要认证与签名认证解决「请求是否被篡改、来自谁」,HTTPS 解决传输窃听,OAuth 解决第三方在不持有密码的前提下的有限授权。第 4 章则承认故障不可避免:日志分析与集群监控负责先发现问题,流量控制与服务分级、优雅降级负责在压力下保住核心链路,性能优化与 Java 故障排查工具用于事后定位。1.4 节网关的单点风险、序里「出事后先恢复而不是先修 bug」的判断,在这里才得到完整答案。
一条贯穿全书的方法论是用视角切换替代盲目加机器:1.3 节从「请求次数均衡」转到「后端积压」才引出最小连接数法;4.4 节先找瓶颈再谈优化;5.2 节把计算移到数据所在之处而非把数据搬到计算节点。另一个反复出现的代价是「新引入的协调者自身成为单点」——配置中心、网关、消息中间件、监控采集都需要为自身的可用性与容量做设计。读这本书时,具体 jar 版本与命令已过时,但这些「问题—机制—新代价」的链条仍然成立。
发散与实践
以下为读者延伸,不是作者观点,也不代表已经执行。全书读完后可筛出两类可动手的实践:一类复现第 1 章的路由与负载均衡机制,用小型集群观察轮询、随机、源地址哈希与最小连接数在请求倾斜下的差别,验证「次数均衡不等于负载均衡」;另一类复现第 3–4 章的认证与保护链路,用摘要认证或签名认证保护一个本地 HTTP 接口,再叠加限流与降级开关,观察参数被篡改、依赖超时与流量突增时的行为。两者的交付物应是可运行的实验代码与一份记录现象、原因和边界的报告,而不是把原书 2014 年的 jar 与安装命令照抄一遍。
具体实践计划见本书 ideas/ 目录下的两篇计划文档;卡片与整书笔记只负责解释机制,实践的验证方式、交付物与验收标准在计划中给出。