来源书籍

大型分布式网站架构设计与实践 (陈康贤)

Skill 版本:v24 高浓度 / 低稳定性 → **工程实践(第二级别)**。读时应取原理与取舍,不把具体命令、jar 版本与配置当作可复用事实。 91 张卡片

陈康贤 · 电子工业出版社 · 2014.9 · 2014年9月第1版 · ISBN 978-7-121-23885-7

章节与卡片

01 第1章 面向服务的体系架构(SOA)

20 张卡片
  1. RPC把本地调用变成远端调用 理解等级:中级 普通读书笔记卡
  2. 序列化与反序列化 理解等级:中级 普通读书笔记卡
  3. 序列化方案的取舍 理解等级:高级 普通读书笔记卡
  4. 基于TCP的RPC靠反射派发 理解等级:中级 普通读书笔记卡
  5. HTTP位于应用层的好处 理解等级:中级 普通读书笔记卡
  6. 写int必须转成字节流 理解等级:中级 普通读书笔记卡
  7. 一次HTTP请求的完整链路 理解等级:中级 普通读书笔记卡
  8. HttpClient封装的意义 理解等级:初级 普通读书笔记卡
  9. TCP与HTTP做RPC的权衡 理解等级:高级 普通读书笔记卡
  10. REST以HTTP方法表达操作 理解等级:中级 普通读书笔记卡
  11. 两种URL风格的适用边界 理解等级:高级 普通读书笔记卡
  12. 服务配置中心消除单点 理解等级:高级 普通读书笔记卡
  13. 地址列表本地缓存 理解等级:高级 普通读书笔记卡
  14. 轮询法的锁代价 理解等级:高级 普通读书笔记卡
  15. 源地址哈希维持会话 理解等级:中级 普通读书笔记卡
  16. 最小连接数从后端看负载 理解等级:高级 普通读书笔记卡
  17. ZooKeeper的watcher一次性 理解等级:高级 普通读书笔记卡
  18. 临时节点自动摘除宕机机器 理解等级:高级 普通读书笔记卡
  19. 网关统一安全校验与路由 理解等级:中级 普通读书笔记卡
  20. 网关成为新的单点 理解等级:高级 普通读书笔记卡

02 第2章 分布式系统基础设施

18 张卡片
  1. 分布式缓存的产生动因 理解等级:初级 普通读书笔记卡
  2. 缓存内存模型与淘汰 理解等级:中级 普通读书笔记卡
  3. 取模分布与缓存雪崩 理解等级:中级 普通读书笔记卡
  4. 一致性哈希与虚拟节点 理解等级:高级 普通读书笔记卡
  5. 三类存储引擎的取舍 理解等级:中级 普通读书笔记卡
  6. MySQL复制与读写分离 理解等级:中级 普通读书笔记卡
  7. 分库分表路由及代价 理解等级:高级 普通读书笔记卡
  8. HBase列存与行键设计 理解等级:高级 普通读书笔记卡
  9. 消息异步解耦与削峰 理解等级:初级 普通读书笔记卡
  10. JMS两种消息模型 理解等级:中级 普通读书笔记卡
  11. 消息确认与持久订阅 理解等级:中级 普通读书笔记卡
  12. ActiveMQ主从冷备与水平扩展 理解等级:高级 普通读书笔记卡
  13. 垂直搜索引擎的定位 理解等级:初级 普通读书笔记卡
  14. 倒排索引与中文分词 理解等级:中级 普通读书笔记卡
  15. 索引段合并与优化 理解等级:高级 普通读书笔记卡
  16. 索引切分与结果偏差 理解等级:高级 普通读书笔记卡
  17. 分布式基础设施全景 理解等级:初级 普通读书笔记卡
  18. 未展开的支撑系统 理解等级:初级 普通读书笔记卡

03 第3章 互联网安全架构

17 张卡片
  1. XSS跨站脚本攻击与转义 理解等级:中级 普通读书笔记卡
  2. CSRF跨站请求伪造与token 理解等级:中级 普通读书笔记卡
  3. SQL注入与预编译防御 理解等级:中级 普通读书笔记卡
  4. DDoS与SYN洪泛攻击 理解等级:高级 普通读书笔记卡
  5. 数字摘要与消息完整性 理解等级:初级 普通读书笔记卡
  6. 对称加密与密钥依赖 理解等级:初级 普通读书笔记卡
  7. 非对称加密与混合体系 理解等级:中级 普通读书笔记卡
  8. 数字证书与信任链 理解等级:高级 普通读书笔记卡
  9. 摘要认证的参数排序 理解等级:中级 普通读书笔记卡
  10. 摘要认证的共享密钥边界 理解等级:中级 普通读书笔记卡
  11. 签名认证的公私钥机制 理解等级:中级 普通读书笔记卡
  12. 签名认证的优势与代价 理解等级:中级 普通读书笔记卡
  13. HTTPS混合加密机制 理解等级:中级 普通读书笔记卡
  14. SSL与TLS双层协议 理解等级:高级 普通读书笔记卡
  15. HTTPS单向与双向认证 理解等级:中级 普通读书笔记卡
  16. OAuth免密码授权 理解等级:中级 普通读书笔记卡
  17. OAuth授权核心思想 理解等级:中级 普通读书笔记卡

04 第4章 系统稳定性

18 张卡片
  1. 日志是排障第一现场 理解等级:初级 普通读书笔记卡
  2. 命令组合与脚本化分析 理解等级:中级 普通读书笔记卡
  3. 单机手工分析的边界 理解等级:中级 普通读书笔记卡
  4. 监控指标采集与告警 理解等级:中级 普通读书笔记卡
  5. 系统负载的经验阈值 理解等级:中级 普通读书笔记卡
  6. 应用层心跳与检测边界 理解等级:中级 普通读书笔记卡
  7. 容量评估与应用水位 理解等级:高级 普通读书笔记卡
  8. 流控维度与超载处理 理解等级:中级 普通读书笔记卡
  9. 故障传递与优雅降级 理解等级:高级 普通读书笔记卡
  10. 服务分级开关与预案 理解等级:中级 普通读书笔记卡
  11. 高并发设计的一致性取舍 理解等级:高级 普通读书笔记卡
  12. 寻找性能瓶颈短板 理解等级:初级 普通读书笔记卡
  13. 性能测试与真实引流 理解等级:中级 普通读书笔记卡
  14. 并发优化与锁竞争 理解等级:高级 普通读书笔记卡
  15. 索引与查询优化取舍 理解等级:高级 普通读书笔记卡
  16. JDK故障排查工具箱 理解等级:中级 普通读书笔记卡
  17. BTrace动态跟踪 理解等级:高级 普通读书笔记卡
  18. 内存溢出死锁类冲突 理解等级:高级 普通读书笔记卡

05 第5章 数据分析

18 张卡片
  1. inotify事件驱动日志采集 理解等级:中级 普通读书笔记卡
  2. ActiveMQ削峰填谷缓冲 理解等级:中级 普通读书笔记卡
  3. 日志分层存储选型 理解等级:高级 普通读书笔记卡
  4. Chukwa采集分析框架 理解等级:中级 普通读书笔记卡
  5. 实时离线与流式批量划分 理解等级:初级 普通读书笔记卡
  6. Hadoop双核心组件 理解等级:初级 普通读书笔记卡
  7. MapReduce移动计算 理解等级:中级 普通读书笔记卡
  8. Hive数据仓库读时校验 理解等级:中级 普通读书笔记卡
  9. 流式数据价值随时间衰减 理解等级:中级 普通读书笔记卡
  10. Storm拓扑永驻运行 理解等级:中级 普通读书笔记卡
  11. Storm至少一次处理语义 理解等级:高级 普通读书笔记卡
  12. 并行PV计数的热点倾斜 理解等级:高级 普通读书笔记卡
  13. OLTP与OLAP职责分离 理解等级:初级 普通读书笔记卡
  14. Sqoop关系库与HDFS互导 理解等级:中级 普通读书笔记卡
  15. 基于binlog的实时同步解耦 理解等级:高级 普通读书笔记卡
  16. 报表数据与格式分离 理解等级:初级 普通读书笔记卡
  17. 报表业务指标决策价值 理解等级:初级 普通读书笔记卡
  18. Highcharts异步数据接口 理解等级:中级 普通读书笔记卡

全书概览

大型分布式网站架构设计与实践 (陈康贤) 概览

执行模式:light 建档进度:五阶段全部完成(阶段 3 按 light 规则 skipped),已出队 Skill 版本:v24 生成模型:Tencent Hunyuan Hy

全书 5 章 41 个 spine 项全文阅读完成;91 张知识卡、2 篇实践计划、整书笔记 38 个 section。阶段 4 已导入并对账归档,总表版本列已回写 v24。轻量模式未执行生成后复核、独立审查及审查结果优化。

评级

  • 信息浓度:高。全书讲机制普遍给出原因、权衡与失败边界,而非只罗列「是什么」。例如 1.2.4 逐条对比 TCP 与 HTTP RPC 在协议栈位置、传输字节数、跨平台能力、并发复杂度上的差异并给出有条件结论;1.3.2 讲完六种负载均衡算法后反问「请求次数的均衡真的能代表负载的均衡吗」,据此从请求发起方视角转向后端积压视角;2.1 由单机内存有限与本地缓存重复存储引出分布式缓存;3.3⁄3.4 分别说明摘要认证与签名认证解决的篡改与身份问题;4.3 说明系统承载上限与优雅降级、服务分级的取舍;5.2⁄5.3 对比离线与流式计算的时延边界。
  • 稳定性:偏低(工程实践型)。案例绑定 2014 年 Java/Linux 工具链:ZooKeeper 3.3.6、memcache、HBase、Redis、ActiveMQ、Lucene、Hadoop、Storm、Sqoop、Highcharts、Tomcat SSL 配置等具体版本与命令,多数已不具备现实可复现性。可迁移的是 RPC 的「寻址 + 序列化 + 反射派发 + 结果回传」链路、缓存挡在数据库之前的动因、摘要/签名/证书/HTTPS/OAuth 各自解决的问题、监控先于修复、限流降级与容量规划、离线与流式计算的分工等原理与取舍。
  • 四象限:高浓度 / 低稳定性 → 工程实践(第二级别)。读时应取原理与取舍,不把具体命令、jar 版本与配置当作可复用事实。
  • 内容形态:以概念解析型为主,2.1 memcache 安装/API、3.2 安全算法 API、4.1 日志分析命令、4.5 故障排查工具、5.2 Hadoop 环境搭建等局部按操作对象罗列命令/语法与用途,按混合形态规则在逐章局部启用操作参考;主形态不否决局部取材。

章节进度追踪表

章节号 章节标题 状态 卡片数
序 序 大型分布式网站技术全貌 done 0
前言 前言与内容大纲 done 0
感悟 感悟 done 0
01 第1章 面向服务的体系架构(SOA) done 20
02 第2章 分布式系统基础设施 done 18
03 第3章 互联网安全架构 done 17
04 第4章 系统稳定性 done 18
05 第5章 数据分析 done 18

序/前言/感悟/内容简介在 _book_note.md 各有独立讲解段(零卡,理由记 _coverage.md)。五章正文均已完整阅读并讲解。

编排差异(如实记录):前言「内容大纲」把「互联网通信的安全性」写作第 2 章、「分布式系统基础设施」写作第 3 章;而正文标题、目录与 toc.ncx 导航的实际章号恰好相反。计划与笔记一律按正文实际章号与 spine 顺序组织。

非正文排除

spine 项 类型 排除理由
seq00 titlepage.xhtml 封面书名页 仅书名,无实质内容
seq01 text/part0000.html 书名页 3 字
seq03 text/part0002.html 版权页 版权与 CIP 信息,出版信息已入 _book_note.md front matter
seq07 text/part0004_split_002.html 致谢 纯致谢
seq09 text/part0005.html 目录 导航页;全书结构已据此建阅读计划
seq40 text/part0011.html 参考文献 25 条文献名录,无实质论述,登记「引用文献」表

待关联术语

第 1 章仅提名、未展开解释、按规则登记而不成卡的名词:RMI、WebService、SpringMVC、Jackson/XStream、F5/LVS/Nginx、Zab/Paxos、Groovy、zkClient、gzip、Google+ API / ISV 开放平台、Dubbo。第 2–5 章另有 memcache、HBase、Redis、ActiveMQ/JMS、Lucene、CDN、MD5/SHA/Base64、彩虹表、DES/AES、RSA、数字证书、CA、SSL/TLS、OAuth、inotify、ActiveMQ-CPP、Chukwa、HDFS、MapReduce、Storm、Sqoop、Highcharts、jps/jstat/jstack/jmap/BTrace/MAT/VisualVM、load、qps、rt、YSlow、ab、JMeter 等,均按「仅提名不展开」或「有实质机制已并入对应卡片」在 _coverage.md 各单元候选去向中逐条记录。 Groovy 动态配置规则、zkClient 持久订阅为第 1 章已知待补项,本轮全书收束时按「想法族已由相关卡承接」记为跳过,不重复生卡。

引用文献

seq40 参考文献 的 25 条及脚注引用的可独立检索作品按类型登记(Fielding 博士论文、HTTP权威指南、RESTful Web Services、Java加密与解密的艺术、白帽子讲Web安全、Hadoop 权威指南、ZooKeeper 概述性文档、jvm-serializers、zkClient、SpringMVC showcase 等);第 2–5 章新增项见 _coverage.md 各单元候选去向。

资金安全问题案例

按「具体正确性场景 + 根因」判据逐章核验:第 1 章 1.3.2 轮询法的 synchronized 与并发越界属一般并发实现代价;第 3 章 3.4 签名认证、3.3 摘要认证涉及参数篡改与重放,但原书未给出转账、扣款、余额变更、限额校验、库存扣减、清结算等具体正确性场景;第 4 章 4.3.3 操作原子性讨论的是一般并发原子性。均不满足资金案例判据,本表为有效空表,不套用规则。

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
01 对比取模与一致性哈希的扩容迁移范围 小型集群实验,观察节点上下线时映射变化范围 计划(未执行) 第2章 ideas/01-对比取模与一致性哈希的扩容迁移范围.md
02 落地摘要认证与签名认证的对照实验 本地 HTTP 接口叠加两种认证与限流降级,观察篡改/超时行为 计划(未执行) 第3章 ideas/02-落地摘要认证与签名认证的对照实验.md

实践候选筛选:done。5 章共筛出 8 条候选,按「可迁移、可验证、不依赖 2014 工具链」选出 2 条形成计划;其余按重复想法族或依赖过时环境记为跳过。实践计划为计划交付,未声称已执行。

复核摘要

轻量模式:未执行生成后的笔记复核、独立审查及审查结果优化(阶段 3 按规则 skipped),不生成 _card_review.md。阶段 2 以独立硬核验 14 项 ALL PASS 与生产 dry-run 放行;阶段 4 完成 import、三项对账、card-filing 归档与 topics check 零差异;阶段 5 总表版本列回写 v24 并出队。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。