来源书籍

大数据时代的IT架构设计

Skill 版本:v7 系统架构类 工程实践(高信息浓度 + 低稳定性) 122 张卡片

抽样精读卷首语、第1篇3章(电信/金融Hadoop应用、优酷土豆Hadoop平台开放)、 第2篇腾讯推荐平台架构、第4篇淘宝TFS存储实践、第6篇京东网站架构演变后确认:全书由19篇 独立作者投稿的真实企业架构案例组成,几乎每篇都在讲具体系统"为什么这样设计、经历过什么 失败教训、如何演进到当前形态"而非单纯罗列操作步骤——例如优酷土豆篇详述Hadoop默认无 身份认证导致的4类具体安全风险及Kerberos引入后的新单点故障应对;腾讯推荐篇讲清楚第一代 离线批量架构的高耦合/2小时延迟问题如何倒逼第二代实时化+分布式cache解耦架构;淘宝TFS篇 给出多机房容灾时"奇偶block id分配避免多主写冲突"这类可迁移的分布式存储设计模式;京东篇 总结出"限流/分流/降级/异步化"应对大促流量的四板斧及压测只能在线上做的教训。信息浓度高。 但稳定性明显偏低:内容强绑定2013年前后的具体产品和版本语境(Hadoop 1.x的NameNode/ JobTracker架构、.NET到Java的技术栈迁移、SQL Server主库复制、S4被Storm替代等),书中 结论依赖当时的市场格局和技术选型环境,因此定级为高信息浓度+低稳定性=工程实践。 **类别说明**:全书19篇案例覆盖Hadoop平台架构、推荐系统架构、SOA/TOGAF应用架构实践、 分布式存储、数据库架构、网站架构演变等大型软件系统整体架构设计主题(不针对单一具体 框架),命中"系统架构类"(判定标准:"以讲解大型软件系统整体架构设计……为主要目标的 书籍");虽然形式上是多位作者的案例集而非单一连贯教程,但多数篇章都在讲真实大型系统的 拆分/通信/一致性/容错/扩展性/部署决策,与"系统架构类"必答清单高度对应,故仍归入此类, 不单独归入"数据库/存储引擎类"(该类别聚焦引擎内部实现,本书数据库/存储相关章节讲的是 应用层架构选型而非引擎内核)。

尚未生成整书笔记。

类别清单覆盖

6/7

已覆盖 6 补充生成 0 未覆盖 1

章节与卡片

00 架构与建筑

1 张卡片
  1. 架构演化重找多重平衡 理解等级:高级 普通读书笔记卡

01

2 张卡片
  1. 相似行为不等于相同意图 理解等级:未标注 普通读书笔记卡
  2. 上网日志七层架构与爬虫隔离 理解等级:未标注 结构图卡

01 Hadoop技术在电信运营商上网日志处理中的应用架构

2 张卡片
  1. 未知URL先抓取再分类 理解等级:中级 普通读书笔记卡
  2. 普通机并行容错支撑扩容 理解等级:中级 普通读书笔记卡

02 Hadoop平台在金融银行业的应用架构

3 张卡片
  1. 银行核心旁路接入Hadoop 理解等级:未标注 结构图卡
  2. 扩容与离线归档各有代价 理解等级:未标注 普通读书笔记卡
  3. 金融历史数据也须跨机房容灾 理解等级:中级 普通读书笔记卡

03 优酷土豆Hadoop平台开放之路

6 张卡片
  1. Hadoop开放平台认证风险 理解等级:未标注 结构图卡
  2. KDC故障影响新票据获取 理解等级:未标注 普通读书笔记卡
  3. HDFS组信息集中管理 理解等级:未标注 普通读书笔记卡
  4. 开放平台靠规范流程监控 理解等级:未标注 普通读书笔记卡
  5. Hadoop界面也需认证授权 理解等级:未标注 普通读书笔记卡
  6. 共享集群经受控客户端接入 理解等级:中级 普通读书笔记卡

04 腾讯个性化精准推荐平台架构

6 张卡片
  1. 推荐架构从离线耦合转向实时 理解等级:未标注 结构图卡
  2. 多级缓存失效会冲击底层 理解等级:未标注 普通读书笔记卡
  3. 热度推荐与个性化推荐的取舍 理解等级:中级 普通读书笔记卡
  4. 推荐平台让实时与离线并存 理解等级:中级 普通读书笔记卡
  5. 运行数据回流用于实时故障定位 理解等级:中级 普通读书笔记卡
  6. 精准推荐的三重约束 理解等级:中级 普通读书笔记卡

05 社交网络大数据挖掘与社会化推荐引擎的构建

11 张卡片
  1. 社会化推荐引擎五层架构 理解等级:未标注 结构图卡
  2. 社会化推荐的三项特质 理解等级:未标注 普通读书笔记卡
  3. 好友推荐分两步转化并去重 理解等级:未标注 普通读书笔记卡
  4. 二度好友排序权衡计算成本 理解等级:未标注 普通读书笔记卡
  5. 好友簇发现尚未连接的强关系 理解等级:中级 普通读书笔记卡
  6. 比较好友圈时间切片识别扩散方向 理解等级:中级 普通读书笔记卡
  7. 好友推荐还须预测被申请者接受率 理解等级:中级 普通读书笔记卡
  8. 多图谱融合先解决身份匹配 理解等级:中级 普通读书笔记卡
  9. 社交图谱与兴趣图谱分工 理解等级:中级 普通读书笔记卡
  10. 亲密度用于好友和内容排序 理解等级:中级 普通读书笔记卡
  11. 好友圈划分结合密度与用户线索 理解等级:中级 普通读书笔记卡

06 微博用户兴趣建模系统架构

6 张卡片
  1. 微博兴趣实时抽取与离线优化 理解等级:未标注 结构图卡
  2. 短文本焦点词需多特征提取 理解等级:未标注 普通读书笔记卡
  3. 语义相似图过滤兴趣噪声 理解等级:未标注 结构图卡
  4. 兴趣标签词与分类分层描述 理解等级:未标注 普通读书笔记卡
  5. 微博语义按用户分层聚合 理解等级:中级 普通读书笔记卡
  6. 用户级独立挖掘适合并行计算 理解等级:中级 普通读书笔记卡

07 针对移动互联网应用的网络建设和优化

10 张卡片
  1. 移动网络三重不稳定 理解等级:未标注 结构图卡
  2. 移动网络优化减少往返 理解等级:未标注 普通读书笔记卡
  3. 历史回源改应用层加密 理解等级:未标注 普通读书笔记卡
  4. 多链路竞速回源 理解等级:未标注 结构图卡
  5. HTTP端口作为连通兜底 理解等级:未标注 普通读书笔记卡
  6. 边缘节点选址结合地域运营商探测 理解等级:中级 普通读书笔记卡
  7. 静态缓存按文件热度与介质分层 理解等级:中级 普通读书笔记卡
  8. 客户端多候选节点自行测量排序 理解等级:中级 普通读书笔记卡
  9. 调度用源地址与重定向纠偏 理解等级:中级 普通读书笔记卡
  10. 质量地图驱动节点与地址库修正 理解等级:中级 普通读书笔记卡

08 西门子系统架构管理实践

7 张卡片
  1. 架构生命期五阶段 理解等级:未标注 结构图卡
  2. BABSC架构构建五步法 理解等级:未标注 结构图卡
  3. 第三方评审突破内部盲区 理解等级:未标注 普通读书笔记卡
  4. AR&RM先恢复再重构 理解等级:未标注 结构图卡
  5. 产品线共性与可变性平衡 理解等级:未标注 普通读书笔记卡
  6. 架构优化兼顾功能与质量 理解等级:中级 普通读书笔记卡
  7. 产品线构件需要持续演化 理解等级:中级 普通读书笔记卡

09 如何构建高性能、稳定的SOA应用

5 张卡片
  1. 队列解耦请求接收与处理 理解等级:未标注 结构图卡
  2. 解耦调用按应答深度选择 理解等级:未标注 普通读书笔记卡
  3. 并行流水线分段缓冲流量 理解等级:未标注 结构图卡
  4. 子任务按职责边界拆分 理解等级:未标注 普通读书笔记卡
  5. 队列存储方式影响部署边界 理解等级:未标注 普通读书笔记卡

10 基于开源技术的网络安全架构实践

10 张卡片
  1. 混合攻击需跨系统关联 理解等级:未标注 普通读书笔记卡
  2. OSSIM六组件架构 理解等级:未标注 结构图卡
  3. PF_Ring降低抓包丢包 理解等级:未标注 普通读书笔记卡
  4. 安全事件按风险关联升级 理解等级:中级 普通读书笔记卡
  5. 安全平台接入先协同数据归属 理解等级:中级 普通读书笔记卡
  6. 分布式安全事件需要校时 理解等级:中级 普通读书笔记卡
  7. 镜像采集与管理流量分开 理解等级:中级 普通读书笔记卡
  8. 流量控制按队列分类过滤 理解等级:中级 普通读书笔记卡
  9. 安全告警要定位并隔离来源 理解等级:中级 普通读书笔记卡
  10. 开源安全平台仍有维护成本 理解等级:中级 普通读书笔记卡

11 TOGAF应用架构设计落地之道

3 张卡片
  1. 业务步骤映射IT功能 理解等级:未标注 结构图卡
  2. 新建与增量应用架构路径 理解等级:未标注 普通读书笔记卡
  3. 应用架构设计三种误用 理解等级:未标注 普通读书笔记卡

12 分布式系统安全设计解决方案

5 张卡片
  1. 消息传输中段也须防篡改 理解等级:未标注 普通读书笔记卡
  2. 消息级保护可补充传输安全 理解等级:未标注 结构图卡
  3. 消息威胁分为冒充篡改抵赖 理解等级:中级 普通读书笔记卡
  4. 传输篡改使订单金额失真 理解等级:中级 支付系统案例卡
  5. 消息认证阻止金额篡改 理解等级:中级 支付系统案例卡

13 淘宝海量文件存储实践

7 张卡片
  1. TFS元数据与数据分工 理解等级:未标注 结构图卡
  2. TFS远端缓存减轻元数据负载 理解等级:未标注 普通读书笔记卡
  3. 奇偶块编号避免跨机房撞号 理解等级:未标注 结构图卡
  4. Nginx代理集中客户端升级 理解等级:未标注 普通读书笔记卡
  5. 大文件切片复用小文件存储 理解等级:中级 普通读书笔记卡
  6. 新节点先承接写入再迁移旧数据 理解等级:高级 普通读书笔记卡
  7. 客户端配置回流支持故障切换 理解等级:中级 普通读书笔记卡

14 内存作为统一存储实践

6 张卡片
  1. 时间线推拉模式各有代价 理解等级:未标注 结构图卡
  2. 高频写入使失效式缓存低效 理解等级:未标注 普通读书笔记卡
  3. 活跃用户内存队列结合推拉 理解等级:未标注 结构图卡
  4. 内存存储不等于可重建缓存 理解等级:未标注 普通读书笔记卡
  5. 写入续期使冷队列难过期 理解等级:未标注 普通读书笔记卡
  6. 内存存储上线先填充再放流 理解等级:高级 普通读书笔记卡

15 数据库优化精髓暨数据架构最佳实践

9 张卡片
  1. 数据库优化先看实测瓶颈 理解等级:未标注 结构图卡
  2. 资源不足先核对需求合理性 理解等级:未标注 普通读书笔记卡
  3. 索引与全表扫描取决于查询范围 理解等级:未标注 普通读书笔记卡
  4. 测试环境须匹配生产条件 理解等级:未标注 普通读书笔记卡
  5. OLTP与OLAP按负载优化 理解等级:未标注 结构图卡
  6. 灾备保护强度牵动主库可用性 理解等级:未标注 普通读书笔记卡
  7. 规范同类SQL促进计划复用 理解等级:中级 普通读书笔记卡
  8. 索引组织表用主键排序换更新成本 理解等级:高级 普通读书笔记卡
  9. 先查等待事件再定位高耗SQL 理解等级:中级 普通读书笔记卡

16 Oracle、MySQL还是NoSQL

3 张卡片
  1. 数据库选型分三步权衡 理解等级:未标注 结构图卡
  2. 选型比较须放回具体场景 理解等级:未标注 普通读书笔记卡
  3. 把数据丢失代价告诉业务方 理解等级:未标注 普通读书笔记卡

17 SQL Server中的高可用性

4 张卡片
  1. RTO与RPO须同时验证 理解等级:未标注 结构图卡
  2. 冷暖热备仍须验证恢复目标 理解等级:未标注 普通读书笔记卡
  3. 高可用方案按保护粒度选型 理解等级:未标注 结构图卡
  4. 高可用四步评估非技术限制 理解等级:未标注 普通读书笔记卡

18 京东商城网站架构演变

6 张卡片
  1. 京东架构演进隔离故障与扩容 理解等级:未标注 结构图卡
  2. 静态化把请求计算提前到生成时 理解等级:未标注 普通读书笔记卡
  3. 交易三层架构分离入口与业务 理解等级:未标注 结构图卡
  4. 大促韧性结合异步限流分流降级 理解等级:未标注 结构图卡
  5. 线上压测与统一订单写入的边界 理解等级:未标注 普通读书笔记卡
  6. 监控覆盖数据应用硬件与日志 理解等级:中级 普通读书笔记卡

19 庶民架构——新浪视频后台架构变迁

10 张卡片
  1. 超热内容跨组分散流量 理解等级:未标注 结构图卡
  2. 低命中缓存可移除但须测容量 理解等级:未标注 普通读书笔记卡
  3. 非自维CDN承载业务有代价 理解等级:未标注 普通读书笔记卡
  4. 播放延迟可作索引缓存窗口 理解等级:未标注 普通读书笔记卡
  5. 算法定位存储仍须验证一致性 理解等级:未标注 结构图卡
  6. 架构设计先懂业务再验细节 理解等级:未标注 普通读书笔记卡
  7. 视频CDN按状态与反馈调度 理解等级:中级 普通读书笔记卡
  8. 直播接入路径按流量用途分流 理解等级:中级 普通读书笔记卡
  9. 清晰度接口合并节点与索引调度 理解等级:中级 普通读书笔记卡
  10. 上传后经临存与分发库逐步扩散 理解等级:中级 普通读书笔记卡

全书概览

大数据时代的IT架构设计

Skill 版本:v7

类别:系统架构类

四象限结论:工程实践(高信息浓度 + 低稳定性)

理由:抽样精读卷首语、第1篇3章(电信/金融Hadoop应用、优酷土豆Hadoop平台开放)、 第2篇腾讯推荐平台架构、第4篇淘宝TFS存储实践、第6篇京东网站架构演变后确认:全书由19篇 独立作者投稿的真实企业架构案例组成,几乎每篇都在讲具体系统”为什么这样设计、经历过什么 失败教训、如何演进到当前形态”而非单纯罗列操作步骤——例如优酷土豆篇详述Hadoop默认无 身份认证导致的4类具体安全风险及Kerberos引入后的新单点故障应对;腾讯推荐篇讲清楚第一代 离线批量架构的高耦合/2小时延迟问题如何倒逼第二代实时化+分布式cache解耦架构;淘宝TFS篇 给出多机房容灾时”奇偶block id分配避免多主写冲突”这类可迁移的分布式存储设计模式;京东篇 总结出”限流/分流/降级/异步化”应对大促流量的四板斧及压测只能在线上做的教训。信息浓度高。 但稳定性明显偏低:内容强绑定2013年前后的具体产品和版本语境(Hadoop 1.x的NameNode/ JobTracker架构、.NET到Java的技术栈迁移、SQL Server主库复制、S4被Storm替代等),书中 结论依赖当时的市场格局和技术选型环境,因此定级为高信息浓度+低稳定性=工程实践。

类别说明:全书19篇案例覆盖Hadoop平台架构、推荐系统架构、SOA/TOGAF应用架构实践、 分布式存储、数据库架构、网站架构演变等大型软件系统整体架构设计主题(不针对单一具体 框架),命中”系统架构类”(判定标准:”以讲解大型软件系统整体架构设计……为主要目标的 书籍”);虽然形式上是多位作者的案例集而非单一连贯教程,但多数篇章都在讲真实大型系统的 拆分/通信/一致性/容错/扩展性/部署决策,与”系统架构类”必答清单高度对应,故仍归入此类, 不单独归入”数据库/存储引擎类”(该类别聚焦引擎内部实现,本书数据库/存储相关章节讲的是 应用层架构选型而非引擎内核)。

章节筛选

书名页、版权及内容简介、编委会、目录、纯篇章扉页排除;卷首语有实质架构论述,纳入正文重读。正文19篇均为独立作者的真实 企业架构案例投稿,抽样显示信息浓度普遍很高(讲设计动因、演进教训、失败经验),全部标记 精读候选;实际处理时若某篇确实偏纯操作罗列或与已处理篇章高度重叠,将动态改判并注明理由。

章节号 章节标题 精读/略读 状态 卡片数
卷首语 架构与建筑 全文重读,保留架构取舍与演化原则 done 1
01 Hadoop技术在电信运营商上网日志处理中的应用架构 全章五单元重读 done 4
02 Hadoop平台在金融银行业的应用架构 全章五单元重读 done 3
03 优酷土豆Hadoop平台开放之路 全章七单元重读 done 6
04 腾讯个性化精准推荐平台架构 全章五单元重读 done 6
05 社交网络大数据挖掘与社会化推荐引擎的构建 全章十单元重读 done 11
06 微博用户兴趣建模系统架构 全章五单元重读 done 6
07 针对移动互联网应用的网络建设和优化 全章五单元重读 done 10
08 西门子系统架构管理实践 全章六单元重读 done 7
09 如何构建高性能、稳定的SOA应用 全章三单元重读 done 5
10 基于开源技术的网络安全架构实践 全章八单元重读 done 10
11 TOGAF应用架构设计落地之道 全章六单元重读 done 3
12 分布式系统安全设计解决方案 全章二单元及图表重读 done 5
13 淘宝海量文件存储实践 全章七单元重读 done 7
14 内存作为统一存储实践 全文重读 done 6
15 数据库优化精髓暨数据架构最佳实践 两单元全文重读 done 9
16 Oracle、MySQL还是NoSQL 全章六单元重读 done 3
17 SQL Server中的高可用性 全章六单元重读 done 4
18 京东商城网站架构演变 精读 done 6
19 庶民架构——新浪视频后台架构变迁 全章四单元重读 done 10

非正文排除

spine项 类型 排除理由
1 text00000.html 书名页 仅有“书名页”文字,无独立论述
2 text00001.html 版权与内容简介 书籍、作者及出版信息和简介,不展开独立技术机制
3 text00002.html 编委会 人员名单,无正文论证
5 text00004.html 目录 章节索引,内容在相应正文重读
6 text00005.html 篇章扉页 仅列第1篇标题
10 text00009.html 篇章扉页 仅列第2篇标题
13 text00012.html 篇章扉页 仅列第3篇标题
21 text00020.html 篇章扉页 仅列第4篇标题
24 text00023.html 篇章扉页 仅列第5篇标题
28 text00027.html 篇章扉页 仅列第6篇标题

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 横向比较本书两种应对突发热点流量的架构方案 横向学习 done ch04/ch19 热点流量应对方案对比表(计划)
002 核验京东限流分流降级四板斧与当前云原生稳定性实践的异同 证据验证 done ch18 四板斧与云原生实践对照表(计划,待联网核验)
003 审视书籍工作流的存储需求 决策实践 done ch15 _epub-src占用量数据与清理决策记录(计划)

待关联术语

术语名 出现章节 一句话语境
S4 / Storm ch04 2013 年平台以 Storm 替换 S4,书中仅说多业务支撑更方便,未解释两者机制
协同过滤(CF) ch05 推荐技术史中列出 user-based 与 item-based 变体,未展开算法计算方式
CBQ(Class Based Queueing) ch10 TC流量控制可配置的队列类型之一,书中仅评价”比较复杂,不容易理解”未展开机制
Erasure Code纠删码 ch13 TFS计划用于替代传统副本备份策略以降低存储成本的技术,书中仅提及未展开机制

引用文献

标题 类型 出现章节 一句话语境
GroupLens 源码项目 ch05 作为早期协同过滤的代表性项目被提及,未展开算法或实现
《架构之美——软件架构的艺术》 书 ch08 作者李伟本人参与编写的书,文末列为参考资料,未在正文展开介绍
《Linux企业应用案例精解》 书 ch10 抓包调优段将旧内核的详细编译步骤转介至该书,正文未展开
《Unix/Linux日志分析与网络流量分析》 书 ch10 作者介绍提及其著作,未展开内容
《软件架构设计》/《一线架构师实践指南》 书 ch11 作者温昱的著作,作者介绍中提及未在正文展开介绍
ADMEMS架构实践体系 / ARCT设计重构方法论 框架 ch11 作者介绍列出名称,正文未解释其机制
W3C XML 加密与签名标准 框架 ch12 原文仅说明 XML 加密与签名有对应标准,未介绍规范细节
《我是一只IT小小鸟》/《MySQL性能调优与架构设计》 书 ch16 作者简介列出编著经历,正文未展开书中内容
《SQL Server 2012管理高级教程》 书 ch17 作者简介仅提及其译著,正文未展开内容

类别清单核对(系统架构类)

维度 覆盖状态 关联卡片标题或未覆盖理由
服务拆分原则 已覆盖 [[京东架构演进隔离故障与扩容]](ch18,建立用户/商品/促销/库存四大服务中心)、[[交易三层架构分离入口与业务]](ch18,按”扛量/业务逻辑/底层支撑”职责拆分三层)
通信机制 已覆盖 [[队列解耦请求接收与处理]]、[[并行流水线分段缓冲流量]](均ch09,围绕同步阻塞与异步队列通信方式的取舍)
一致性与事务权衡 已覆盖 [[奇偶块编号避免跨机房撞号]](ch13)、[[线上压测与统一订单写入的边界]](ch18)、[[RTO与RPO须同时验证]](ch17)
可观测性设计 已覆盖 [[开放平台靠规范流程监控]](ch03,节点健康/磁盘/异常/配额/队列/历史作业分析六类监控)、[[运行数据回流用于实时故障定位]](ch04,运行数据实时反馈定位失败环节)、[[监控覆盖数据应用硬件与日志]](ch18,监控来源与日志延迟)
容错设计 已覆盖 [[大促韧性结合异步限流分流降级]](ch18)、[[KDC故障影响新票据获取]](ch03)、[[高可用方案按保护粒度选型]](ch17)
扩展性瓶颈与应对 已覆盖 [[算法定位存储仍须验证一致性]](ch19,无单点完全平行扩展)、[[TFS远端缓存减轻元数据负载]](ch13)
部署与发布策略 未覆盖 全书19篇案例中未出现灰度发布、金丝雀发布、蓝绿部署、回滚机制的实质性讲解或提及(已对全部章节抽取文本做关键词核查:灰度/金丝雀/蓝绿/回滚/滚动发布/A-B测试均无命中),未单独生卡,也未记入待关联术语(无对应术语被提及)

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
传输篡改使订单金额失真 [[传输篡改使订单金额失真]] [[消息认证阻止金额篡改]] ch12 订单金额中途被从 50 元改为 500 元;处理前须用带密钥的认证机制验证关键字段

主题索引维护

以下结论覆盖当前全部 122 张稳定知识卡;主题成员仍须通过 S5 全量核验。

卡片标题 结论(已复用/已创建/无需加入/待复核) 主题文件或原因
架构演化重找多重平衡 已复用 notes/_topics/architecture-principles-complexity.md;讨论目标变化后性能、稳定与成本的再平衡
相似行为不等于相同意图 已复用 notes/_topics/big-data-business-applications.md;用户画像特征与意图推断边界
上网日志七层架构与爬虫隔离 无需加入 该案例的七层职责及爬虫隔离与现有通用分层主题的层级口径不同
未知URL先抓取再分类 已复用 notes/_topics/big-data-business-applications.md;网页分类支撑用户画像
普通机并行容错支撑扩容 已复用 notes/_topics/scalability-dimensions.md;普通节点水平扩展及成本边界
银行核心旁路接入Hadoop 已复用 notes/_topics/business-driven-tech-evolution.md;历史查询增长驱动旁路演进
扩容与离线归档各有代价 无需加入 银行历史数据的双策略案例与现有跨书主题范围未准确吻合
金融历史数据也须跨机房容灾 已复用 notes/_topics/backup-disaster-recovery.md;历史数据平台的跨机房恢复约束
Hadoop开放平台认证风险 已复用 notes/_topics/trust-boundaries-tcb.md;共享集群从单团队扩展后的信任边界
KDC故障影响新票据获取 已复用 notes/_topics/auth-and-cryptography.md;票据认证的可用性边界
HDFS组信息集中管理 已复用 notes/_topics/least-privilege-access-control.md;用户组权限信息的集中维护
开放平台靠规范流程监控 无需加入 Hadoop 共享平台运营三支柱与现有服务治理、日志主题均非同一比较范围
Hadoop界面也需认证授权 已复用 notes/_topics/auth-and-cryptography.md;Web 界面身份认证与令牌
共享集群经受控客户端接入 已复用 notes/_topics/trust-boundaries-tcb.md;以受控入口隔离集群内部节点
推荐架构从离线耦合转向实时 已复用 notes/_topics/business-driven-tech-evolution.md;请求规模推动推荐架构演进
多级缓存失效会冲击底层 已复用 notes/_topics/caching-strategies.md;上层缓存失效导致下层突发压力
热度推荐与个性化推荐的取舍 已复用 notes/_topics/big-data-business-applications.md;推荐方式在数据、时效与效果间取舍
推荐平台让实时与离线并存 已复用 notes/_topics/big-data-compute-paradigms.md;批处理与实时处理按任务分工
运行数据回流用于实时故障定位 已复用 notes/_topics/logging-observability.md;运行数据反馈用于定位异常
精准推荐的三重约束 已复用 notes/_topics/big-data-business-applications.md;推荐效果与规模、实时性的组合约束
社会化推荐引擎五层架构 已复用 notes/_topics/big-data-business-applications.md;统一承载个性化推荐场景的数据与算法
社会化推荐的三项特质 已复用 notes/_topics/big-data-business-applications.md;异构关系与动态信息流支撑个性化推荐
好友推荐分两步转化并去重 无需加入 双向好友转化漏斗与现有营销广告主题的比较范围不同
二度好友排序权衡计算成本 已复用 notes/_topics/big-data-compute-paradigms.md;图候选排序的离线与实时计算取舍
好友簇发现尚未连接的强关系 无需加入 好友簇候选是社交图谱局部算法,现有主题没有准确比较范围
比较好友圈时间切片识别扩散方向 无需加入 动态好友圈候选与现有用户行为建模主题的方法口径不同
好友推荐还须预测被申请者接受率 无需加入 双向关系接受率预测与现有广告推荐主题不相同
多图谱融合先解决身份匹配 已复用 notes/_topics/data-quality-governance.md;跨来源身份关联与错误匹配风险
社交图谱与兴趣图谱分工 已复用 notes/_topics/big-data-business-applications.md;用户关系与偏好画像分别支撑推荐
亲密度用于好友和内容排序 已复用 notes/_topics/big-data-business-applications.md;互动信号用于个性化排序
好友圈划分结合密度与用户线索 无需加入 社区密度与用户线索结合的好友分组暂无准确跨书主题
微博兴趣实时抽取与离线优化 已复用 notes/_topics/big-data-compute-paradigms.md;实时抽取与离线挖掘按时效分工
短文本焦点词需多特征提取 已复用 notes/_topics/big-data-business-applications.md;短文本主体提取支撑用户兴趣画像
语义相似图过滤兴趣噪声 已复用 notes/_topics/big-data-business-applications.md;语义重复信号改善用户兴趣画像
兴趣标签词与分类分层描述 已复用 notes/_topics/big-data-business-applications.md;兴趣画像的不同来源与粒度
微博语义按用户分层聚合 已复用 notes/_topics/big-data-compute-paradigms.md;从微博级到用户级的增量聚合
用户级独立挖掘适合并行计算 已复用 notes/_topics/big-data-compute-paradigms.md;按用户划分并行挖掘任务
移动网络三重不稳定 已复用 notes/_topics/faults-partial-failure-clocks.md;网络质量变化与链路失效假设
移动网络优化减少往返 已复用 notes/_topics/web-transport-acceleration.md;就近访问、DNS合并与连接复用
历史回源改应用层加密 已复用 notes/_topics/auth-and-cryptography.md;传输保护与应用层加密的适用边界
多链路竞速回源 已复用 notes/_topics/web-transport-acceleration.md;多路径回源改善用户侧传输质量
HTTP端口作为连通兜底 已复用 notes/_topics/web-transport-acceleration.md;专用端口失效时的 HTTP 承载
边缘节点选址结合地域运营商探测 已复用 notes/_topics/web-transport-acceleration.md;边缘节点按实际时延和覆盖布局
静态缓存按文件热度与介质分层 已复用 notes/_topics/caching-strategies.md;静态内容按热度与介质配置缓存
客户端多候选节点自行测量排序 已复用 notes/_topics/web-transport-acceleration.md;客户端实测修正中心选路
调度用源地址与重定向纠偏 已复用 notes/_topics/web-transport-acceleration.md;DNS 调度和重定向减少错配
质量地图驱动节点与地址库修正 已复用 notes/_topics/web-transport-acceleration.md;质量观测反馈节点与地址映射
架构生命期五阶段 已复用 notes/_topics/architecture-principles-complexity.md;架构随约束变化持续演化
BABSC架构构建五步法 已复用 notes/_topics/architecture-design-process.md;从业务概念逐步落实系统架构
第三方评审突破内部盲区 已复用 notes/_topics/architecture-design-process.md;独立评审改善方案判断
AR&RM先恢复再重构 已复用 notes/_topics/architecture-recovery-recognition.md;先恢复既有架构再计划重构
产品线共性与可变性平衡 已复用 notes/_topics/reference-architecture-product-line.md;产品线共享资产与变化点
架构优化兼顾功能与质量 已复用 notes/_topics/architecture-refactoring.md;增量改造中并行治理质量属性
产品线构件需要持续演化 已复用 notes/_topics/reference-architecture-product-line.md;共享构件随产品家族变化调整
队列解耦请求接收与处理 已复用 notes/_topics/message-brokers-event-logs.md;队列缓冲与确认语义
解耦调用按应答深度选择 已复用 notes/_topics/message-brokers-event-logs.md;接收确认与处理完成分离
并行流水线分段缓冲流量 已复用 notes/_topics/stream-processing-backpressure.md;阶段队列和独立消费处理流量
子任务按职责边界拆分 已复用 notes/_topics/stream-processing-backpressure.md;流水线阶段按职责拆分
队列存储方式影响部署边界 已复用 notes/_topics/message-brokers-event-logs.md;队列通信与持久化影响跨进程部署
混合攻击需跨系统关联 已复用 notes/_topics/logging-observability.md;跨工具事件关联观察
OSSIM六组件架构 已复用 notes/_topics/logging-observability.md;采集、关联、保存和展示安全事件
PF_Ring降低抓包丢包 无需加入 旧抓包路径与 PF_Ring 的特定机制不属于现有 I/O 或网络主题范围
安全事件按风险关联升级 已复用 notes/_topics/logging-observability.md;告警关联形成可处置风险线索
安全平台接入先协同数据归属 已复用 notes/_topics/security-culture-org.md;安全监控跨部门接入与责任协调
分布式安全事件需要校时 已复用 notes/_topics/logging-observability.md;日志事件顺序依赖可比较时间戳
镜像采集与管理流量分开 已复用 notes/_topics/logging-observability.md;采集范围和管理界面分离
流量控制按队列分类过滤 无需加入 网关 TC 队列分类的操作机制与现有线程池、流背压主题不同
安全告警要定位并隔离来源 已复用 notes/_topics/incident-response.md;从告警、拓扑和资产定位处置来源
开源安全平台仍有维护成本 无需加入 OSSIM 插件维护成本是特定平台运维经验,现有主题无准确比较范围
业务步骤映射IT功能 已复用 notes/_topics/business-architecture-modeling.md;业务流程步骤映射应用功能
新建与增量应用架构路径 已复用 notes/_topics/business-architecture-modeling.md;两类业务变化对应不同建模起点
应用架构设计三种误用 已复用 notes/_topics/business-architecture-modeling.md;防止把业务域或框架格式直接当系统分工
消息传输中段也须防篡改 已复用 notes/_topics/trust-boundaries-tcb.md;中间链路与代理属于需保护的信任边界
消息级保护可补充传输安全 已复用 notes/_topics/auth-and-cryptography.md;加密、MAC、签名与 TLS 的职责分工
消息威胁分为冒充篡改抵赖 已复用 notes/_topics/threat-modeling.md;按威胁目标区分防护机制
传输篡改使订单金额失真 已复用 notes/_topics/threat-modeling.md;订单金额中途被篡改的攻击路径
消息认证阻止金额篡改 已复用 notes/_topics/auth-and-cryptography.md;带密钥认证在处理前验证订单字段
TFS元数据与数据分工 已复用 notes/_topics/software-defined-storage-services.md;小文件元数据与数据节点职责分离
TFS远端缓存减轻元数据负载 已复用 notes/_topics/caching-strategies.md;本地与远端缓存分层减轻元数据查询
奇偶块编号避免跨机房撞号 已复用 notes/_topics/distributed-storage-replication.md;多机房写入与副本同步的编号约束
Nginx代理集中客户端升级 已复用 notes/_topics/service-adaptation-compatibility.md;代理标准化接口以减少多语言客户端改造
大文件切片复用小文件存储 已复用 notes/_topics/software-defined-storage-services.md;客户端切片与服务端小文件存储复用
新节点先承接写入再迁移旧数据 已复用 notes/_topics/capacity-scheduling.md;扩容后先接新写再平衡旧数据
客户端配置回流支持故障切换 已复用 notes/_topics/centralized-config-management.md;运行时集中配置与客户端周期更新
时间线推拉模式各有代价 已复用 notes/_topics/caching-strategies.md;时间线读时拉取与写时推送的成本分配
高频写入使失效式缓存低效 已复用 notes/_topics/caching-strategies.md;高频失效降低缓存命中与重建收益
活跃用户内存队列结合推拉 已复用 notes/_topics/caching-strategies.md;活跃用户队列降低全量推送开销
内存存储不等于可重建缓存 已复用 notes/_topics/caching-strategies.md;缓存副本与内存业务状态的职责差异
写入续期使冷队列难过期 已复用 notes/_topics/caching-strategies.md;被动写入重置过期时间的陷阱
内存存储上线先填充再放流 已复用 notes/_topics/caching-strategies.md;放流前验证数据填充与命中率
数据库优化先看实测瓶颈 无需加入 跨设计、SQL、内存、I/O 的调优顺序与现有单一查询优化主题范围不同
资源不足先核对需求合理性 已复用 notes/_topics/capacity-scheduling.md;容量供给与需求侧约束共同评估
索引与全表扫描取决于查询范围 无需加入 索引访问路径与全表扫描取舍不属于现有表达式重写主题
测试环境须匹配生产条件 无需加入 Oracle 日志容量案例的环境一致性不属于现有测试方法主题范围
OLTP与OLAP按负载优化 已复用 notes/_topics/storage-model-choices.md;事务与分析负载对应不同访问优化
灾备保护强度牵动主库可用性 已复用 notes/_topics/backup-disaster-recovery.md;保护模式对数据丢失和可用性的取舍
规范同类SQL促进计划复用 已复用 notes/_topics/query-optimization-rewrite.md;SQL 写法影响计划复用与解析成本
索引组织表用主键排序换更新成本 已复用 notes/_topics/database-design-er-modeling.md;物理存取方法与更新成本取舍
先查等待事件再定位高耗SQL 已复用 notes/_topics/debugging-root-cause.md;等待事件和高耗 SQL 是根因排查入口
数据库选型分三步权衡 已复用 notes/_topics/storage-model-choices.md;按真实业务负载权衡数据库类型
选型比较须放回具体场景 已复用 notes/_topics/storage-model-choices.md;产品比较受版本与工作负载约束
把数据丢失代价告诉业务方 已复用 notes/_topics/backup-disaster-recovery.md;用业务损失和成本确定恢复目标
RTO与RPO须同时验证 已复用 notes/_topics/backup-disaster-recovery.md;恢复时间与数据回退点须联合验证
冷暖热备仍须验证恢复目标 已复用 notes/_topics/backup-disaster-recovery.md;备份就绪程度不能代替恢复目标实测
高可用方案按保护粒度选型 已复用 notes/_topics/high-availability-architecture.md;实例、数据库、对象级保护边界不同
高可用四步评估非技术限制 已复用 notes/_topics/infrastructure-design-process.md;需求与非技术约束共同决定方案
京东架构演进隔离故障与扩容 已复用 notes/_topics/business-driven-tech-evolution.md;按故障传播和扩容瓶颈分阶段演进
静态化把请求计算提前到生成时 已复用 notes/_topics/web-transport-acceleration.md;预生成页面由 CDN 和 Web 文件服务承接读流量
交易三层架构分离入口与业务 已复用 notes/_topics/layered-architecture-ports.md;入口、组合业务和基础服务职责分离
大促韧性结合异步限流分流降级 已复用 notes/_topics/overload-protection-degradation.md;过载时分层限流并保障核心能力
线上压测与统一订单写入的边界 无需加入 同时涉及容量验证与跨机房写入边界,现有单一主题均不能完整表达
监控覆盖数据应用硬件与日志 已复用 notes/_topics/logging-observability.md;多来源监控与集中日志延迟的取舍
超热内容跨组分散流量 已复用 notes/_topics/caching-strategies.md;超热对象需突破固定取模的单组瓶颈
低命中缓存可移除但须测容量 已复用 notes/_topics/caching-strategies.md;缓存层去留需测回源容量与用户体验
非自维CDN承载业务有代价 无需加入 CDN 边缘放置自有业务服务的职责和运维边界,现有主题没有准确覆盖
播放延迟可作索引缓存窗口 已复用 notes/_topics/caching-strategies.md;利用可接受延迟限定索引缓存陈旧窗口
算法定位存储仍须验证一致性 已复用 notes/_topics/software-defined-storage-services.md;算法寻址替代中心元数据的收益与局限
架构设计先懂业务再验细节 已复用 notes/_topics/architecture-principles-complexity.md;业务理解、简化与实施细节共同约束设计
视频CDN按状态与反馈调度 已复用 notes/_topics/capacity-scheduling.md;位置、节点负载与播放反馈共同参与调度
直播接入路径按流量用途分流 已复用 notes/_topics/load-balancing.md;按脚本、媒体流和上行推流用途选择入口路径
清晰度接口合并节点与索引调度 已复用 notes/_topics/load-balancing.md;一次响应携带节点与索引调度结果
上传后经临存与分发库逐步扩散 已复用 notes/_topics/distributed-storage-replication.md;临时可播与全网分发是不同状态

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

过载保护与优雅降级

比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。

386 张卡片 · 68 本书

主题索引

测试有效性与验证手段

比较单元测试、变异、模糊测试、静态分析与故障注入各自能证明什么。

366 张卡片 · 63 本书

主题索引

架构方案设计与评估

比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。

352 张卡片 · 40 本书

主题索引

缓存架构与失效问题

比较缓存穿透、雪崩、热点等问题的成因与应对方案。

345 张卡片 · 58 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

架构设计原则与复杂度来源

比较架构要解决的复杂度来源(性能、可用性、扩展、成本、安全、规模)以及合适、简单、演化等设计原则。

228 张卡片 · 40 本书

主题索引

单机高性能与I/O模型

比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。

226 张卡片 · 46 本书

主题索引

事件响应与处置

比较事故/安全事件的分级、指挥、沟通、演练与交接做法。

205 张卡片 · 31 本书

主题索引

追踪与上下文

Trace/Span 模型、标识与上下文传播、采样取舍、OpenTelemetry 与采集器管道。

199 张卡片 · 44 本书

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

分层、洋葱与六边形架构

比较分层、洋葱与六边形架构如何隔离核心业务逻辑与外部技术细节,以及各层职责与调用规则。

196 张卡片 · 43 本书

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

性能剖析与诊断工具

比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。

168 张卡片 · 34 本书

主题索引

日志、审计与取证

日志该记什么、怎么分级与结构化,采集管道与存储成本,以及审计证据与安全事件还原。

167 张卡片 · 46 本书

主题索引

负载均衡

比较负载均衡的分层组合方式与各类分配算法的取舍。

163 张卡片 · 55 本书

主题索引

HTTP传输与内容分发

比较 HTTP 缓存、DNS 解析、HTTP/2 与 QUIC、分块传输与 CDN 等加速和分流手段。

158 张卡片 · 25 本书

主题索引

服务适配与兼容性

比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。

146 张卡片 · 38 本书

主题索引

架构重构

比较识别重构目标、沟通推动与分段实施等架构重构方法。

138 张卡片 · 29 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

虚拟化网络

比较 Linux 网络栈、虚拟网卡与网桥、VLAN/VXLAN、容器网络模式与 CNI 等虚拟化网络机制。

114 张卡片 · 26 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

查询优化与表达式变换

比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。

99 张卡片 · 21 本书

主题索引

配置中心与配置治理

比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。

99 张卡片 · 29 本书

主题索引

分布式存储实现

把多台机器组成一个存储系统:Ceph 的数据分布与恢复、软件定义存储的服务化,以及超融合把计算与存储并到同一节点后的取舍。

94 张卡片 · 13 本书

主题索引

Web 交付链路优化

从浏览器到源站的每一跳能省掉什么:强制缓存与协商缓存、DNS 解析与 HTTPDNS、HTTP/2 多路复用与 QUIC、分块传输与范围请求、静态化与动静分离、CDN 就近分发与回源,以及移动网络下减少往返的手段。

90 张卡片 · 24 本书

主题索引

业务驱动的技术演进

比较业务规模与复杂度变化如何驱动技术选型和架构分阶段演进。

88 张卡片 · 37 本书

主题索引

业务架构建模方法

比较业务架构的定义与框架来源,以及用战略分析、价值链、业务领域、流程任务、数据主题域与业务组件构建企业级能力模型、做标准化的方法。

87 张卡片 · 16 本书

主题索引

数据分析、实验与因果

从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。

84 张卡片 · 13 本书

主题索引

开源项目选型与使用

比较学习、选型、灰度引入与二次开发开源项目的方法与风险控制。

75 张卡片 · 34 本书

主题索引

故障排查与根因分析

比较排查系统问题时的假设管理、基线对比与复现方法。

74 张卡片 · 21 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

经典算法与业务建模

分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。

60 张卡片 · 12 本书

主题索引

数据库设计与E-R建模

比较数据库设计各阶段、数据抽象方法、E-R 模型的要素与集成冲突、向关系模型的转换规则,以及存取方法与重组织、重构的取舍。

56 张卡片 · 16 本书

主题索引

数据治理与生命周期

数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。

55 张卡片 · 15 本书

主题索引

矩阵分解与无监督聚类

比较特征值分解、SVD、NMF 等矩阵分解与 K 均值、层次聚类、深度聚类在规律挖掘与降维中的取舍。

46 张卡片 · 7 本书

主题索引

参考架构与产品线

比较参考架构与参考模型的抽象层次、参考架构的建立与评估,以及产品线架构中可变性管理、决策模型与产品衍生的方法。

42 张卡片 · 11 本书

主题索引

软件定义存储数据服务

在通用硬件上用软件实现的存储数据服务:元数据组织、数据本地化、快照与克隆、纠删码与压缩、存储池与容器策略及其容量与性能取舍。

41 张卡片 · 10 本书

主题索引

基础设施设计流程与模式

比较从需求、非功能需求等级、风险到模式选择与可追溯记录的基础设施设计流程。

37 张卡片 · 10 本书

主题索引

背压与流控:生产速率怎么被下游约束

背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。

35 张卡片 · 18 本书

主题索引

图计算:切分、BSP 与迭代

以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。

30 张卡片 · 6 本书

主题索引

相关性排序与检索评价

比较TF-IDF、向量空间模型与相关性反馈等排序依据,以及召回率与精确率在不同检索场景中的取舍。

30 张卡片 · 9 本书

主题索引

架构恢复与模式识别

比较从源代码等低层信息恢复实际架构、识别所用架构模式的技术路线及其精度与自动化局限。

16 张卡片 · 7 本书