主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
5/5
_workflow.md。书中 Go 1.8、RabbitMQ、ES 等实现细节以出版时(2018 年)为准。作者:胡世杰 人民邮电出版社 2018
本目录已按 book-notes v4 规则做强制重跑迁移:保留原有卡片取材,补齐证据链字段、统一章节进度字段,并按命中类别执行清单核对。
信息浓度:高。 全书采用”提出问题→给出架构决策→解释为什么”的写法,而不是先给答案再解释怎么做。 例如:为什么要把接口服务和数据服务解耦(单机版无法横向扩展)、为什么需要元数据服务把对象名字和 数据内容解耦合(否则无法做版本控制和去重)、为什么去重之前必须先做数据校验(否则恶意或损坏的数据 会通过 SIS 检查污染整个去重池)、RS 纠删码相对多副本冗余在存储空间和容错能力上的量化权衡、为什么 断点续传中”上传”比”下载”复杂得多(HTTP 语义 + 数据校验的冲突)、数据压缩该放客户端还是服务端的 权衡、版本删除时垃圾回收和并发上传之间的竞态条件与缓冲期设计。这些是分布式对象存储领域可迁移的 架构原理。
稳定性:中等偏低。 上述原理性内容被大量具体实现细节包裹——Go 1.8.1 语法讲解、RabbitMQ 具体 API(exchange/queue 绑定)、ElasticSearch 特定版本的 mapping 语法、curl 命令与 IP 地址配置等。 这部分内容会随工具版本升级而过时,占据了每章的大部分篇幅(通常是”Go语言实现”和”功能测试”两节)。
结论依据: 若把每章拆开看,”是什么/为什么”部分(如 1.1、2.1、3.1、4.1、5.1、6.1、7 开头、8.1) 浓度高且原理稳定,接近经典原理;但”Go语言实现”和”功能测试”两节(通常占每章 60% 以上篇幅)是纯粹 的工具操作细节,随 Go/RabbitMQ/ES 版本迭代而快速过时。二者混合导致整体稳定性打折,故落在”工程实践” 象限而非”经典原理”象限。
执行模式:light
建档进度:done
本次实际规则:book-notes v23 / book-workflow v4;首次Skill v4及历史记录保留。旧工作流逐候选确认阻塞已由本次完整工作流授权覆盖,按最新取材规则自主完成。
身份映射:启动快照42含“(异步图书)”封装名,作者/ISBN确认同书,沿用既有无括号目录与卡片身份。
整书笔记:_book_note.md(schema 1;SHA-256 04edc9de146cc25dc071de5489af2ebb781993c033fc48174ddd3742fd19a6a9)。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 前言 | done | 3 |
| 01 | 第1章 对象存储简介 | done | 9 |
| 02 | 第2章 可扩展的分布式系统 | done | 11 |
| 03 | 第3章 元数据服务 | done | 12 |
| 04 | 第4章 数据校验和去重 | done | 9 |
| 05 | 第5章 数据冗余和即时修复 | done | 10 |
| 06 | 第6章 断点续传 | done | 8 |
| 07 | 第7章 数据压缩 | done | 6 |
| 08 | 第8章 数据维护 | done | 7 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 0 / EPUB/text00000.html | 目录 | 纯目录,列出章节无实质论证。 |
| 1 / EPUB/text00001.html | 版权信息 | 版权与使用条款,身份元数据已提取。 |
| 2 / EPUB/text00002.html | 版权 | 出版和联系方式,无知识正文。 |
| 3 / EPUB/text00003.html | 内容提要 | 全书内容提要,不替代正文,内容与前言章节导览重复。 |
| 5 / EPUB/text00005.html | 资源与支持 | 出版社资源下载、勘误与宣传服务说明,无本书技术论证。 |
| 10 / EPUB/ad_chapter10.xhtml | 推广插页 | 电子书站推广广告,不是原书知识正文。 |
| 14 / EPUB/ad_chapter.xhtml | 推广插页 | 电子书站推广广告,不是原书知识正文。 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| HTTPS | 00 | 前言说明生产云存储还需安全或监控组件,正文未展开。 |
| SSL双向认证 | 00 | 前言说明生产云存储还需安全或监控组件,正文未展开。 |
| JWT | 00 | 前言说明生产云存储还需安全或监控组件,正文未展开。 |
| KPI | 00 | 前言说明生产云存储还需安全或监控组件,正文未展开。 |
| SMB | 01 | 用于列举NAS/SAN访问协议,未展开协议实现。 |
| NFS | 01 | 用于列举NAS/SAN访问协议,未展开协议实现。 |
| AFS | 01 | 用于列举NAS/SAN访问协议,未展开协议实现。 |
| Fibre Channel | 01 | 用于列举NAS/SAN访问协议,未展开协议实现。 |
| iSCSI | 01 | 用于列举NAS/SAN访问协议,未展开协议实现。 |
| ATA over Ethernet | 01 | 用于列举NAS/SAN访问协议,未展开协议实现。 |
| HyperSCSI | 01 | 用于列举NAS/SAN访问协议,未展开协议实现。 |
| ActiveMQ | 02 | 作为可替换消息技术举例,未展开实现。 |
| ZeroMQ | 02 | 作为可替换消息技术举例,未展开实现。 |
| SHA-512 | 03 | 作为更长摘要的算法例子提及,未展开算法。 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| OpenStack Swift | 框架 | 00 | 前言列举成熟对象存储或云存储配套工具,未作实现展开。 |
| Ceph | 框架 | 00 | 前言列举成熟对象存储或云存储配套工具,未作实现展开。 |
| Logstash | 框架 | 00 | 前言列举成熟对象存储或云存储配套工具,未作实现展开。 |
| Kibana | 框架 | 00 | 前言列举成熟对象存储或云存储配套工具,未作实现展开。 |
| JavaScript面向对象精要 | 书 | 00 | 作者简介列作翻译作品,未介绍内容。 |
| Python和HDF5大数据应用 | 书 | 00 | 作者简介列作翻译作品,未介绍内容。 |
| Python高性能编程 | 书 | 00 | 作者简介列作翻译作品,未介绍内容。 |
| github.com/streadway/amqp | 源码项目 | 02 | 书中rabbitmq封装所用AMQP库;实际交互已由相关卡解释,版本安装方式属原书环境。 |
| Elasticsearch | 源码项目 | 03 | 本章元数据服务实现载体,旧版type、映射与REST用法已由相关卡保留,不宣称当前版本兼容。 |
| RFC 7233 | 论文 | 06 | Range语义及字节范围格式的规范引用,仅整理原文说明,未联网更新。 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
本书未出现符合资金安全专项的具体资金/库存正确性案例,普通数据删除竞态已在第8章保留。
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 内容寻址上传实现深读 | 实现深读 | done | 04 | ideas/idea-001-实现带校验的内容寻址去重.md;ideas/materials/content-addressed-first-pass.md |
| 002 | RS恢复链与测试观察 | 实现深读 | done | 05 | ideas/idea-002-实测RS码丢片恢复.md;ideas/materials/rs-recovery-first-pass.md |
实践候选筛选:done
保留两张既有实践身份,改为先深读官方实现并交付首轮材料。暂不新增全栈部署或破坏性回收实验:与现有卡知识重复且成本更高,尚无阅读无法回答的明确问题。
两项实践仅交付计划和首轮公开资料;未执行代码、故障注入或部署。
| 必答维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 存储接口、对象模型与命名空间 | 已覆盖 | [[对象三要素]]、[[名字不等于标识符]]、[[用PUT上传对象]]、[[散列解耦名字与数据]] |
| 数据放置、分片与负载均衡 | 已覆盖 | [[接口与存储要解耦]]、[[随机选节点的问题]]、[[消息定位与REST传数据]]、[[小对象宜打包上传]] |
| 复制、纠删码与一致性 | 已覆盖 | [[RS码省空间容错强]]、[[去重与冗余不矛盾]]、[[即时修复要放宽标准]]、[[先校验再去重]] |
| 元数据、控制面与故障恢复 | 已覆盖 | [[系统与用户元数据]]、[[心跳维护节点列表]]、[[删除即加删除标记]]、[[后台巡检修复]] |
| 读写路径、缓存与性能 | 已覆盖 | [[临时对象化解悖论]]、[[断点上传比下载复杂]]、[[用HEAD查上传进度]]、[[压缩最好在客户端]] |
| 异构硬件、容量与成本取舍 | 部分覆盖 | [[数据丢失的来源]]、[[压缩算法各有取舍]]、[[版本留存策略]];书中未讨论异构介质与分层存储,未补造 |
| 运维、可观测性与版本演化 | 部分覆盖 | [[版本留存策略]]、[[删数据先进垃圾目录]]、[[后台巡检修复]];书中未讲监控与升级兼容,未补造 |
本书以 Go 语言逐步实现一个分布式对象存储:接口与数据服务分离、元数据服务与版本、散列校验与去重、RS 纠删码冗余与即时修复、断点续传、数据压缩和数据维护;卡片复用软件定义存储、存储复制、服务发现、消息代理、REST、密码学、备份恢复、压缩编码、资源生命周期等既有主题,未新建主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 对象三要素 | 已复用 | notes/_topics/software-defined-storage-services.md、notes/_topics/storage-model-choices.md |
| 名字不等于标识符 | 已复用 | notes/_topics/modularity-information-hiding.md |
| 用PUT上传对象 | 已复用 | notes/_topics/rpc-rest-api.md |
| 接口与存储要解耦 | 已复用 | notes/_topics/software-defined-storage-services.md、notes/_topics/scalability-dimensions.md |
| 分布式三大特征 | 已复用 | notes/_topics/scalability-dimensions.md、notes/_topics/faults-partial-failure-clocks.md |
| 心跳维护节点列表 | 已复用 | notes/_topics/faults-partial-failure-clocks.md、notes/_topics/service-discovery-gateway.md |
| 消息定位与REST传数据 | 已复用 | notes/_topics/service-discovery-gateway.md、notes/_topics/message-brokers-event-logs.md |
| 随机选节点的问题 | 已复用 | notes/_topics/load-balancing.md、notes/_topics/distributed-storage-replication.md |
| 系统与用户元数据 | 已复用 | notes/_topics/software-defined-storage-services.md |
| 安全散列三性 | 已复用 | notes/_topics/auth-and-cryptography.md |
| 散列解耦名字与数据 | 已复用 | notes/_topics/modularity-information-hiding.md |
| 删除即加删除标记 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 单例检查去重 | 已复用 | notes/_topics/storage-data-structures.md、notes/_topics/distributed-lock-id.md |
| 先校验再去重 | 已复用 | notes/_topics/trust-boundaries-tcb.md |
| 临时对象化解悖论 | 已复用 | notes/_topics/stream-processing-backpressure.md、notes/_topics/distributed-lock-id.md |
| 小对象宜打包上传 | 已复用 | notes/_topics/capacity-scheduling.md |
| 数据丢失的来源 | 已复用 | notes/_topics/backup-disaster-recovery.md |
| 去重与冗余不矛盾 | 已复用 | notes/_topics/distributed-storage-replication.md |
| RS码省空间容错强 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 即时修复要放宽标准 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/backup-disaster-recovery.md |
| 断点上传比下载复杂 | 已复用 | notes/_topics/rpc-rest-api.md |
| 用HEAD查上传进度 | 已复用 | notes/_topics/rpc-rest-api.md |
| 压缩最好在客户端 | 已复用 | notes/_topics/text-compression-coding.md |
| 压缩算法各有取舍 | 已复用 | notes/_topics/text-compression-coding.md、notes/_topics/image-compression.md |
| 版本留存策略 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 删数据先进垃圾目录 | 已复用 | notes/_topics/resource-ownership-lifetime.md、notes/_topics/change-release-safety.md |
| 后台巡检修复 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/backup-disaster-recovery.md |
轻量模式已完成全文阅读、来源与缓存匹配、整书讲解、覆盖取舍及实践首轮材料;未执行笔记复核、独立审查及审查结果优化。历史审查和类别表仅作记录,不替代本轮规则。
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。
主题索引
比较以函数、闭包、包或服务划定模块边界并隐藏实现细节的方法。
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
比较混沌工程的稳态假设、实验设计、生产验证、爆炸半径控制与自动化,以及组织采纳成熟度对系统韧性的作用。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
把多台机器组成一个存储系统:Ceph 的数据分布与恢复、软件定义存储的服务化,以及超融合把计算与存储并到同一节点后的取舍。
主题索引
比较如何划定信任边界、缩小可信计算基础并隔离不可信输入。
主题索引
从浏览器到源站的每一跳能省掉什么:强制缓存与协商缓存、DNS 解析与 HTTPDNS、HTTP/2 多路复用与 QUIC、分块传输与范围请求、静态化与动静分离、CDN 就近分发与回源,以及移动网络下减少往返的手段。
主题索引
互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。
主题索引
比较接口粒度、隐式/显式实现、接口值表示与动态分派的取舍。
主题索引
比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。
主题索引
消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。
主题索引
比较类继承、原型继承、函数化构造与组合在代码复用上的取舍。
主题索引
比较以熵为下限的文本压缩方法:哈夫曼与算术编码、静态与自适应建模、PPM、块排序与LZ字典压缩,以及压缩与随机访问、解码速度的取舍。
主题索引
比较二值图像的上下文建模、有损与无损压缩、JPEG、文本图像的字典压缩与版面切分方法。