来源书籍

自己动手写分布式搜索引擎

Skill 版本:未记录版本 工程实践(高浓度 + 低稳定性) 39 张卡片

本书围绕全文检索和分布式搜索的工程实现展开,包含倒排索引、文档列表交集、Top N 最小堆、有限状态机、Lucene 段合并、TF-IDF/BM25、索引压缩、Solr 分片合并、ZooKeeper 协调、Elasticsearch 主分片/副本等高浓度机制。但大量示例绑定旧版本和旧工具链,例如 JDK 1.6、Lucene 3/6、Solr 6.4、Elasticsearch 5.1、Struts2/JSP、head 插件等,API 与部署细节时效性低。因此适合作为搜索系统工程实践读物,而不是长期稳定的版本手册。

尚未生成整书笔记。

章节与卡片

01 搜索引擎

4 张卡片
  1. 搜索系统分层 理解等级:未标注 普通读书笔记卡
  2. 倒排索引转向 理解等级:未标注 普通读书笔记卡
  3. 实时索引权衡 理解等级:未标注 普通读书笔记卡
  4. 依赖注入利测试 理解等级:未标注 普通读书笔记卡

02 自己动手写全文检索

6 张卡片
  1. 倒排表含位置 理解等级:未标注 普通读书笔记卡
  2. 词典与倒排分离 理解等级:未标注 普通读书笔记卡
  3. 交集靠有序合并 理解等级:未标注 普通读书笔记卡
  4. TopN最小堆 理解等级:未标注 普通读书笔记卡
  5. 模糊查询自动机 理解等级:未标注 普通读书笔记卡
  6. 内存缓存热词 理解等级:未标注 普通读书笔记卡

03 Lucene的原理与应用

10 张卡片
  1. 读写器分工 理解等级:未标注 普通读书笔记卡
  2. 段不可变合并 理解等级:未标注 普通读书笔记卡
  3. 提交不是可见 理解等级:未标注 普通读书笔记卡
  4. 单写者锁 理解等级:未标注 普通读书笔记卡
  5. 评分只宜同查 理解等级:未标注 普通读书笔记卡
  6. TFIDF的直觉 理解等级:未标注 普通读书笔记卡
  7. BM25适用边界 理解等级:未标注 普通读书笔记卡
  8. 压缩偏向查询 理解等级:未标注 普通读书笔记卡
  9. PForDelta批压缩 理解等级:未标注 普通读书笔记卡
  10. 准实时双索引 理解等级:未标注 普通读书笔记卡

04 搜索引擎用户界面

5 张卡片
  1. 结果页要省时 理解等级:未标注 普通读书笔记卡
  2. 刻面像位集 理解等级:未标注 普通读书笔记卡
  3. 联想词来自日志 理解等级:未标注 普通读书笔记卡
  4. 意图理解先扩展 理解等级:未标注 普通读书笔记卡
  5. 刻面须同查询 理解等级:未标注 普通读书笔记卡

05 Solr分布式搜索引擎

7 张卡片
  1. Solr服务化 理解等级:未标注 普通读书笔记卡
  2. 索引不等于存储 理解等级:未标注 普通读书笔记卡
  3. 过滤查询可缓存 理解等级:未标注 普通读书笔记卡
  4. 分片评分需全局 理解等级:未标注 普通读书笔记卡
  5. 分片映射要稳定 理解等级:未标注 普通读书笔记卡
  6. SolrCloud靠协同 理解等级:未标注 普通读书笔记卡
  7. 三类搜索缓存 理解等级:未标注 普通读书笔记卡

06 ElasticSearch分布式搜索引擎

7 张卡片
  1. ES管理分布索引 理解等级:未标注 普通读书笔记卡
  2. 文档分片更常用 理解等级:未标注 普通读书笔记卡
  3. 主节点防脑裂 理解等级:未标注 普通读书笔记卡
  4. 副本双重收益 理解等级:未标注 普通读书笔记卡
  5. Mapping即索引契约 理解等级:未标注 普通读书笔记卡
  6. Percolate反向查 理解等级:未标注 普通读书笔记卡
  7. 搜索端口要分权 理解等级:未标注 普通读书笔记卡

全书概览

自己动手写分布式搜索引擎

整体评级

四象限结论:工程实践(高浓度 + 低稳定性)

理由:本书围绕全文检索和分布式搜索的工程实现展开,包含倒排索引、文档列表交集、Top N 最小堆、有限状态机、Lucene 段合并、TF-IDF/BM25、索引压缩、Solr 分片合并、ZooKeeper 协调、Elasticsearch 主分片/副本等高浓度机制。但大量示例绑定旧版本和旧工具链,例如 JDK 1.6、Lucene 3/6、Solr 6.4、Elasticsearch 5.1、Struts2/JSP、head 插件等,API 与部署细节时效性低。因此适合作为搜索系统工程实践读物,而不是长期稳定的版本手册。

章节筛选

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
1 搜索引擎 精读 done 4
2 自己动手写全文检索 精读 done 6
3 Lucene的原理与应用 精读 done 10
4 搜索引擎用户界面 精读 done 5
5 Solr分布式搜索引擎 精读 done 7
6 ElasticSearch分布式搜索引擎 精读 done 7

精读/略读理由

  • 第1章《搜索引擎》:精读。有搜索系统分层、倒排索引、实时检索和分布式测试等基础概念。
  • 第2章《自己动手写全文检索》:精读。手写倒排索引、查询合并、Top N、有限状态机等核心机制密集。
  • 第3章《Lucene的原理与应用》:精读。覆盖 Lucene 索引段、读写并发、检索模型、压缩和准实时搜索。
  • 第4章《搜索引擎用户界面》:精读。虽然框架较旧,但搜索结果页、刻面、联想词和意图理解仍有迁移价值。
  • 第5章《Solr分布式搜索引擎》:精读。讲 Solr 服务化封装、分布式搜索、SolrCloud 与缓存机制。
  • 第6章《ElasticSearch分布式搜索引擎》:精读。讲 ES 集群、分片副本、Mapping、Query DSL、反向查询和权限边界。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

缓存架构与失效问题

比较缓存穿透、雪崩、热点等问题的成因与应对方案。

345 张卡片 · 58 本书

主题索引

时空效率与复杂度分析

比较渐近复杂度、摊销分析、基准测试以及以抽象换空间、局部性等时间与空间效率的权衡。

333 张卡片 · 17 本书

主题索引

并发任务与同步原语

比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。

215 张卡片 · 41 本书

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

数据分析、实验与因果

从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。

84 张卡片 · 13 本书

主题索引

互斥、条件与死锁

互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。

81 张卡片 · 21 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

用声明表达接口契约

比较如何借助语言声明(删除、重写标记、异常规格、常量性、作用域等)让编译器强制接口意图。

62 张卡片 · 22 本书

主题索引

依赖注入与模块连接

组件依赖由谁提供:硬编码依赖、依赖注入、服务定位器与 DI 容器的解耦程度、可测试性与可读性取舍,以及异步初始化依赖和插件获取宿主服务的方式。

60 张卡片 · 19 本书

主题索引

交互设计原则

比较分组、反馈、心智模型、一致性、约束与选择数量等交互设计原则。

43 张卡片 · 9 本书

主题索引

文本压缩与熵编码

比较以熵为下限的文本压缩方法:哈夫曼与算术编码、静态与自适应建模、PPM、块排序与LZ字典压缩,以及压缩与随机访问、解码速度的取舍。

37 张卡片 · 7 本书

主题索引

相关性排序与检索评价

比较TF-IDF、向量空间模型与相关性反馈等排序依据,以及召回率与精确率在不同检索场景中的取舍。

30 张卡片 · 9 本书

主题索引

深网采集与搜索策略

比较深网页面发现、查询模板构造、搜索空间扩展、页面噪声去除及自动化采集的安全边界。

23 张卡片 · 3 本书