主题对照

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

本层 80 张卡片 · 含下级覆盖 80 张卡片

本主题的卡片

管理海量数据压缩、索引和查询

检索的空间速度矛盾

全文检索要同时解决存储空间(靠压缩)和检索速度(靠索引)两个问题,二者存在张力——索引本身占空间,一味追求压缩率又会牺牲随机访问速度。难点不是把某一项做到极致,而是让两者配合:把索引和正文一起压缩到不足原文一半大小,仍能在有限磁盘访问内完成任意关键词组合检索。这正是压缩与索引必须当作同一个设计问题、而非两个独立子系统的原因。

查看卡片与原书出处

管理海量数据压缩、索引和查询 · 索引

停用词的压缩经济学

“as”“of”这类高频停用词的引用列表极其庞大,早期索引编撰者倾向直接排除以省空间。但是否索引停用词不该由存储成本决定,而应由检索完整性决定——排除意味着预先替使用者判断”这个词不会被检索”,这种预判常常是错的。压缩技术成熟后矛盾消解:停用词引用虽占索引条目三成左右,压缩后只让索引膨胀约4%。这是用工程手段消除产品设计两难的典型案例。

查看卡片与原书出处

管理海量数据压缩、索引和查询

全文检索与传统数据库的根本差异

传统数据库靠一小部分预先选定的键(如账号)定位记录,查询能力被限定在建索引时设计好的字段范围内。全文检索把记录的每个组成部分都当作可查询的键——任何词都可能是未来查询的入口,这是理念上的根本区别,而非只是”索引更多字段”。这解释了为什么全文检索常面对设计时完全无法预见的查询组合,也是全文索引规模远大于传统数据库索引的原因。

查看卡片与原书出处

管理海量数据压缩、索引和查询

索引粒度的取舍

索引要记录到多细的位置精度是可自由选择的设计参数,从”只标记文本组”到”精确到每个单词”是一条连续谱系。粒度越粗,索引越小,但命中后要读出整段原文逐字确认,多词查询易错配;粒度越细能直接支持短语查询、无需读原文确认匹配,但索引体积膨胀2~3倍。经验结论:邻近查询若是少数情况,先用粗粒度(文档级)索引筛出候选,再对候选做一次扫描确认,通常更划算。

查看卡片与原书出处

管理海量数据压缩、索引和查询

布尔查询即列表运算

倒排索引由字典(记录每个词对应的磁盘地址)和倒排列表(对每个词按文档号升序存放包含它的文档指针)组成。这个”升序排列”约定直接决定了布尔查询能被高效实现——AND是对多个倒排列表求交集,OR求并集,NOT求补集,升序列表求交并集只需像归并排序那样各自维护指针线性扫描。这把”检索”这个复杂问题转化成了对有序列表做归并这个已被研究透的基础操作。

查看卡片与原书出处

管理海量数据压缩、索引和查询

预处理拿准确换召回

建索引前通常做三种转换,本质都是”主动模糊化”以扩大查全率,但都要承担误伤代价。大小写折叠让”Data”和”data”能被同一查询命中,但会混淆本该区分的专有名词。词根化把单词归约到词干,让不同词形能被命中,但会引入语境不同的匹配。停用词过滤把高频词剔除以省空间,代价是彻底丧失查询这些词的能力。这也是为什么作者更倾向保留停用词、只在查询侧按需忽略——不可逆决策应尽量往后推。

查看卡片与原书出处

管理海量数据压缩、索引和查询

文档间隔让列表可压

一个词的倒排列表本身是升序文档号,直接存储每个文档号需要能表达最大文档号的位数,看起来无法压缩。但只要把”存文档号”换成”存相邻文档号之间的差值”(文档间隔),信息不丢失(可累加还原),却打开压缩空间:常见词间隔普遍很小,罕见词间隔可能很大但次数少,小间隔概率远高于大间隔。只要用变长编码给小数值分配更短码字,平均编码长度就能显著低于固定位数方案。

查看卡片与原书出处

管理海量数据压缩、索引和查询

编码即隐含概率假设

按香农信息量公式反推,任何给整数分配变长码字的编码方案都等价于假设一个特定的概率分布:编码越短,就相当于认定该数值概率越高。普通二进制编码假设所有值均匀分布;一元编码让编码长度随数值线性增长,隐含概率按2的负幂次陡峭衰减;γ编码隐含概率与数值平方成反比。选编码方式本质是选一个先验假设去匹配数据的真实分布,这也是为何后续要引入贝努里模型等更贴近真实分布的模型。

查看卡片与原书出处

管理海量数据压缩、索引和查询

全局与局部模型之争

压缩倒排列表时可以用同一套参数处理全部词(全局模型),也可以让每个词的参数按自己出现频率单独调整(局部模型)。全局模型(如γ、δ编码)实现简单、解码快;局部模型(如Golomb编码,用每个词自身频率算最优参数b)能更精确贴合”高频词间隔小、低频词间隔大”的规律,但要为每个列表额外存参数、解码多算一步。经验结论是局部模型收益通常超过额外开销,Golomb编码因此成为默认选择。

查看卡片与原书出处

管理海量数据压缩、索引和查询

词的出现是成簇的

贝努里模型假设一个词在每篇文档中出现的概率独立且均匀,但真实语料并非如此——像”切尔诺贝利”这类专有名词常因讨论同一事件的文档挨在一起存放,在倒排列表里表现为一连串很小的文档间隔紧密聚集,而非均匀撒开。有偏贝努里模型和局部双曲模型正是为了捕捉这种偏斜而设计的:把编码的第一个”桶”设得更小(用间隔中位数而非平均数作参数),让聚集出现的小间隔被更经济编码。

查看卡片与原书出处

管理海量数据压缩、索引和查询

插值编码用双向边界

普通文档间隔编码是单向的——只用”前一个数是多少”推算当前数的编码范围。插值编码换了顺序:先编码列表中间位置的数,再递归对左右两半分别编码,这样编码某数时它的左右两侧都已有确定边界,能用的编码位数由这个区间宽度决定。存在聚类时,双向夹逼能把区间收窄到只剩一两个可能值,理论上可用不到1比特表示一个数,代价是实现更复杂(需维护端点栈递归处理)。

查看卡片与原书出处

管理海量数据压缩、索引和查询

签名文件只给可能匹配

签名文件给每篇文档生成固定长度比特串”签名”:文档里每个词经哈希算出几个比特位置全部置1,文档内所有词的置位结果按位或叠加成文档级签名。查询某词时检查该词哈希出的位置在文档签名里是否都为1——只要有一位是0就能确定绝对不包含该词,直接排除;但即使全为1也只能说”可能包含”(哈希冲突),必须回读原文档做错配检查确认。它能快速确定地说”不在”,但永远无法单靠自身确定地说”在”。

查看卡片与原书出处

管理海量数据压缩、索引和查询

三种索引同压稀疏矩阵

把”哪些文档包含哪些词”想象成词×文档的二维矩阵,倒排索引、位图、签名文件是同一份信息的三种存储方式,区别只在如何处理稀疏性。位图逐行存完整0/1向量,等价于对文档间隔做一元编码;倒排索引只记录值为1的位置,换成更紧凑的变长编码;签名文件反过来在列方向压缩,用哈希把多词叠加进有限几个伪行,用可控错配概率换更小体积。三者没有本质信息差异,只是存储换空间或速度这一维度上的不同取舍点。

查看卡片与原书出处

管理海量数据压缩、索引和查询

压缩后停用词收益缩水

未压缩的倒排文件里,去掉最高频的一百多个停用词能省下四分之一空间。但一旦索引本身被压缩,这笔账就变了:高频词恰恰是压缩编码处理得最好的部分——文档间隔极小,用Golomb编码几乎能压到极限,去掉它们省下的空间早被编码阶段吃掉大半。TREC实测:停用词占未压缩索引四分之一体积,压缩后合计不到10MB,而整个压缩索引才93MB左右,省下空间不成比例地小,却要付出丧失查询这些词的代价。

查看卡片与原书出处

管理海量数据压缩、索引和查询

前端编码共享前缀

字典按字母序排序后,相邻词大概率共享前缀(如jerusalem、jerusalemites),前端编码只存”共享前缀长度”加”剩余后缀”,不重复存公共部分。字典越大,公共前缀期望越长,真实语言前缀分布比随机假设更集中,经验值能省约40%字典空间。代价是牺牲了直接二分查找的能力,折中方案是每隔几个词保留一个完整未压缩词作跳转锚点,这是[[分块压缩与随机访问的权衡]]在字典结构里的重演。

查看卡片与原书出处

管理海量数据压缩、索引和查询

最小完美哈希免冲突

普通哈希表几乎注定遇到冲突——即使装载因子保守,冲突概率也高得反直觉(生日悖论:365个槽,23个键值冲突概率就超过50%),因此常规哈希表要额外设计冲突处理机制。最小完美哈希函数换个思路:若字典词条提前已知且固定,可针对该集合预先计算专属哈希函数,让每个词精确映射到互不重复的位置,从数学上根除冲突。代价是换一批词就要重新构造,只适合字典基本静态、查询远比更新频繁的场景。

查看卡片与原书出处

管理海量数据压缩、索引和查询

n-gram索引先过滤

处理带通配符的模糊查询(如lab*r)时,若通配符不在词尾,前缀二分查找就失效。n-gram索引把字典每个词拆成固定长度片段建索引,查询时取出模式中的片段找候选词——这一步允许错配,候选词只是”包含这些片段”不保证顺序一致。真正决定答案的是随后的精确匹配校验,n-gram索引的价值是把暴力匹配缩小成对候选做精确匹配,是信息检索里常见的粗筛高召回、精确校验补齐精度的两阶段模式。

查看卡片与原书出处

管理海量数据压缩、索引和查询

合取查询先短列表

处理多词AND查询时,应先取频率最低(倒排列表最短)的词作初始候选集,再按频率从低到高依次用其余词过滤,而非按查询里出现的顺序处理。这样候选集从一开始就最小,之后只会越筛越小,内存峰值被最小化;一旦候选集变空可提前结束(实际查询中”无匹配”比例出乎意料地高)。这把”归并两个大列表”变成了”用一个小候选集去查一个大列表”,是多个过滤条件应让选择性最强的最先起作用这一通用原则的具体体现。

查看卡片与原书出处

管理海量数据压缩、索引和查询

分块索引找回二分查找

压缩倒排列表能大幅省空间,但也破坏了随机访问——列表本身有序理论上可二分查找,但压缩编码下无法直接跳到”中间”解码,因为每个数的位置依赖前面所有间隔累加。解决办法是牺牲一点压缩率换回随机访问:把列表切成若干等长块,每块开头文档号不压缩、直接存储作为”关键值”,查询先对未压缩关键值二分定位到块,再对块内线性解码——查找复杂度从解压整个列表降到对数级比较加解压一小块,代价是关键值本身占用空间较大。

查看卡片与原书出处

管理海量数据压缩、索引和查询

分布式排名两阶段

当文档集合分散在多个节点、没有一台机器掌握全局视角时,布尔查询好办——把查询广播给每个节点,各自返回结果取并集即可。排名查询麻烦得多,因为余弦相似度依赖IDF这类全局统计量,每个节点只掌握本地词频统计,局部相似度分值在节点间不可比。解决办法是拆成两轮:第一轮各节点上报本地词频统计,中央协调节点汇总算出全局IDF权重再广播回去;第二轮各节点用全局权重计算本地排名前r的文档,再汇总做一次全局归并排序。

查看卡片与原书出处

管理海量数据压缩、索引和查询

建索引即转置矩阵

建索引在数学上等价于把”文档×词”频率矩阵转置成”词×文档”倒排矩阵——原始文本按文档顺序写,倒排索引却要按词序读。若在内存里摊开整个矩阵再转置,几万文档的语料就要超1GB,上百万文档会膨胀到TB级;退而用虚拟内存,因为转置要按列访问,几乎每读一个指针都触发缺页中断,实测处理规模语料要跑数小时甚至两个月。这个”数学正确、工程不可行”的落差,正是本章所有索引构造技巧要解决的核心问题。

查看卡片与原书出处

管理海量数据压缩、索引和查询

倒排化为外部排序

[[建索引即转置矩阵]]的病灶是访问模式和存储介质不匹配——原始数据按文档顺序写入,倒排索引却要按词序读出,直接转换意味着大量随机磁盘寻道。基于排序的算法先把文本解析成三元组⟨词,文档号,词频⟩顺序写入临时文件,再用外部归并排序按词排序,相同词的记录自然聚在一起,顺序扫一遍就能生成倒排列表。这把随机I/O问题改造成了顺序I/O可解决的经典排序问题,代价是需要两倍最终索引大小的临时磁盘空间。

查看卡片与原书出处

管理海量数据压缩、索引和查询

压缩临时文件更快

外部归并排序每趟都要完整读写整个临时文件,直觉上压缩会增加CPU开销。但实测反直觉:压缩后文件体积缩小到不足1/8,磁盘传输时间从每趟一小时降到十分钟量级,而解压+再压缩增加的CPU时间不过一个多小时——I/O节省的时间远超压缩计算多花的时间,总耗时反而更短。原因是磁盘顺序传输速度和CPU处理速度存在数量级落差,压缩本质是用CPU周期换磁盘I/O量,只要CPU比磁盘快得多这笔交易就划算。

查看卡片与原书出处

管理海量数据压缩、索引和查询

预分配按最坏情况

内存内倒排要在扫描文本前为每个词的倒排列表预先分配固定大小内存,写入过程中一旦超出就无法扩展。这把Golomb编码参数选择从”求平均码长最短”变成”求最坏情况码长上界最小”——让平均情况最优的参数b未必能让最坏情况膨胀可控,必须专门推导(即Rice码)。代价是平均压缩率略微下降,换来”绝不溢出”这个硬约束——资源必须提前一次性分配且无法追加时,优化目标就要从”平均最优”切换成”最坏情况有界”。

查看卡片与原书出处

管理海量数据压缩、索引和查询

建索引的三方取舍

本章的索引构造算法本质上是同一问题在三个资源维度(内存、临时磁盘、扫描次数)之间的不同取舍点,没有哪种方法三者同时最优。内存越小越需多批次处理、多扫描几遍;磁盘越宽裕越能减少归并趟数。最终结论:处理GB级文本,基于排序的原地多路归并和基于文本切分的内存内压缩两种方法胜出,额外磁盘开销压到最终索引大小的10%~35%以内。资源维度多于两个相互制约时,最优算法本身没有意义,只有给定约束下最优才有意义。

查看卡片与原书出处

管理海量数据压缩、索引和查询

动态集合摊销更新

静态索引构造技巧假设数据一次性写定,但真实文档集合持续增删会暴露两个问题:压缩模型基于旧文本统计,新词只能用”逃逸”标记退化成不压缩存储;倒排列表变长后定长磁盘块可能装不下。解法是用可预测的浪费换可控的更新成本:压缩模型等文本累积膨胀到原来数倍才重建一次,重建次数是对数级、可预先估算;索引磁盘块预留约5%空闲空间吸收记录增长,配合内存更新缓存把频繁小规模磁盘操作合并成少量大块读写。

查看卡片与原书出处

管理海量数据压缩、索引和查询

压缩倒排空间时间双赢

直觉上压缩要付出解压计算代价,用在查询路径应该会拖慢响应——但实测数据推翻了这个直觉。同样的TREC查询集,未压缩倒排文件处理10词查询要传输600000个指针共3.6MB数据,磁盘传输就要2秒;换成压缩倒排文件配合跳跃索引,传输数据量降到几十分之一,解码增加但远小于省下的I/O时间,查询响应反而快5到6倍,存储只多约6%。压缩本质是用磁盘带宽换CPU周期,这在磁盘远慢于CPU的年代必然划算。

查看卡片与原书出处

App后台开发运维和架构实践 · App后台基础技术

搜索依赖倒排

海量数据里的关键词查询不能靠逐行扫描,核心是先分词,再建立关键词到文档的倒排关系。搜索系统把“临时查找”变成“预先建索引后查询”,用额外存储和索引维护成本换取查询速度。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术介绍

倒排索引反向查找

全文检索要解决的问题是在大量非结构化文档里,根据任意一段文字内容快速定位包含它的文档。最原始的办法是顺序扫描:逐个打开每个文件、从头看到尾判断是否包含目标字符串,对小数据量可行,但面对大量文件会慢到不可用。顺序扫描慢的根本原因在于:非结构化数据天然保存的是”文件→字符串”的映射(已知文件求它包含哪些字符串很容易),而要搜索的信息恰恰相反,是”字符串→文件”的映射(已知字符串求哪些文件包含它)。全文检索的核心突破就是提前构建一份反向的索引——对每个词记录一份包含它的文档链表(倒排表),这样搜索时直接查倒排表就能拿到结果,不再需要逐个扫描原文档。这个索引构建过程只需做一次,之后可以反复搜索复用,这正是”一次索引、多次使用”相对于”每次都要重新顺序扫描”的核心优势,代价是索引本身的构建也需要时间和存储空间。

结构图:

flowchart LR
  A["非结构化数据天然存储:文件→字符串映射<br/>(已知文件求含哪些词,容易)"]
  A --> B["但检索需求相反:字符串→文件映射<br/>(已知词求含它的文件,难)"]
  B --> C["解法:提前构建倒排索引<br/>词典→每个词对应的文档链表(倒排表)"]
  C --> D["检索时直接查倒排表<br/>一次索引,多次使用,免去逐文件顺序扫描"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术介绍

从Lucene到ES

Lucene 是 Java 全文检索库,需开发者自行集成,门槛高。Solr 基于 Lucene 做成独立检索服务,SolrCloud 借 ZooKeeper 管理集群、拆分大索引。Elasticsearch 同样以 Lucene 为核心,用 RESTful API 隐藏复杂性,天生分布式,可扩展到上百台服务器,且扩展对使用者透明。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1223 检索的空间速度矛盾 主题成员 管理海量数据压缩、索引和查询 理解等级:未标注
  • 展开或收起下级: 1225 索引粒度的取舍 主题成员 管理海量数据压缩、索引和查询 理解等级:未标注
  • 展开或收起下级: 1226 前端编码共享前缀 主题成员 管理海量数据压缩、索引和查询 理解等级:未标注
  • 展开或收起下级: 1227 建索引即转置矩阵 主题成员 管理海量数据压缩、索引和查询 理解等级:未标注
  • 展开或收起下级: 1231 哈夫曼码长易溢出 路径上下文 管理海量数据压缩、索引和查询 理解等级:未标注
  • 展开或收起下级: 1666 NoSQL 的本质是特性取舍,不是替代关系数据库 路径上下文 从0开始学架构 · 16|高性能NoSQL 理解等级:未标注
  • 展开或收起下级: 1747 观测存储不同 路径上下文 可观测性工程 · 高效的数据存储 理解等级:未标注
  • 展开或收起下级: 1781 CTR稀疏学习 路径上下文 大数据日知录_架构与算法 · 机器学习:分布式算法 理解等级:未标注
    • 1781.l 两次MR累加共词贡献 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:中级
    • 1781.m 高频词剪枝须评估精度 主题成员 大数据日知录_架构与算法 · 第16章 机器学习:分布式算法 理解等级:中级
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.aj 三个火枪手原则 路径上下文 从零开始学架构 · 微服务架构最佳实践 - 方法篇 理解等级:未标注
      • 展开或收起下级: 2275.aj.2 微服务基础设施优先级 路径上下文 从零开始学架构 · 微服务架构最佳实践 - 方法篇 理解等级:未标注
        • 展开或收起下级: 2275.aj.2.a 微服务冰山模型 路径上下文 架构探险:轻量级微服务架构(下册) · 1.2 微服务架构前期准备 理解等级:中级
          • 展开或收起下级: 2275.aj.2.a.2 运行链路与可观测性 路径上下文 架构探险:轻量级微服务架构(下册) · 1.3 轻量级微服务架构图 理解等级:中级
            • 展开或收起下级: 2275.aj.2.a.2.b 容器日志经驱动输出 路径上下文 架构探险:轻量级微服务架构(下册) · 2.2 使用Docker容器日志 理解等级:中级
              • 展开或收起下级: 2275.aj.2.a.2.b.2 日志中心分收集存储查询 路径上下文 架构探险:轻量级微服务架构(下册) · 2.2 使用Docker容器日志 理解等级:中级
                • 2275.aj.2.a.2.b.2.a 索引使搜索近实时 主题成员 架构探险:轻量级微服务架构(下册) · 2.3 搭建应用日志中心 理解等级:中级
    • 展开或收起下级: 2275.as 运维平台四化 路径上下文 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 展开或收起下级: 2275.as.6 数据平台承载数据价值 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
        • 展开或收起下级: 2275.as.6.j 数据应用需要贯通治理链 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第三部分导读 理解等级:中级
          • 2275.as.6.j.25 搜索工具区分库与服务层 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:中级
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.j 索引以写入换读取 路径上下文 数据密集型应用系统设计 · 存储与检索 理解等级:未标注
      • 展开或收起下级: 2280.j.2 SSTable的排序收益 路径上下文 数据密集型应用系统设计 · 存储与检索 理解等级:未标注
        • 2280.j.2.a 模糊索引与编辑距离 主题成员 数据密集型应用系统设计 · 第三章:存储与检索 理解等级:中级
  • 展开或收起下级: 2338 API来自业务抽象 路径上下文 App后台开发运维和架构实践 · App后台基础技术 理解等级:未标注
  • 展开或收起下级: 2774 HDFS三副本放置 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术介绍 理解等级:未标注
    • 2774.g 倒排索引反向查找 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术介绍 理解等级:未标注
    • 2774.i 从Lucene到ES 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据技术介绍 理解等级:未标注
  • 展开或收起下级: 2805 分片扩展副本容错 主题成员 分布式实时计算框架原理及实践案例 · 全文检索:ElasticSearch2.x 理解等级:未标注
    • 2805.a 生产要先定Mapping 主题成员 分布式实时计算框架原理及实践案例 · 全文检索:ElasticSearch2.x 理解等级:未标注
    • 2805.c ES与Solr取舍 主题成员 分布式实时计算框架原理及实践案例 · 全文检索:ElasticSearch2.x 理解等级:未标注
  • 展开或收起下级: 2807 推荐系统是闭环 路径上下文 分布式实时计算框架原理及实践案例 · 综合实例:新闻推荐中的用户画像近实时更新 理解等级:未标注
    • 2807.e 用搜索实现内容相似 主题成员 分布式实时计算框架原理及实践案例 · 综合实例:新闻推荐中的用户画像近实时更新 理解等级:未标注
  • 展开或收起下级: 2810 系统与用户元数据 路径上下文 分布式对象存储——原理、架构及Go语言实现 · 第3章 元数据服务 理解等级:未标注
    • 2810.d 滚动索引扩展元数据 主题成员 分布式对象存储——原理、架构及Go语言实现 · 第3章 元数据服务 理解等级:中级
    • 2810.e 元数据名字必须精确匹配 主题成员 分布式对象存储——原理、架构及Go语言实现 · 第3章 元数据服务 理解等级:中级
  • 展开或收起下级: 2828 工业级系统的标准 路径上下文 分布式机器学习实战 · 完整工业级系统实战 理解等级:未标注
    • 2828.c 离线在线搜索分开 主题成员 分布式机器学习实战 · 完整工业级系统实战 理解等级:未标注
    • 2828.d 分片与复制各有用处 主题成员 分布式机器学习实战 · 完整工业级系统实战 理解等级:未标注
  • 展开或收起下级: 3110 没有万能数据库 路径上下文 实时流计算系统设计与实现 · 第9章 数据存储 理解等级:未标注
  • 3960 Trie与DAT权衡前缀检索和索引更新 主题成员 架构师之路 · 如何快速实现高并发短文检索 理解等级:中级
  • 4098 分索引的历史边界 主题成员 高可用架构(第1卷) · 高可用架构原理与分布式实践 理解等级:高级
  • 4101 段合并建议的边界 主题成员 高可用架构(第1卷) · 高可用架构原理与分布式实践 理解等级:高级
  • 4480 前缀节点预存热门候选 主题成员 System Design Interview – An insiders guide, Second Edition · 搜索自动补全 理解等级:高级
  • 4481 补全统计与在线查询分离 主题成员 System Design Interview – An insiders guide, Second Edition · 搜索自动补全 理解等级:高级
  • 4964 检索与数据库查询有别 主题成员 RESTful Web API Patterns and Practices Cookbook Connecting and Orchestrating Microservices and Distributed Data (Mike Amundsen) · 用超媒体思考与设计 理解等级:中级

未编号或编号待整理

  • 倒排索引转向 理解等级:未标注

    自己动手写分布式搜索引擎 · 搜索引擎

  • 实时索引权衡 理解等级:未标注

    自己动手写分布式搜索引擎 · 搜索引擎

  • 倒排表含位置 理解等级:未标注

    自己动手写分布式搜索引擎 · 自己动手写全文检索

  • 词典与倒排分离 理解等级:未标注

    自己动手写分布式搜索引擎 · 自己动手写全文检索

  • 交集靠有序合并 理解等级:未标注

    自己动手写分布式搜索引擎 · 自己动手写全文检索

  • 模糊查询自动机 理解等级:未标注

    自己动手写分布式搜索引擎 · 自己动手写全文检索

  • 读写器分工 理解等级:未标注

    自己动手写分布式搜索引擎 · Lucene的原理与应用

  • 提交不是可见 理解等级:未标注

    自己动手写分布式搜索引擎 · Lucene的原理与应用

  • 准实时双索引 理解等级:未标注

    自己动手写分布式搜索引擎 · Lucene的原理与应用

  • 刻面像位集 理解等级:未标注

    自己动手写分布式搜索引擎 · 搜索引擎用户界面

  • 刻面须同查询 理解等级:未标注

    自己动手写分布式搜索引擎 · 搜索引擎用户界面

  • Solr服务化 理解等级:未标注

    自己动手写分布式搜索引擎 · Solr分布式搜索引擎

  • Percolate反向查 理解等级:未标注

    自己动手写分布式搜索引擎 · ElasticSearch分布式搜索引擎

  • 搜索脱离数据库 理解等级:未标注

    高性能电子商务平台构建_架构、设计与开发 · 电商平台的技术架构

来源书籍

来源书籍

分布式机器学习实战

大数据与机器学习平台工程类

Skill 版本:v8

书籍类型:工程实践

清单覆盖 7/7

34 张卡片

来源书籍

可观测性工程

可观测性/监控类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 8/8

189 张卡片

来源书籍

架构师之路

系统架构类

Skill 版本:v15

书籍类型:未标注

类别清单尚未核对

317 张卡片

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

时空效率与复杂度分析

比较渐近复杂度、摊销分析、基准测试以及以抽象换空间、局部性等时间与空间效率的权衡。

333 张卡片 · 17 本书

主题索引

架构决策方法

比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。

168 张卡片 · 45 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书