知识卡片

列式适合宽事件

普通读书笔记卡 · 1747.a

内容

宽事件包含大量字段,但一次查询通常只读取其中少数字段。列式存储按字段组织数据,能减少扫描成本,并适合对高维事件做快速聚合、分组和过滤。

参考来源

- 位置:《可观测性工程》第16章《高效的数据存储》"16.2.2 按段列式存储"一节(源文件:_epub-src/OEBPS/029.xhtml) - 结论依据:原文明确列式方法"将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储",并说明"只有相关的列被读取用于过滤和处理步骤,只有对应于匹配的行ID的相关值被从每一列的数据流中提取出来",减少无关字段的扫描成本。 - 原始内容:将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储。这导致磁盘上的布局是每个段的每个字段只有一个附加文件……只有相关的列被读取用于过滤和处理步骤,只有对应于匹配的行ID的相关值被从每一列的数据流中提取出来用于发射值。