知识卡片
列式适合宽事件
内容
宽事件包含大量字段,但一次查询通常只读取其中少数字段。列式存储按字段组织数据,能减少扫描成本,并适合对高维事件做快速聚合、分组和过滤。
参考来源
- 位置:《可观测性工程》第16章《高效的数据存储》"16.2.2 按段列式存储"一节(源文件:_epub-src/OEBPS/029.xhtml)
- 结论依据:原文明确列式方法"将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储",并说明"只有相关的列被读取用于过滤和处理步骤,只有对应于匹配的行ID的相关值被从每一列的数据流中提取出来",减少无关字段的扫描成本。
- 原始内容:将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储。这导致磁盘上的布局是每个段的每个字段只有一个附加文件……只有相关的列被读取用于过滤和处理步骤,只有对应于匹配的行ID的相关值被从每一列的数据流中提取出来用于发射值。