知识卡片
列式适合宽事件
宽事件包含大量字段,但一次查询通常只读取其中少数字段。列式存储按字段组织数据,能减少扫描成本,并适合对高维事件做快速聚合、分组和过滤。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 高效的数据存储 · 查看原书依据
16.2.2 按段列式存储 与前面概述的纯类Dremel列式方法一样,在时间被剔除后,分解数据的下一个合乎逻辑的方法是将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储。
参考来源
- 位置:《可观测性工程》第16章《高效的数据存储》"16.2.2 按段列式存储"一节(源文件:_epub-src/OEBPS/029.xhtml)
- 结论依据:原文明确列式方法"将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储",并说明"只有相关的列被读取用于过滤和处理步骤,只有对应于匹配的行ID的相关值被从每一列的数据流中提取出来",减少无关字段的扫描成本。
- 原始内容:将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储。这导致磁盘上的布局是每个段的每个字段只有一个附加文件……只有相关的列被读取用于过滤和处理步骤,只有对应于匹配的行ID的相关值被从每一列的数据流中提取出来用于发射值