← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1747.a

列式适合宽事件

理解等级:未标注

宽事件包含大量字段,但一次查询通常只读取其中少数字段。列式存储按字段组织数据,能减少扫描成本,并适合对高维事件做快速聚合、分组和过滤。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 高效的数据存储 · 查看原书依据

      16.2.2 按段列式存储 与前面概述的纯类Dremel列式方法一样,在时间被剔除后,分解数据的下一个合乎逻辑的方法是将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储。

    参考来源

    - 位置:《可观测性工程》第16章《高效的数据存储》"16.2.2 按段列式存储"一节(源文件:_epub-src/OEBPS/029.xhtml) - 结论依据:原文明确列式方法"将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储",并说明"只有相关的列被读取用于过滤和处理步骤,只有对应于匹配的行ID的相关值被从每一列的数据流中提取出来",减少无关字段的扫描成本。 - 原始内容:将事件分解为其组成字段,并将每个字段的内容与多个事件中的相同字段一起存储。这导致磁盘上的布局是每个段的每个字段只有一个附加文件……只有相关的列被读取用于过滤和处理步骤,只有对应于匹配的行ID的相关值被从每一列的数据流中提取出来用于发射值