← 返回刚才阅读的位置

知识卡片

结构图卡 · 1778.b

Dremel树形聚合

理解等级:中级

根节点下推查询,叶节点扫描各自数据,中间节点局部聚合,根再汇总。树减少根直接处理全部叶结果的压力,列式嵌套存储减少无关字段扫描;两者分别优化执行与数据访问。增加树深也增加通信,不是层数越多越快。

结构图:

flowchart TD
 A[根节点接收并改写查询] --> B[中间节点继续分发]
 B --> C[叶节点扫描相关列]
 C --> D[中间层局部聚合]
 D --> E[根合并并返回]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      Dremel被称为Google的“新三驾马车”之一,其整体设计思路对目前众多的开源SQL-On-Hadoop系统有重大的影响,Drill、Impala、Presto等系统整体上借鉴了其设计思路,实践也表明其采用的嵌套数据列式存储、树形服务器架构布局及MPP并行数据库执行引擎是这类系统提升性能的关键因素。

    • 交互式数据分析 · 查看原书依据

      最上层一般由一台服务器充当根服务器(Root Server),其负责接收用户查询,并根据SQL命令找到命令中涉及的数据表,读出相关数据表的元数据,改写原始查询后推入下一层级的服务器(即中间服务器)。

    参考来源

    - 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html) - 结论依据:原文在本章对Dremel树形聚合给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:最上层一般由一台服务器充当根服务器(Root Server),其负责接收用户查询,并根据SQL命令找到命令中涉及的数据表,读出相关数据表的元数据,改写原始查询后推入下一层级的服务器(即中间服务器)。