知识卡片
Dremel树形聚合
根节点下推查询,叶节点扫描各自数据,中间节点局部聚合,根再汇总。树减少根直接处理全部叶结果的压力,列式嵌套存储减少无关字段扫描;两者分别优化执行与数据访问。增加树深也增加通信,不是层数越多越快。
结构图:
flowchart TD
A[根节点接收并改写查询] --> B[中间节点继续分发]
B --> C[叶节点扫描相关列]
C --> D[中间层局部聚合]
D --> E[根合并并返回]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第13章 交互式数据分析
- · 附录B 延伸阅读
原书出处 · 2 处
- 延伸阅读 · 查看原书依据
Dremel被称为Google的“新三驾马车”之一,其整体设计思路对目前众多的开源SQL-On-Hadoop系统有重大的影响,Drill、Impala、Presto等系统整体上借鉴了其设计思路,实践也表明其采用的嵌套数据列式存储、树形服务器架构布局及MPP并行数据库执行引擎是这类系统提升性能的关键因素。
- 交互式数据分析 · 查看原书依据
最上层一般由一台服务器充当根服务器(Root Server),其负责接收用户查询,并根据SQL命令找到命令中涉及的数据表,读出相关数据表的元数据,改写原始查询后推入下一层级的服务器(即中间服务器)。
参考来源
- 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html)
- 结论依据:原文在本章对Dremel树形聚合给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:最上层一般由一台服务器充当根服务器(Root Server),其负责接收用户查询,并根据SQL命令找到命令中涉及的数据表,读出相关数据表的元数据,改写原始查询后推入下一层级的服务器(即中间服务器)。