知识卡片
Dremel树形聚合
内容
Dremel 系统用列式嵌套数据和树形执行聚合支撑交互查询。查询被分发到多层执行节点,底层扫描列数据,上层逐级汇总,核心是减少扫描字段和并行压缩延迟。
参考来源
- 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》"13.3.1 Dremel"多级服务树一节(源文件:_epub-src/OEBPS/text00018.html)
- 结论依据:原文明确"所有的服务器组织成若干深度的树形层级结构,用户查询被Dremel系统由上层服务器逐级下推……在返回结果时则由底层服务器逐级上传,在上传过程中,各级服务器对部分结果进行局部聚集等操作",叶节点服务器"通过扫描本地数据的方式执行分配给自己的SQL语句"。
- 原始内容:在整个系统的服务器组织架构上借鉴了Google搜索引擎响应用户查询时采用的多级服务树(Serving Tree)结构。即所有的服务器组织成若干深度的树形层级结构,用户查询被Dremel系统由上层服务器逐级下推……在返回结果时则由底层服务器逐级上传,在上传过程中,各级服务器对部分结果进行局部聚集等操作……叶节点服务器可以访问数据存储层或者直接访问本地磁盘,通过扫描本地数据的方式执行分配给自己的SQL语句。