知识卡片
MOLAP的"空间换时间":Druid与Kylin两种实现路径
书中将 Druid 与 Kylin 列为分析引擎案例,也说明 Druid 的分类有争议。Druid 按时间切分列式数据段,Broker 查询实时或历史节点,Coordinator 协调存储;摄入有实时和批处理路径。Kylin 预先构建 cube 并存入 HBase,Routing 查询预计算结果。选型应核对数据可见延迟和预计算成本;书中吞吐量及响应时间不能当作通用保证。
结构图:
flowchart TB
A["两种分析引擎实现路径"]
A --> D["Druid<br/>时间分段与列存<br/>实时、批处理两条摄入路径<br/>Broker 查询实时或历史节点"]
A --> K["Kylin<br/>预计算 Cube<br/>存入 HBase<br/>Routing 查询预计算结果"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第12章《交互式计算引擎》之"12.3 MOLAP"(正文源文件:_epub-src/OEBPS/text00099.html;分类脚注源文件:_epub-src/OEBPS/text00097.html)
- 结论依据:原文说明"MOLAP是一种通过预计算cube方式加速查询的OLAP引擎,它的核心思想是'空间换时间'……Druid整个架构由实时线和批处理线两部分构成,本质上是对Lambda架构的一种实现……有些大规模的Druid集群每秒钟能够插入数十亿条事件并提供上千次的查询……Kylin的核心思想是利用空间换时间,它通过预计算,将查询结果预先存储到HBase上以加快数据处理效率……这些查询只需从HBase直接获取结果返回即可,一般在秒级甚至毫秒级完成", 直接支撑本卡关于Druid与Kylin实现路径差异的结构图。
- 原始内容:[1] 也有人将Druid 划归到“ HOLAP”范畴,因为它不会进行预计算,因此是一种“ ROLAP”,但同时它采用列式存储,且为非关系模型,因为也是一种“MOLAP”。