知识卡片
数据加载决定后续局部性
HadoopDB全局哈希器把数据分给数据库节点,局部哈希器再切Chunk并批量导入。加载键会影响查询能否本地完成:按年份放齐数据,年度聚合无需再跨节点合并;布局不匹配时仍要全局Reduce。加载不是与查询性能无关的预处理。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 交互式数据分析 · 查看原书依据
全局哈希器是用户定制的MR任务,它从HDFS中读出原始数据,并将其切割成和数据库节点个数一样的数据分片;局部哈希器将数据分片从HDFS复制到数据库所在机器节点,并进一步切割成指定大小的数据块。
参考来源
- 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html)
- 结论依据:原文在本章对数据加载决定后续局部性给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:全局哈希器是用户定制的MR任务,它从HDFS中读出原始数据,并将其切割成和数据库节点个数一样的数据分片;局部哈希器将数据分片从HDFS复制到数据库所在机器节点,并进一步切割成指定大小的数据块。