知识卡片

普通读书笔记卡 · 5430.a

数据加载决定后续局部性

理解等级:中级

HadoopDB全局哈希器把数据分给数据库节点,局部哈希器再切Chunk并批量导入。加载键会影响查询能否本地完成:按年份放齐数据,年度聚合无需再跨节点合并;布局不匹配时仍要全局Reduce。加载不是与查询性能无关的预处理。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 交互式数据分析 · 查看原书依据

      全局哈希器是用户定制的MR任务,它从HDFS中读出原始数据,并将其切割成和数据库节点个数一样的数据分片;局部哈希器将数据分片从HDFS复制到数据库所在机器节点,并进一步切割成指定大小的数据块。

    参考来源

    - 位置:《大数据日知录:架构与算法》第13章《交互式数据分析》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00018.html) - 结论依据:原文在本章对数据加载决定后续局部性给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:全局哈希器是用户定制的MR任务,它从HDFS中读出原始数据,并将其切割成和数据库节点个数一样的数据分片;局部哈希器将数据分片从HDFS复制到数据库所在机器节点,并进一步切割成指定大小的数据块。