知识卡片

普通读书笔记卡 · 2275.as.6.j.3.h

预组合与导出阶段分离

理解等级:中级

书中先在普通分析表完成关联与宽表整理,再将结果导入搜索映射表,把计算阶段和对外服务写入阶段分开。这样可单独观察各阶段成本和失败。方案依赖对应连接器与版本,原书旧Type映射和curl语法不作为当前可执行模板。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据技术中台 11.4.1 大数据索引 · 查看原书依据

      Elasticsearch是NoSQL数据库,在插入数据时需要提前将数据执行关联操作,然后再将数据以“宽表”的形式插入。但是,如果一边关联一边插入映射表,那么性能就不太好。为了解决这个问题,我们的最佳实践就是执行关联操作以后插入一个普通的Hive表,然后再将该表的数据导入Elasticsearch映射表中。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.4.1 大数据索引”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter154.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:书中先在普通分析表完成关联与宽表整理,再将结果导入搜索映射表,把计算阶段和对外服务写入阶段分开。其余范围限定用于避免超出书内证据。 - 原始内容:Elasticsearch是NoSQL数据库,在插入数据时需要提前将数据执行关联操作,然后再将数据以“宽表”的形式插入。但是,如果一边关联一边插入映射表,那么性能就不太好。为了解决这个问题,我们的最佳实践就是执行关联操作以后插入一个普通的Hive表,然后再将该表的数据导入Elasticsearch映射表中。