知识卡片
预组合与导出阶段分离
书中先在普通分析表完成关联与宽表整理,再将结果导入搜索映射表,把计算阶段和对外服务写入阶段分开。这样可单独观察各阶段成本和失败。方案依赖对应连接器与版本,原书旧Type映射和curl语法不作为当前可执行模板。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.4.1 大数据索引 · 查看原书依据
Elasticsearch是NoSQL数据库,在插入数据时需要提前将数据执行关联操作,然后再将数据以“宽表”的形式插入。但是,如果一边关联一边插入映射表,那么性能就不太好。为了解决这个问题,我们的最佳实践就是执行关联操作以后插入一个普通的Hive表,然后再将该表的数据导入Elasticsearch映射表中。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.4.1 大数据索引”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter154.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:书中先在普通分析表完成关联与宽表整理,再将结果导入搜索映射表,把计算阶段和对外服务写入阶段分开。其余范围限定用于避免超出书内证据。
- 原始内容:Elasticsearch是NoSQL数据库,在插入数据时需要提前将数据执行关联操作,然后再将数据以“宽表”的形式插入。但是,如果一边关联一边插入映射表,那么性能就不太好。为了解决这个问题,我们的最佳实践就是执行关联操作以后插入一个普通的Hive表,然后再将该表的数据导入Elasticsearch映射表中。