知识卡片
两层共享规范化语义
批处理和速度层处理同一业务对象时,应复用一致的规范化规则,例如将URL转换成同一形式。否则两个结果可能落入不同查询键,后续合并就不能得到统一口径。书中让URL规范化成为两层共享库;共享的是确定的业务转换规则,而非要求全部执行框架也相同。
与[[规范化先于聚合]]的联系:两层复用规范化语义让查询键与结果口径一致。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
因此该算法在两层之间是一个共享库,这是很有意义的。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第14章《队列和流处理》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/105.xhtml)
- 结论依据:14.4描述Normalize URLs Bolt与批处理共用URL算法,并按URL字段分组更新摘要。
- 原始内容:因此该算法在两层之间是一个共享库,这是很有意义的。