知识卡片
拼接与去重合并不同
兼容模式的数据集可以用combine直接拼接,也可以用union合并并去重。书中两个输入各自包含重复元组时,combine保留全部出现次数,union只保留不同元组。是否去重会改变记录数和后续聚合结果,必须按业务上“重复是否仍算一次事件”来选择,不能只看两者都能把输入放到一起。
与[[连接与集合合并不同]]的联系:combine和union分别体现记录拼接与去重合并的差异。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
combine方法将数据集简单合并在一起;而union方法将在合并过程中删除任何重复的记录。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第7章《批处理层:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/056.xhtml)
- 结论依据:图7-8列出两种输出,展示重复行在combine保留、union消除。
- 原始内容:combine方法将数据集简单合并在一起;而union方法将在合并过程中删除任何重复的记录。