知识卡片
同批视图共享输入边界
多个视图若在不同时间读取持续追加的主目录,就可能各自代表不同输入范围。把新数据先写到独立收集区,再在批处理起始阶段将选定数据纳入主数据集,可以为本轮视图确定共同输入边界。它减少对账时的歧义;移动与清理仍须处理并发写入,不能只凭目录存在就认定具有快照语义。
与[[管道图思维]]的联系:共享同一输入边界让多个批处理视图保持来源一致。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
可以确保每个批处理视图是基于完全相同的主数据集。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第8章《批处理层示例:架构和算法》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/062.xhtml)
- 结论依据:原文把持续到来的新数据与批处理主目录分开,第9章进一步实现同步安全。
- 原始内容:可以确保每个批处理视图是基于完全相同的主数据集。