返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 1786.c.7

同批视图共享输入边界

理解等级:中级

多个视图若在不同时间读取持续追加的主目录,就可能各自代表不同输入范围。把新数据先写到独立收集区,再在批处理起始阶段将选定数据纳入主数据集,可以为本轮视图确定共同输入边界。它减少对账时的歧义;移动与清理仍须处理并发写入,不能只凭目录存在就认定具有快照语义。

与[[管道图思维]]的联系:共享同一输入边界让多个批处理视图保持来源一致。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第8章《批处理层示例:架构和算法》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/062.xhtml) - 结论依据:原文把持续到来的新数据与批处理主目录分开,第9章进一步实现同步安全。 - 原始内容:可以确保每个批处理视图是基于完全相同的主数据集。