知识卡片
实时视图可过期
实时视图应有明确过期边界:当对应数据被批处理层吸收后,速度层可以删除或忽略这段状态。过期机制让实时层保持小而可管理,避免演变成完整数据库。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
一旦批量计算运行结束,你就可以丢弃部分速度层视图
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第12章《实时视图》"12.5 过期实时视图"一节(源文件:_epub-src/OEBPS/Text/095.xhtml)
- 结论依据:原文明确"速度层视图只需要表示还没有被批量计算工作流所处理的数据。一旦批量计算运行结束,你就可以丢弃部分速度层视图——被服务层吸收的部分",并给出交替维护两组实时视图、按批处理层完成进度轮流清空的具体过期方案。
- 原始内容:因为更简单的批处理层和服务层不断覆盖速度层,所以速度层视图只需要表示还没有被批量计算工作流所处理的数据。一旦批量计算运行结束,你就可以丢弃部分速度层视图——被服务层吸收的部分——但显然你必须保留其他所有数据……速度层视图只代表数据的很小一部分——最多几个小时的数据。