知识卡片
实时视图可过期
内容
实时视图应有明确过期边界:当对应数据被批处理层吸收后,速度层可以删除或忽略这段状态。过期机制让实时层保持小而可管理,避免演变成完整数据库。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第12章《实时视图》"12.5 过期实时视图"一节(源文件:_epub-src/OEBPS/Text/095.xhtml)
- 结论依据:原文明确"速度层视图只需要表示还没有被批量计算工作流所处理的数据。一旦批量计算运行结束,你就可以丢弃部分速度层视图——被服务层吸收的部分",并给出交替维护两组实时视图、按批处理层完成进度轮流清空的具体过期方案。
- 原始内容:因为更简单的批处理层和服务层不断覆盖速度层,所以速度层视图只需要表示还没有被批量计算工作流所处理的数据。一旦批量计算运行结束,你就可以丢弃部分速度层视图——被服务层吸收的部分——但显然你必须保留其他所有数据……速度层视图只代表数据的很小一部分——最多几个小时的数据。