知识卡片
新数据到达时增量处理
历史数据达4 EB、每分钟新增5 TB时,周末全量扫描难以承担。把相关性检查放在新数据进入目录时,以持久上下文做增量判断,可避免反复重扫全部存量;案例强调处理时机与数据规模的关系。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第07章 数据发现数据 · 查看原书依据
意识的溪流胜过沸腾的海洋。想象这一点的一种清晰的方式是想象一个企业组织有4 exabytes(1 exabytes=216字节)的历史数据,每分钟接收5TB的数据。你觉得他们是在周末启动一个进程,用来发现发生的事吗?在整个地球上,可能没有足够的计算机或者能源来做这件事。(注意:规模上设想的行为在设计
参考来源
- 位置:《数据之美》第7章《数据发现数据》(源文件:`../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0348.xhtml`)
- 结论依据:原文说明新观察与历史记录按预设兴趣条件匹配、目录如何提供可扩展的持久上下文,以及增量检测相对全量扫描的规模约束;警报只支持调查优先级,不构成犯罪证明。
- 原始内容:4 exabytes(1 exabytes=2 16 字节)的历史数据/每分钟接收5TB的数据