知识卡片

粒度决定弹性

普通读书笔记卡 · 1784.a

内容

主数据集应保存足够细粒度的事实,而不是过早保存面向某个查询的汇总。粒度越接近事件本身,未来构造新视图的空间越大;过早汇总会把暂时需求固化成永久限制。

参考来源

- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第2章《大数据的数据模型》"2.1.1 数据是原始的"一节(源文件:_epub-src/OEBPS/Text/020.xhtml) - 结论依据:原文以Google/Apple/Amazon股价数据为例,说明按天汇总的粗粒度数据掩盖了当天事件的因果关系,而"如果可以访问以更细时间粒度存储的数据,你就能得到关于那一天所发生事件更清晰的总体图像",并总结"存储原始数据有巨大的价值,因为你很少提前想好所有问题的答案……汇聚、重写或删除信息限制了数据可以告诉你答案的数量"。 - 原始内容:但是如果可以访问以更细时间粒度存储的数据,你就能得到关于那一天所发生事件更清晰的总体图像,并据此进一步探究潜在的因果关系……存储原始数据有巨大的价值,因为你很少提前想好所有问题的答案。通过尽可能地保存原始数据,你可以充分利用自己的能力来获得新的见解,因为汇聚、重写或删除信息限制了数据可以告诉你答案的数量。