返回主题:数据集成与分拆:一份真源与多份衍生

知识卡片

普通读书笔记卡 · 2721.a

数据闭环四步

理解等级:未标注

数据闭环指数据都在自己系统中维护、不依赖其他系统,别人抖动不影响自己。四步:数据异构,把依赖系统的数据拿过来存一份;数据原子化,保持最小粒度不加工,便于以后重新组合;数据聚合,按展示需要合成一份 JSON,前端一次取全;数据存储,选兼顾容量与性能的存储,并用 Hash Tag 让关联数据落在同一分片。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《亿级流量网站架构核心技术》第16章《构建需求响应式亿级商品详情页》"16.6.1 数据闭环"(源文件:_epub-src/EPUB/text00002.html,navPoint playOrder 292) - 结论依据:原文说明"数据闭环即数据的自我管理,或者说是数据都在自己系统里维护,不依赖于任何其他系统……数据异构,这是数据闭环的第一步……数据原子化,数据异构的数据是原子化数据,这样未来我们可以对这些数据再加工再处理,从而响应变化的需求。数据聚合,将多个原子数据聚合为一个大JSON数据,这样前端展示只需要一次获取……数据存储,我们使用JIMDB、Redis加持久化存储引擎",直接支撑本卡片结论。 - 原始内容:数据闭环即数据的自我管理,或者说是数据都在自己系统里维护,不依赖于任何其他系统,即去依赖化这样的好处是别人抖动不会影响到我。数据闭环包括下面几个方面……数据原子化……数据聚合……数据存储……我们使用Hash Tag机制把相关的数据哈希到同一个分片,这样使用mget时不需要跨分片合并。