知识卡片
存储的三层视角
存储无处不在:数据在生命周期中移动时会被多次存储,无论几秒后还是几年后被需要,都必须在存储中持续存在。了解数据如何被使用、将来如何检索,是选择存储方案的第一步。
本章把存储分成三层来看(图 6-2): 1. 原材料:磁盘、SSD、内存,以及网络、CPU、序列化、压缩、缓存; 2. 存储系统:建立在原材料之上的抽象,如单机/分布式存储、文件存储、块存储、对象存储、HDFS、流式存储; 3. 存储抽象:由存储系统组装成的数据仓库、数据湖、湖仓一体、数据平台等。
作者惊讶于许多每天用存储的工程师几乎不了解其幕后机制和各种介质的内在权衡,结果存储被用在一些“相当……有趣的地方”。即使托管服务免去了管理服务器的复杂性,数据工程师仍需了解底层组件的基本特征、性能、耐久性和成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
了解数据的使用情况和你将来检索它的方式是为你的数据架构选择合适的存储解决方案的第一步。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》第6章导语;6.1 数据存储的原材料(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:第6章导语说明存储贯穿生命周期、选择存储从了解使用和检索方式开始,并提出原材料、存储系统、存储抽象三层视角;6.1节导语强调工程师仍需理解底层介质的权衡。
- 原始内容:了解数据的使用情况和你将来检索它的方式是为你的数据架构选择合适的存储解决方案的第一步。