知识卡片
存算分离为何仍要混合
主机托管(存算一体):长期以来提升性能的标准做法。事务库靠它获得低延迟高带宽;HDFS + MapReduce 把 map 作业推到数据块所在节点本地扫描,减少需要 shuffle 的数据量。
为什么还要分离: - 短暂性和可扩展性:只有 24 小时不停跑好几年,自购服务器才比租云便宜;实际负载波动很大,按需伸缩效率高。短暂集群可以超大规模按时完成任务再删除,其性能优势能超过对象存储的带宽限制; - 耐久性和可用性:对象存储多区存储,一个区毁了数据仍可用,资源故障可在别的区重启。误配置破坏数据的风险可通过跨区域甚至跨云复制缓解,因为配置变更通常一次只部署一个区域。
现实是混合:两种方式——多层缓存(对象存储做长期保留,查询和管道各阶段用本地存储)和混合对象存储。例子: - EMR:在 SSD 上建临时 HDFS,从 S3 拉数据、中间结果存本地 HDFS,完成后结果写回 S3、删除集群; - Spark:依赖 HDFS 等短暂文件系统和大量内存,云上可租大内存用完即还; - Druid:集群 SSD 只存一份数据(实时存储成本降为三分之一),用对象存储做持久层,节点故障可自动恢复; - BigQuery 借助 Colossus 控制块位置,S3 Select 在集群内先过滤——混合对象存储。
零拷贝克隆:创建新的虚拟副本(新表)而不物理复制,只建立指向原数据文件的指针,像浅拷贝。风险:在数据湖中克隆后删除原对象的文件,可能连新对象一起抹掉。删除底层原始文件前要非常谨慎;深度复制更贵但更稳健。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
例如,在数据湖环境中克隆一个对象,然后删除原对象中的文件,可能也会抹去新对象。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.4.4 计算与存储的分离(主机托管;分离;混合分离和主机托管;零拷贝克隆)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:6.4.4节说明存算一体的性能原理、转向分离的短暂性与耐久性动机、通过多层缓存和混合对象存储混合两者的EMR、Spark、Druid、BigQuery案例,以及零拷贝克隆的浅拷贝风险。
- 原始内容:例如,在数据湖环境中克隆一个对象,然后删除原对象中的文件,可能也会抹去新对象。