知识卡片
存储的底层设计要点
你和谁一起工作:存储是数据工程基础设施的核心,要与 DevOps、安全、云架构师合作,界定责任范围——数据工程师能否在 AWS 账户中自行部署基础设施?早期公司数据工程师可能管理整个存储系统,成熟公司可能只管一部分。无论如何,要确保下游使用的存储安全可用、数据质量高、容量充足、查询和转换时性能达标。
底层设计(存储无处不在,是生命周期各阶段的枢纽): - 安全是促成因素而非障碍:强大的静态与传输安全、细粒度访问控制让数据能在企业内部更广泛地共享,数据价值随之大增。坚持最小权限,大多数数据工程师并不需要完全的数据库访问;注意列、行、单元格级访问控制; - 数据管理:投资元数据——数据目录支持数据发现,血缘加快追踪问题;对象存储的版本管理可在进程失败和数据损坏时恢复,也能像代码版本控制追踪 bug 一样,追踪导致模型性能下降的数据变化;隐私法规要求能响应删除请求、做匿名化和屏蔽; - DataOps:监控存储基础设施和无服务器系统,在 FinOps、安全和访问监控上发挥主导作用;监控数据统计、做异常检测、验证逻辑一致性; - 数据架构:设计所需的可靠性和耐久性;了解上游来源和下游查询;对 FinOps 积极,不要过早优化,但有商业机会时要为规模做准备;倾向全托管系统并了解供应商 SLA; - 编排:存储让数据在管道中流动,编排是泵; - 软件工程:代码要正确存储数据、避免泄漏和性能问题;把存储基础设施定义为代码,用短暂计算处理数据,数据留在对象存储,避免存储与查询层耦合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
虽然工程师们经常认为安全是他们工作的障碍,但他们应该接受安全是一个关键的促成因素的想法。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.5 你和谁一起工作;6.6 底层设计(6.6.1–6.6.6);6.7 总结(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:6.5节说明与基础设施团队界定存储职责;6.6节从安全(促成因素与最小权限)、数据管理(元数据、版本、隐私)、DataOps、数据架构、编排、软件工程六方面阐述存储的底层设计;6.7节总结。
- 原始内容:虽然工程师们经常认为安全是他们工作的障碍,但他们应该接受安全是一个关键的促成因素的想法。