← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1673.e.2

一致性是技术也是组织问题

理解等级:中级

分布式存储协调多台服务器,以更快速度、更大规模存储和处理数据,并在单台不可用时提供冗余。对象存储、Spark、云数仓都依赖它。数据工程师必须时刻意识到其一致性范式——复制变更需要时间,总是在“当前数据”和“差不多是当前数据”之间权衡。

BASE(ACID 的反面,最终一致性的基础): - 基本可用:尽力而为地读写,大多数时候一致; - 软状态:事务状态模糊,不确定已提交还是未提交; - 最终一致:在某些时候读取会返回一致的值。

为何容忍最终一致:想要横向扩展处理大量数据,最终一致性往往是要付出的代价,它允许快速检索而无需确认所有节点都有最新版本。强一致性确保写入先在节点间分发、任何读取都返回一致值,适用于能容忍更高延迟、要求每次读到正确数据的场景。

决定一致性的三个层面:数据库技术本身、数据库配置参数、单个查询级别的设置(如 DynamoDB 支持最终一致读和强一致读,后者更慢更耗资源,应少用但在需要时使用)。

一致性既是技术问题,也是组织问题:数据工程师可能需要与技术和业务利益相关者协商一致性要求,先收集需求再选技术。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.2.1 单机存储和分布式存储;6.2.2 最终一致性和强一致性(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources) - 结论依据:6.2.1节介绍分布式存储的作用;6.2.2节解释BASE三要素、最终一致性的取舍、强一致性的适用场景、决定一致性的三个层面,并指出一致性需要与利益相关者协商。 - 原始内容:请注意,这既是一个技术问题,也是一个组织问题。