知识卡片

普通读书笔记卡 · 3990

BookKeeper写入模型

理解等级:中级

BookKeeper把元数据与Entry存储分开:Ledger元数据保存在ZooKeeper等元数据服务,Entry写到bookie。创建Ledger时,客户端按放置策略选择大小为E的Ensemble;每条Entry只写入其中大小为Qw的write quorum,并在其中Qa个bookie持久化确认后向客户端确认,参数满足E ≥ Qw ≥ Qa。因此不能把实现固定描述成“写给所有Ensemble节点、收到大多数确认”;复制范围和完成条件都由Ledger配置决定。

Entry ID单调递增,客户端可以流水线发送后续Entry,但只在更小ID已经确认后按序向应用确认,从而维持日志顺序。某个bookie没有确认时,Writer通过元数据CAS创建新fragment,用新的Ensemble替换故障节点并从首个未确认Entry继续。这个流程用write quorum控制复制、用ack quorum定义完成、用Ensemble Change处理存储节点故障;写者接管与读取边界另见[[Fencing与LAC分工]]。

Striping可让相邻Entry落到Ensemble内不同的write quorum,从而并行利用bookie;但单Ledger吞吐仍同时受Write Proxy网卡、bookie磁盘与网络、Qw/Qa配置及副本开销限制。增大Ensemble只是扩大可并行范围,不能直接等同于吞吐按节点数线性增长。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第1章《高可用架构案例精选》"1.1 Twitter高性能分布式日志系统架构解析"节,"1.1.3 基于Apache BookKeeper构建DistributeLog"(源文件:_epub-src/OEBPS/Text/Chapter1_1_4.xhtml) - 结论依据:原文支持Ledger、Ensemble、流水线追加和故障时更换bookie;正文按官方协议把原文笼统的“所有节点/大多数”校正为可配置的`Qw`与`Qa`。 - 补充位置:同章“1.1.5 疑问与解惑”(源文件:_epub-src/OEBPS/Text/Chapter1_1_6.xhtml)给出`E=6、Qw=3、Qa=2`的Striping例子,并指出吞吐还受Write Proxy带宽、bookie带宽和副本数约束。 - 外部核验:[Apache BookKeeper协议](https://bookkeeper.apache.org/docs/development/protocol/)定义`E ≥ Qw ≥ Qa`、Entry的write quorum与ack quorum,并说明未获确认时通过元数据CAS建立新fragment。 - 原始内容:如果Ensemble里存活的bookie不能构成大多数,Client会进行一个Ensemble Change……Ensemble Change将从bookie Pool中根据数据放置策略挑选出额外的bookie来取代那些不存活的bookie……通过Ensemble Change操作,Apache BookKeeper保证了写操作的高可用性。