知识卡片

普通读书笔记卡 · 5304.d.5

Spotify事件交付的SLO

理解等级:中级

事件交付系统:用户收听歌曲、点击广告、关注播放列表都会产生“事件”,Spotify 每天捕获数千亿个事件,用于 A/B 测试分析、播放计数、个性化推荐——更重要的是按交付的事件向艺术家支付版税,所以必须可靠。几乎所有数据处理都直接或间接依赖它。

接口:每小时存储桶:交付的事件按类型和发布时间分区,某小时发布的事件存入 GCS 上该小时的目录(再按事件类型分目录),简化了访问控制、所有权、保留和使用。每小时存储桶是数据作业与事件交付系统的唯一接口,所以 SLO 也按每种事件类型的每小时桶交付来定义。

架构:用全球分布的持久队列 Cloud Pub/Sub 把数据收集与数据交付解耦,二者成为独立的故障域。事件类型完全隔离——每种类型发布到自己的主题,由专属的 ETL 实例处理:一个微服务消费事件流,另一个把事件分配到小时分区,Dataproc 上的批作业去重后写入 GCS 最终位置——每个组件单一职责,易开发、测试和运维。客户(其他工程团队)用简单配置自行启用或禁用某类事件的交付,微服务据此动态申请和释放 GCE 资源;新类型需要多少资源事先不知道,用 GCE 自动扩缩器。

SLO 的三个用处:指导设计与开发;上线后定位哪里表现不佳;设定客户期望、减少不必要的支持请求,让客户据此设计自己的系统。

三种 SLO(用独立的外部系统 Datamon 测量,尽量客观): - 及时性:每小时桶交付的最大延迟——桶实际关闭时间与理论上最早可关闭时间之差(13 点的桶在 14:53 关闭,延迟 53 分钟);下游作业要等所依赖的桶交付后才开始,所以分高、普通、低三档优先级,由客户为事件类型配置; - 偏斜度:每天可能放错桶的数据最大比例——判断何时关闭一个小时桶靠启发式,未及时交付的事件可能落进后面的桶,让作业先低估再高估; - 完整性:成功发布到系统的事件中被交付的比例——新版本 bug、云服务故障、开发者误删都会丢事件。 偏斜度和完整性只对涉及财务的事件提供 SLO(由客户配置),其余事件尽力交付;每天由内部审计系统比较已发布与已交付事件数报告。事件按服务器接收时间而非客户端生成时间分桶——离线模式下客户端最多缓冲 30 天,用户还可能改设备时间。不对事件内容的质量和准确性承诺 SLO——那取决于拥有业务逻辑的客户;比喻:事件交付像邮政服务,信要按时、完整送达。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第13章《第13章 数据处理管道》13 案例分析:Spotify(事件交付;设计和架构;事件传递系统运维)(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/19.html,来源项目 book-sources) - 结论依据:第13章Spotify案例说明事件交付系统每天处理数千亿事件并用于支付版税,以GCS每小时桶为唯一接口,用Pub/Sub解耦收集与交付、按事件类型隔离ETL,定义及时性(分三档)、偏斜度、完整性三种SLO(后两者仅对财务事件),按服务器时间分桶,且不对数据内容质量承诺SLO。 - 原始内容:我们为客户提供用于事件传递系统的三种SLO类型:及时性,完整性和偏度(接下来讨论)。