知识卡片
流分区键防热点
事件流平台与消息队列的区别:消息队列主要以一定交付保证传递消息;事件流平台用来获取和处理有序记录,数据会保留一段时间,并能从过去某个时间点重放。事件由键、值、时间戳构成。
主题:相关事件的集合(欺诈告警、客户订单、温度读数),可以有零到多个生产者和消费者。例如 web orders 主题同时被 fulfillment(触发履约流程)和 marketing(实时分析、训练 ML 调整营销)消费——这正是分析与事件驱动系统界限模糊的例子。
流分区:把一条流细分成多条,像多车道高速公路,实现并行和更高吞吐。消息按分区键分配,相同分区键总进入同一分区。要让应该一起处理的消息具有相同分区键,例如物联网场景用设备 ID 做分区键,让同一设备的消息由同一服务器消费。
关键问题是热点:如果用设备所在的州做分区键,而分布与人口成正比,加州、得州、佛州、纽约的分区会被淹没,其他分区闲置。分区键要让消息在各分区间均匀分布。
容错与弹性:流存储在多个节点上,一个节点坏了另一个接替,记录不会丢失,适合需要可靠生产、存储和获取事件数据的场景。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 源系统中的数据生成 · 查看原书依据
流分区的一个关键问题是确保你的分区键不会产生热点,即交付给一个分区的消息数量不平均。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.3.5 消息队列和事件流平台(事件流平台:主题、流分区、容错性和弹性)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources)
- 结论依据:5.3.5节事件流平台部分说明其与消息队列的区别(有序保留、可重放),介绍主题、流分区与分区键选择、热点问题,以及容错与弹性。
- 原始内容:流分区的一个关键问题是确保你的分区键不会产生热点,即交付给一个分区的消息数量不平均。