知识卡片

普通读书笔记卡 · 2280.h.1.a.10.j

流分区键防热点

理解等级:中级

事件流平台与消息队列的区别:消息队列主要以一定交付保证传递消息;事件流平台用来获取和处理有序记录,数据会保留一段时间,并能从过去某个时间点重放。事件由键、值、时间戳构成。

主题:相关事件的集合(欺诈告警、客户订单、温度读数),可以有零到多个生产者和消费者。例如 web orders 主题同时被 fulfillment(触发履约流程)和 marketing(实时分析、训练 ML 调整营销)消费——这正是分析与事件驱动系统界限模糊的例子。

流分区:把一条流细分成多条,像多车道高速公路,实现并行和更高吞吐。消息按分区键分配,相同分区键总进入同一分区。要让应该一起处理的消息具有相同分区键,例如物联网场景用设备 ID 做分区键,让同一设备的消息由同一服务器消费。

关键问题是热点:如果用设备所在的州做分区键,而分布与人口成正比,加州、得州、佛州、纽约的分区会被淹没,其他分区闲置。分区键要让消息在各分区间均匀分布。

容错与弹性:流存储在多个节点上,一个节点坏了另一个接替,记录不会丢失,适合需要可靠生产、存储和获取事件数据的场景。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.3.5 消息队列和事件流平台(事件流平台:主题、流分区、容错性和弹性)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources) - 结论依据:5.3.5节事件流平台部分说明其与消息队列的区别(有序保留、可重放),介绍主题、流分区与分区键选择、热点问题,以及容错与弹性。 - 原始内容:流分区的一个关键问题是确保你的分区键不会产生热点,即交付给一个分区的消息数量不平均。