← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1769.c.4

别假设消息有序

理解等级:中级

消息队列:用发布订阅模式在离散系统之间异步发送小消息(千字节级),订阅者确认后消息从队列删除。它让系统相互解耦,缓冲瞬时负载高峰,并通过分布式复制让消息持久,是微服务和事件驱动架构的关键要素。流数据往往横跨生命周期多个阶段:同一个事件流平台既可做源系统的消息传递,也可在获取、转换阶段做实时分析。

三个注意点: 1. 顺序:严格 FIFO 指 A 先于 B 获取就总先于 B 交付;但在高度分布式系统中消息可能乱序发布和接收(如 SQS 标准队列只“尽力”保序,FIFO 队列以额外开销换更强保证)。除非队列技术明确保证,否则不要假设消息按顺序交付,架构上要能处理乱序; 2. 交付频率:恰好一次 vs 至少一次。作者指出,从技术上讲恰好一次无法保证(二将军问题); 3. 幂等:理想的系统应该幂等——处理一次与处理多次结果相同。即使队列能做到恰好一次交付,消费者也可能在确认前失败,导致消息实际被处理两次,幂等系统能优雅应对。

可扩展性的代价:主流消息队列可横向扩展、动态伸缩、在系统落后时缓冲并持久存储消息,但这也带来多次交付和模糊排序等复杂性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.3.5 消息队列和事件流平台(消息队列:消息的排序和交付、发送频率、可扩展性)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources) - 结论依据:5.3.5节说明消息队列的解耦与缓冲作用,以及排序(不可假定有序)、交付频率(恰好一次难以保证)、幂等和可扩展性带来的复杂性。 - 原始内容:一般来说,除非你的消息队列技术保证,否则不要假设你的消息会按顺序交付。