← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2313.e.5.f.10.c.1.c.2.e.1.a

死信队列隔离坏事件

理解等级:中级

死信队列:事件可能因消息超大、超过生存时间、发往不存在的主题等原因无法被获取。这些事件需要被重新路由到一个单独位置——死信队列。

作用: - 把有问题的事件和能正确获取的事件分开,否则坏事件可能阻碍其他消息的获取; - 工程师据此诊断获取错误的原因、解决管道问题; - 找到并修复根因后,重新处理队列中的消息。

消费者推送与拉取:Kafka、Kinesis 只支持拉取式订阅——订阅者读取消息、处理后确认;Pub/Sub、RabbitMQ 还支持推送式订阅,把消息写到监听器。拉取是大多数数据工程应用的默认选择;纯拉取系统加一层也能实现推送。

位置:通常集成来自不同位置的数据流以增强冗余,并在靠近数据生成的地方消费——获取点离数据源越近,带宽和延迟越好。但要平衡把数据跨区域移动到一起做分析的成本,网络流量费用可能迅速飙升。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.4.7 错误处理和死信队列;7.4.8 消费者的推送和拉取;7.4.9 位置(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.4.7节介绍死信队列隔离、诊断和重处理问题事件的作用;7.4.8节对比拉取与推送式订阅;7.4.9节讨论就近获取与跨区域流量成本的权衡。 - 原始内容:死信队列将有问题的事件和消费者可以正确获取的事件分开(如图7-12所示)。