知识卡片
死信队列隔离坏事件
死信队列:事件可能因消息超大、超过生存时间、发往不存在的主题等原因无法被获取。这些事件需要被重新路由到一个单独位置——死信队列。
作用: - 把有问题的事件和能正确获取的事件分开,否则坏事件可能阻碍其他消息的获取; - 工程师据此诊断获取错误的原因、解决管道问题; - 找到并修复根因后,重新处理队列中的消息。
消费者推送与拉取:Kafka、Kinesis 只支持拉取式订阅——订阅者读取消息、处理后确认;Pub/Sub、RabbitMQ 还支持推送式订阅,把消息写到监听器。拉取是大多数数据工程应用的默认选择;纯拉取系统加一层也能实现推送。
位置:通常集成来自不同位置的数据流以增强冗余,并在靠近数据生成的地方消费——获取点离数据源越近,带宽和延迟越好。但要平衡把数据跨区域移动到一起做分析的成本,网络流量费用可能迅速飙升。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 获取
原书出处 · 1 处
- 第7章 获取 · 查看原书依据
死信队列将有问题的事件和消费者可以正确获取的事件分开(如图7-12所示)。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.4.7 错误处理和死信队列;7.4.8 消费者的推送和拉取;7.4.9 位置(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources)
- 结论依据:7.4.7节介绍死信队列隔离、诊断和重处理问题事件的作用;7.4.8节对比拉取与推送式订阅;7.4.9节讨论就近获取与跨区域流量成本的权衡。
- 原始内容:死信队列将有问题的事件和消费者可以正确获取的事件分开(如图7-12所示)。