← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.12.f

流式获取的六个关注点

理解等级:中级

模式演进:字段增删、类型变化(如字符串变整型)很常见,例如物联网设备固件更新增加字段、第三方 API 改了负载。缓解:① 用模式注册表做版本管理;② 用死信队列检查未正确处理的事件;③ 最有效的是定期与上游利益相关者沟通,与引入变化的团队一起主动解决,而不是只在接收端被动应对。

迟到数据:同一时间段发生的事件,可能因网络延迟等原因晚到。若把获取或处理时间当作事件时间,依赖准确事件时间的报告会得出奇怪结果。处理方法:设置截止时间,过了截止时间的迟到数据不再处理。

顺序和重复:分布式流平台中消息可能乱序,也可能被多次传输(至少一次交付)。

重放:消费者可以请求一段历史消息,把事件倒回到过去某个时间点重新获取和处理。RabbitMQ 通常在所有订阅者消费后删除消息;Kafka、Kinesis、Pub/Sub 支持保留和重放。

生存时间(TTL):未确认事件保存多久,过期自动消失,减少背压。太短(毫秒、秒)会让大多数消息在处理前消失;太长(周、月)会造成大量积压和长时间等待。Pub/Sub 最长 7 天,Kinesis 可到 365 天,Kafka 可无限期(受磁盘限制,或写入对象存储)。

消息大小:确保流框架能处理预期最大的消息——Kinesis 最大 1MB,Kafka 默认也是 1MB、可配置到 20MB 或更大。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.4 消息和流获取的考虑因素(7.4.1–7.4.6)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.4.1–7.4.6节说明流式获取中的模式演进及三种缓解办法、迟到数据与截止时间、乱序与重复、重放、生存时间的平衡以及消息大小限制。 - 原始内容:为了处理迟到的数据,你需要设置一个截止时间,即迟到的数据将不再被处理。