知识卡片

普通读书笔记卡 · 2801.b

按主键哈希分发

理解等级:未标注

高峰期要用多个 MQ 消费端接数据,默认情况下同一用户在几秒内的多条行为会分散到不同消费端,违背“单位时间内同一用户的行为集中计算”的原则。书中的做法是:收集节点按用户 ID 等主键做哈希(MurmurHash),映射到固定管理节点的队列,保证同一主键的数据都发往同一节点;若该节点异常,则随机改发其他正常节点,尽量不丢数据。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第3章《light_drtc核心技术实现》(源文件:_epub-src/OEBPS/Text/chapter5_0002.xhtml) - 结论依据:原文说明多个MQ消费端默认会把同一用户的多条行为分散到不同消费端,违背“单位时间内单个用户行为要集中计算”的原则;CN按主键用MurmurHash映射到对应AN的本地队列,保证共享主键的数据都发往同一个AN;AN异常时数据随机发往其他正常AN以免丢失。 - 原始内容:这样就会与作者计算设计原则(单位时间内单个用户行为要集中在一起计算)相背离。……上述流程即可保证实时数据流中的每条共享主键值的数据都会发往同一个AN。