知识卡片

普通读书笔记卡 · 3101.c

去重窗口先合并寄存器再计数

理解等级:中级

跨天统计同一设备的不同用户数,不能把每天的去重人数直接相加,因为同一用户可能多天出现。可为每个日桶保存一个 HyperLogLog:事件到来时加入对应桶;查询三十天时先合并各桶寄存器,再估计合并后的基数。书中用临时键承载合并结果,查询后删除;这是近似去重,须接受估计误差并管理临时状态。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第5章5.2.2《一度关联特征计算》(源文件:_epub-src/OEBPS/Text/chapter80.xhtml) - 结论依据:原文按日对用户 ID 执行 PFADD,查询时对三十个桶执行 PFMERGE 与 PFCOUNT,并删除临时寄存器;跨桶重复用户不能用各桶基数求和消除。 - 原始内容:由于更新计算是对子时间窗口上的Hyperloglog寄存器进行更新,因此在查询时需要对各个子时间窗口上的Hyperloglog寄存器做汇总。……上面的伪代码使用Redis的PFMERGE指令,将过去30个子窗口的设备不同用户数Hyperloglog寄存器值合并起来,结果保存在临时寄存器$count_key内,然后用PFCOUNT指令根据临时寄存器的值,估计出整个窗口上不同值的个数