知识卡片
去重窗口先合并寄存器再计数
跨天统计同一设备的不同用户数,不能把每天的去重人数直接相加,因为同一用户可能多天出现。可为每个日桶保存一个 HyperLogLog:事件到来时加入对应桶;查询三十天时先合并各桶寄存器,再估计合并后的基数。书中用临时键承载合并结果,查询后删除;这是近似去重,须接受估计误差并管理临时状态。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第5章5.2.2《一度关联特征计算》(源文件:_epub-src/OEBPS/Text/chapter80.xhtml)
- 结论依据:原文按日对用户 ID 执行 PFADD,查询时对三十个桶执行 PFMERGE 与 PFCOUNT,并删除临时寄存器;跨桶重复用户不能用各桶基数求和消除。
- 原始内容:由于更新计算是对子时间窗口上的Hyperloglog寄存器进行更新,因此在查询时需要对各个子时间窗口上的Hyperloglog寄存器做汇总。……上面的伪代码使用Redis的PFMERGE指令,将过去30个子窗口的设备不同用户数Hyperloglog寄存器值合并起来,结果保存在临时寄存器$count_key内,然后用PFCOUNT指令根据临时寄存器的值,估计出整个窗口上不同值的个数