知识卡片

普通读书笔记卡 · 3101.f

最后出现时间支持精确窗口去重

理解等级:高级

若目标只是统计窗口内出现过多少不同用户,可为每个“设备+用户”保存最后一次出现时间;再次登录只更新时间。查询时统计最后时间落在窗口内的记录,即得到精确去重人数,不必保存该用户每次登录。它适合不同取值数量较小、允许按用户保存记录的场景;高势数据则可能更适合[[去重窗口先合并寄存器再计数]]的近似方案。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第5章5.3.2《一度关联特征计算》(源文件:_epub-src/OEBPS/Text/chapter83.xhtml) - 结论依据:原文为每个设备上的用户保留一条记录并更新最后登录时间,随后按窗口计数;示例 SQL 的起止时间条件写错,不能照搬。 - 原始内容:如果是新用户登录,就为其创建一个登录记录。如果是用户再次登录,就将其登录记录里的时间修改为本次登录时间。……由于窗口内只保留用户的最后一次登录信息,所以只需要使用count函数计算窗口内的记录总数即可