知识卡片

普通读书笔记卡

微博语义按用户分层聚合

理解等级:中级

实时语义处理先以微博 ID 存单条内容的焦点词和分类;数据量超过阈值后,再按用户 ID 合并到用户级表示。用户不活跃时,把当日表示与历史兴趣合并,并加入时间衰减后写入持久存储。分层聚合在即时更新与存储规模之间取舍;阈值和衰减强度需依据负载及兴趣变化速度确定。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第3篇《微博用户兴趣建模系统架构》“二、实时抽取系统”(源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文明确描述单条 Feed 语义表示按微博 ID 写入 Redis,超阈值按 UID 合并为用户表示,随后在不活跃时段结合时间衰减更新 MySQL 历史兴趣。 - 原始内容:当大小超出一定范围时,即将微博数据根据用户ID进行合并进入“User语义表示Redis数据库”。……在用户不活跃时段,系统会将“User语义表示Redis数据库”的内容和保存在MySQL中的用户历史兴趣信息进行合并,在合并时会考虑时间衰减因素