知识卡片
微博语义按用户分层聚合
实时语义处理先以微博 ID 存单条内容的焦点词和分类;数据量超过阈值后,再按用户 ID 合并到用户级表示。用户不活跃时,把当日表示与历史兴趣合并,并加入时间衰减后写入持久存储。分层聚合在即时更新与存储规模之间取舍;阈值和衰减强度需依据负载及兴趣变化速度确定。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第3篇《微博用户兴趣建模系统架构》“二、实时抽取系统”(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文明确描述单条 Feed 语义表示按微博 ID 写入 Redis,超阈值按 UID 合并为用户表示,随后在不活跃时段结合时间衰减更新 MySQL 历史兴趣。
- 原始内容:当大小超出一定范围时,即将微博数据根据用户ID进行合并进入“User语义表示Redis数据库”。……在用户不活跃时段,系统会将“User语义表示Redis数据库”的内容和保存在MySQL中的用户历史兴趣信息进行合并,在合并时会考虑时间衰减因素