知识卡片
微博兴趣实时抽取与离线优化
微博用户兴趣建模系统由实时系统和离线挖掘系统两个职责完全不同的子系统构成,两者面对 的是同一份数据但解决不同的问题。实时系统的职责是”来得及”:每当用户发布新微博,这条 微博就进入Feed流队列,通过Round Robin按发布者UID分发到分布式集群的不同机器上处理, 并用Master/Slave机器组配合监控系统做故障切换,保证单机故障不影响整体服务——它要做的 是尽快把新内容转成兴趣词和分类,不追求精准。离线挖掘系统的职责是”提纯”:构建在Hadoop 之上用MapReduce跑挖掘算法,专门处理实时系统积累下来但混有噪声的兴趣词(用户随手转发 的抽奖微博并不代表真实兴趣),目标是把不能代表个人兴趣的内容过滤掉。这种”实时系统先 快速摄入、离线系统再批量提纯”的两阶段分工,本质是把”时效性”和”准确性”这两个互相牵制 的目标拆给两个独立子系统各自负责,而不是试图用一套系统同时满足两者。
结构图:
flowchart TD
A[用户发布微博] --> B[实时Feed流队列]
B -->|Round Robin按UID分发| C[分布式实时系统<br/>Master/Slave容错]
C --> D[语义处理: 分词/焦点词抽取/微博分类]
D --> E[Feed语义表示Redis]
E -->|规模超阈值按UID合并| F[User语义表示Redis]
F -->|不活跃时段+时间衰减合并| G[MySQL历史兴趣数据]
G -->|离线批量提纯| H[Hadoop MapReduce离线挖掘系统]
H -->|过滤噪声, 保留真实兴趣词| G
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第3篇《微博用户兴趣建模系统架构》"一、微博用户兴趣
建模系统整体架构"、"二、实时抽取系统"及"三、离线挖掘系统"(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文说明系统由实时系统和离线挖掘系统构成,实时系统需要及时抽取兴趣词、
离线挖掘系统的目的是优化用户兴趣系统效果、过滤不能代表个人兴趣的噪声内容,直接支撑
本卡片关于两阶段职责分工的结构梳理。
- 原始内容:微博用户兴趣建模系统整体架构……由实时系统和离线挖掘系统两个子系统构成。
因为每时每刻都有大量微博用户发布新的微博,实时系统需要及时抽取兴趣词和用户兴趣分类,
而离线挖掘系统的目的则是优化用户兴趣系统效果。