知识卡片
推荐架构从离线耦合转向实时
“架构不是设计出来的,架构是进化出来的”——推荐平台的两代架构印证了这句话:不是先想清楚 终态再实现,而是每一代都在暴露出的具体问题上被迫演进。第一代架构(2009年)走的是离线 批量路线:数据以文件方式离线传输,在分布式计算平台里批量暴力计算好全部预测结果,前端 查询时直接查表返回。它有三个致命缺陷:一是系统高度耦合,从数据产生到数据使用几乎是一条 硬编码的链路,产品有多少节点就把数据切多少份,牵一发动全身;二是离线文件传输导致约2 小时的端到端延迟,经常算出来的广告推荐结果对应的广告早已下线;三是数据要跨地域传送 (如天津走联通、上海走电信),走公网导致大量不可控故障。真正压垮第一代架构的是2010年 收购另一家公司后,用户/广告位/广告三者的组合计算量暴增约60万倍——原有的”全量暴力计算 后再查表”策略在这个规模下彻底不可行,因为其中大部分计算结果用户根本不会用到,纯属浪费。 第二代架构(2010起)的核心变化是把”离线批量传输”换成”实时接入+流式计算”,计算结果落地 到分布式cache里,用户请求来时才实时调用预测算法查cache——生产者(流式计算)和消费者 (推荐引擎)之间用分布式cache解耦,不再是一条硬编码链路,换来秒级延迟和可独立扩容的 架构。
结构图:
flowchart LR
A[第一代: 离线批量传输] --> B[分布式计算批量暴力计算]
B --> C[结果落表, 前端直接查询]
C -.高耦合/2小时延迟/跨地域公网不可控.-> D[规模暴增60万倍后不可行]
D -->|重构| E[第二代: 实时接入]
E --> F[流式计算]
F --> G[结果落分布式cache]
G -->|生产者消费者靠cache解耦| H[推荐引擎实时查询预测]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第2篇《腾讯个性化精准推荐平台架构》"二、腾讯精准
推荐发展历程"(源文件:_epub-src/OEBPS/text00010.html)
- 结论依据:原文详述第一代架构的高耦合、2小时延迟、跨地域公网故障三大缺陷,说明收购
后计算量暴增60万倍导致原有暴力计算法不可行,进而重构为实时接入+流式计算+分布式cache
的第二代架构,直接支撑本卡片的演进结构梳理。
- 原始内容:这个架构其实有非常不合理的地方:第一就是系统高度耦合……第二因为是离线的
文件传输,所以延迟很厉害,整个过程下来大概延迟2小时……意味着计算量会增大60万倍,
所以意味着原来那种暴力的办法没法完成了……跟之前不同的地方在于,原来的离线文件传输
现在变成了实时接入……最重要的一点是低耦合,数据的产生者跟数据的消费者通过一个分布式
cache解耦开了。