知识卡片

结构图卡 · 2800.d

推荐架构从离线耦合转向实时

理解等级:未标注

“架构不是设计出来的,架构是进化出来的”——推荐平台的两代架构印证了这句话:不是先想清楚 终态再实现,而是每一代都在暴露出的具体问题上被迫演进。第一代架构(2009年)走的是离线 批量路线:数据以文件方式离线传输,在分布式计算平台里批量暴力计算好全部预测结果,前端 查询时直接查表返回。它有三个致命缺陷:一是系统高度耦合,从数据产生到数据使用几乎是一条 硬编码的链路,产品有多少节点就把数据切多少份,牵一发动全身;二是离线文件传输导致约2 小时的端到端延迟,经常算出来的广告推荐结果对应的广告早已下线;三是数据要跨地域传送 (如天津走联通、上海走电信),走公网导致大量不可控故障。真正压垮第一代架构的是2010年 收购另一家公司后,用户/广告位/广告三者的组合计算量暴增约60万倍——原有的”全量暴力计算 后再查表”策略在这个规模下彻底不可行,因为其中大部分计算结果用户根本不会用到,纯属浪费。 第二代架构(2010起)的核心变化是把”离线批量传输”换成”实时接入+流式计算”,计算结果落地 到分布式cache里,用户请求来时才实时调用预测算法查cache——生产者(流式计算)和消费者 (推荐引擎)之间用分布式cache解耦,不再是一条硬编码链路,换来秒级延迟和可独立扩容的 架构。

结构图:

flowchart LR
    A[第一代: 离线批量传输] --> B[分布式计算批量暴力计算]
    B --> C[结果落表, 前端直接查询]
    C -.高耦合/2小时延迟/跨地域公网不可控.-> D[规模暴增60万倍后不可行]
    D -->|重构| E[第二代: 实时接入]
    E --> F[流式计算]
    F --> G[结果落分布式cache]
    G -->|生产者消费者靠cache解耦| H[推荐引擎实时查询预测]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第2篇《腾讯个性化精准推荐平台架构》"二、腾讯精准 推荐发展历程"(源文件:_epub-src/OEBPS/text00010.html) - 结论依据:原文详述第一代架构的高耦合、2小时延迟、跨地域公网故障三大缺陷,说明收购 后计算量暴增60万倍导致原有暴力计算法不可行,进而重构为实时接入+流式计算+分布式cache 的第二代架构,直接支撑本卡片的演进结构梳理。 - 原始内容:这个架构其实有非常不合理的地方:第一就是系统高度耦合……第二因为是离线的 文件传输,所以延迟很厉害,整个过程下来大概延迟2小时……意味着计算量会增大60万倍, 所以意味着原来那种暴力的办法没法完成了……跟之前不同的地方在于,原来的离线文件传输 现在变成了实时接入……最重要的一点是低耦合,数据的产生者跟数据的消费者通过一个分布式 cache解耦开了。