知识卡片

结构图卡 · 9815 · 生成模型:DeepSeek-V4.1-Flash

推荐系统的四层架构与组件职责

理解等级:中级

推荐系统的分层不按技术栈划分,而按两个正交问题划分:这一层用不用实时数据、这一层保不保证实时服务。离线层两者都不,跑全量批处理,产出候选、特征和模型参数,不参与线上请求;存储层保存用户画像与行为、物品属性、模型参数和物品索引,是各层交换结果的公共黑板;近线层用实时数据但不承诺实时返回,适合分钟级的特征更新和候选补充;在线层既用实时数据又保证响应时间,负责接请求、取候选、拼结果。去掉近线层就是常见的三层架构,代价是新鲜度:实时行为要等下一轮离线更新才进入模型。

四个组件与层的对应关系是:推荐服务面向请求,存储系统管数据与索引,离线学习消化大量数据、耗时长,在线学习用即时数据微调参数。判断一个模块属于哪层,看它读写的是实时流还是历史快照、是否在请求链路上,而不是看它部署在哪台机器上。

结构图:

flowchart TD
  A[用户请求] --> B[在线层<br/>实时数据·实时服务]
  C[离线层<br/>批量训练·候选生成] --> D[(存储层<br/>画像/特征/索引/参数)]
  E[近线层<br/>准实时更新] --> D
  D --> B
  B --> F[推荐结果]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统框架及原理 · 查看原书依据

      离线层:不使用实时数据,不提供实时服务。存储层:顾名思义,就是负责存储数据和索引。近线层:使用实时数据,但是不保证实时服务。在线层:使用实时数据,保证实时服务。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第7章 推荐系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0091.html) - 结论依据:原文以「是否使用实时数据」和「是否保证实时服务」两组条件逐层定义四个层,说明分层依据是数据与服务的实时性,而不是具体技术组件。 - 原始内容:离线层:不使用实时数据,不提供实时服务。存储层:顾名思义,就是负责存储数据和索引。近线层:使用实时数据,但是不保证实时服务。在线层:使用实时数据,保证实时服务。