知识卡片
推荐系统的四层架构与组件职责
推荐系统的分层不按技术栈划分,而按两个正交问题划分:这一层用不用实时数据、这一层保不保证实时服务。离线层两者都不,跑全量批处理,产出候选、特征和模型参数,不参与线上请求;存储层保存用户画像与行为、物品属性、模型参数和物品索引,是各层交换结果的公共黑板;近线层用实时数据但不承诺实时返回,适合分钟级的特征更新和候选补充;在线层既用实时数据又保证响应时间,负责接请求、取候选、拼结果。去掉近线层就是常见的三层架构,代价是新鲜度:实时行为要等下一轮离线更新才进入模型。
四个组件与层的对应关系是:推荐服务面向请求,存储系统管数据与索引,离线学习消化大量数据、耗时长,在线学习用即时数据微调参数。判断一个模块属于哪层,看它读写的是实时流还是历史快照、是否在请求链路上,而不是看它部署在哪台机器上。
结构图:
flowchart TD
A[用户请求] --> B[在线层<br/>实时数据·实时服务]
C[离线层<br/>批量训练·候选生成] --> D[(存储层<br/>画像/特征/索引/参数)]
E[近线层<br/>准实时更新] --> D
D --> B
B --> F[推荐结果]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 推荐系统框架及原理 · 查看原书依据
离线层:不使用实时数据,不提供实时服务。存储层:顾名思义,就是负责存储数据和索引。近线层:使用实时数据,但是不保证实时服务。在线层:使用实时数据,保证实时服务。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第7章 推荐系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0091.html)
- 结论依据:原文以「是否使用实时数据」和「是否保证实时服务」两组条件逐层定义四个层,说明分层依据是数据与服务的实时性,而不是具体技术组件。
- 原始内容:离线层:不使用实时数据,不提供实时服务。存储层:顾名思义,就是负责存储数据和索引。近线层:使用实时数据,但是不保证实时服务。在线层:使用实时数据,保证实时服务。