知识卡片
特征实时性三阶段
特征实时性按数据流路径分为三个阶段,延迟从低到高。客户端最接近用户,可缓存会话内行为并随请求传给服务器,实现即时推荐,尤其适合三分钟会话内点击多篇文章这类即时兴趣。流计算平台如Flink、Spark Streaming以微批处理方式做分钟级的准实时统计,如时间窗口内曝光数、点击话题分布,算完即存入特征数据库。分布式批处理如Spark on HDFS延迟小时级,负责多源数据join与延迟信号合并,用于模型训练、离线评估和下一次登录的更准推荐。三段并非替代关系,而是按延迟与覆盖度分工互补。落地时要根据兴趣的有效期选择在哪一层消费信号。
结构图:
flowchart TD
A[用户行为与上下文] --> B[客户端实时特征]
A --> C[流计算准实时特征]
A --> D[分布式批处理全量特征]
B -->|会话内即时| E[推荐服务器]
C -->|分钟级延迟| F[特征数据库]
D -->|小时级延迟| F
F --> E
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 多角度审视推荐系统 · 查看原书依据
如果客户端能够缓存 session 内部的行为,将其作为与上下文特征同样的实时特征传给推荐服务器,那么推荐模型就能够实时地得到 session 内部的行为特征,进行实时的推荐。这就是利用客户端实时特征进行实时推荐的优势所在。
参考来源
- 位置:《深度学习推荐系统》第5章 多角度审视推荐系统(源文件:extracted/深度学习推荐系统/_epub-src/text/part0009_split_003.html)
- 结论依据:原文依次介绍客户端、流计算、分布式批处理三种特征处理阶段及其延迟与用途,构成三阶段结构的依据。
- 原始内容:如果客户端能够缓存 session 内部的行为,将其作为与上下文特征同样的实时特征传给推荐服务器,那么推荐模型就能够实时地得到 session 内部的行为特征,进行实时的推荐。这就是利用客户端实时特征进行实时推荐的优势所在。